Здание, в котором сегодня располагается Ярославский художественный музей, было построено по указу Александра I в 1821–1823 годах по проекту губернского архитектора П.Я. Панькова. Оно служило не только официальной резиденцией ярославских губернаторов, но и императорским путевым дворцом для приёма высочайших особ.

В парадных залах бельэтажа Губернаторского дома размещена постоянная экспозиция «Русское искусство XVIII–XX веков», включающая несколько уникальных комплексов. Посетители могут познакомиться с собранием западноевропейской мебели XVI–XVII веков, включая старинные резные шкафчики с жанровыми фигурками и изящными фарфоровыми сервизами, а также с парадными портретами XVIII века, среди которых выделяются «Портрет великой княжны Александры Павловны» Д. Левицкого и «Портрет мальчика» П. Дрождина, ученика Левицкого.

Особый интерес представляет губернаторский кабинет-библиотека, где представлены портреты служилых людей Ярославля XIX века, включая большой парадный портрет строителя и первого обитателя Губернаторского дома А.М. Безобразова работы Ореста Тимашевского, а также работы выдающегося провинциального портретиста Н. Мыльникова. Интерьер кабинета дополняют мягкая мебель в красных тонах, высокие книжные шкафы и письменный стол с предметами обихода — чернильницей, лампой, статуэтками.

В парадном зале демонстрируются лучшие произведения мастеров Академии художеств — К. Брюллова, И. Айвазовского, К. Маковского. Здесь, как и в XIX веке, проводятся торжественные приёмы, светские рауты и музыкальные салоны. Классика русского искусства второй половины XIX века представлена полотнами В. Перова, И. Крамского, И. Репина, а также пейзажами И. Айвазовского, А. Саврасова, И. Шишкина, В. Поленова, И. Левитана и И. Грабаря.

Разделы экспозиции начала XX века демонстрируют произведения Константина Коровина, включая единственную в стране коллекцию его работ парижского периода. Одиннадцать картин позднего периода творчества К.А. Коровина были переданы музею в дар Г.Н. Соловьевой-Барбизан в 1959 году.