В 1833 году в Ставрополе, по ходатайству командующего войсками Кавказской линии и Черномории Алексея Александровича Вельяминова, указом императора Николая I «в помощь областному начальнику» был назначен гражданский губернатор. Его первым представителем стал статский советник Семенов, вскоре сменившийся генерал-майором Траубе.

По генеральному плану застройки под губернатора на Соборной площади (в разные годы она называлась иначе и ныне соответствует площади Ленина) предполагалось выделение места. Однако в 1835 году город получил в собственность крупный деревянный одноэтажный дом с садом и прудом, который питал расположенный выше мощный родник на Большой Черкасской (ныне пр. К Маркса). Дом был построен в 1830-х годах отставным фельдфебелем Лазуткиным, а затем достроен коллежским асессором Павлом Петровым.

Любопытно, что Павел Петров, помимо прочего, сдавал в аренду еще один дом на Генеральской улице (первое наименование части современной ул. Дзержинского) дяде Михаила Юрьевича Лермонтова — генералу Павлу Ивановичу Петрову. Позднее Петров продал свое жилище отставному артиллерийскому подполковнику Ильинскому, не имевшему наследников; после его смерти дом, оценивавшийся в 30 тысяч рублей серебром, перешел городу.

Именно здесь поселился гражданский губернатор Траубе. Затем дом занимал губернатор Александр Волоцкий — фигура, тесно связанная с благоустройством Ставрополя. При нем распахнула двери публичная библиотека и Музеум при городской Думе, появился первый городской водопровод, а старые Тифлисские ворота были перестроены.

Дальнейшая судьба резиденции связана с генерал-губернатором Властовым, который стал единственным губернатором, удостоенным звания почетного гражданина Ставрополя за вклад в развитие города. По его инициативе на месте старого дома начали возведение нового здания: в 1879 году департамент Главного управления наместника Кавказа согласовал предложение. Важный контекст задавал и указ Александра II от 18 мая 1858 года, когда управление Ставропольской губернией, ранее разделенное между командующим Кавказской линией и гражданским губернатором, стало целиком обязанностью гражданского губернатора.

Проекты нового дома поначалу не были доведены до удовлетворяющего результата. Первый вариант подготовил архитектор Павел Григорьевич Воскресенский — он остался в чертежах. Затем к работе приступил Федор Кузьмич Прозоровский, но проект тоже не завершили. В 1833 году проектировали и Владимир Потапов, однако местные власти не приняли его решение. Лишь после подключения архитектора Григория Павловича Кускова, автора проекта храма Св. Андрея Первозванного в Ставрополе и других крупных сооружений, строительство приобрело окончательные очертания и стартовало.

Согласно «Памятной книге Ставропольской губернии», «в отчетном, 1902 году на средства казны… был окончательно отстроен губернаторский дом» (на строительство было истрачено 175000 рублей). Новое здание украсило Николаевский проспект губернского центра и стало заметной городской «жемчужиной».

Фасад из белого кремнистого ракушечника на красном кирпичном фоне дополняли объемный оконный сандрик, полуколонны портика, балкон, поддерживаемый четырьмя кариатидами — скульптурными изображениями женщин в древнегреческих хитонах. Крыша завершалась башенками с пластинами, покрытыми зеленой эмалью. Внутри впечатляли художественная роспись стен и сводчатых арок, лепнина, выполненная лучшими альфрейщиками, мебель из черного и красного дерева, прекрасный паркет, а также хрустальные люстры, бра и тяжелые ковровые дорожки.

Особое место этот дом занимает в литературной традиции Ставрополя. Именно здесь разворачиваются сюжетные линии повести драматурга и писателя Ильи Дмитриевича Сургучева «Губернатор»: с балкона с кариатидами жена главного героя — губернатора Н.Е. Никифораки — поздно вечером встречала своего поклонника, будучи замужем за губернатором. В том же доме служил и помощник Никифораки Свирин, который делал губернатору «ванну с гвоздями».

Резкие изменения наступили в 1918 году: в здании разместились 1-й Ставропольский совет народных комиссаров и Губернский исполнительный комитет. В советское время здесь надолго обосновались советско-партийные органы. Позже, когда в 1918 году образовался Орджоникидзевский край, по проекту архитектора Карабанова здание надстроили третьим этажом — в период, когда административный центр края находился в Ставрополе.

Во время временной оккупации города немецкими войсками (с 3 августа 1943 по 21 января 1944 года) в здании размещались штабы вермахта, где бывал и генерал-фельдмаршал Вильгельм Лист, возглавлявший группу армий «А». При отступлении немцы взорвали здание: стены выстояли, но внутри оно оказалось полностью разрушено — пострадали старая лестница и многие комнаты. Повреждения получил и скульптурный декор: три кариатиды из четырех.

После ухода войск оккупантов здание отремонтировали по проекту архитектора Чекмотаева. Затем здесь снова разместился крайком партии, который возглавлял первый секретарь М. А. Суслов. Таким образом, губернаторская резиденция, задуманная как символ управления и статуса, прошла через смену политических эпох, архитектурные преобразования и тяжелые испытания военного времени.