В далеком 1824-м году по предложению одного из величайших героев отечественной истории – генерала Алексея Петровича Ермолова, командующего Кавказским корпусом и наместником императора на Кавказе – фактической столицей Кавказа становится Ставрополь. Император Александр I дал разрешение на перевод из Георгиевска «всех областных присутственных мест в Ставрополь» с последующей «постройкой для них новых зданий».

С этого момента Ермолов принимает активное участие в благоустройстве нового центра региона. Район вокруг площади Ленина застраивался под жестким контролем военных властей. Для командующего Кавказской линией был приобретён большой дом у базарной площади. Он был значительно перестроен и расширен. Работами руководил архитектор Иван Францевич Руско, служивший при штабе Кавказской армии.

К 1827 году все строительные и отделочные работы были закончены. Получился деревянный дом на каменном фундаменте с передним парадным входом, оштукатуренный, выкрашенный, покрытый тесом. В доме была галерея, несколько комнат с отоплением – зал, гостиная, кабинет, спальня, гардероб, детская и буфет. Рядом располагались прачечная, кухня, амбар, каретный сарай и конюшня. Весь комплекс был обнесен каменной оградой.

Дом командующего Кавказской линией посещали многие известные люди. В первые годы своего существования он повидал Александра Сергеевича Пушкина, Михаила Юрьевича Лермонтова, Льва Николаевича Толстого, Александра Ивановича Одоевского. Они отмечали здесь свои командировочные документы, поскольку ехали в опасный регион, где шла кровопролитная Кавказская война. В 1829 году через наш город уже второй раз проехал Пушкин. Он выразил свои впечатления такими словами: «В Ставрополе увидел я на краю неба облака, поразившие мне взоры тому ровно за девять лет. Они были все те же, все на том же месте. Это – снежные вершины Кавказской цепи».

После Великой Отечественной войны весь центр города перестраивался. Были возведены новые здания для библиотеки и театра, построен стадион, заложен малый Ботанический сад, ставший сквером. Дом командующего Кавказской линией выпадал из общего ансамбля, и поэтому его снесли, возведя на его месте в 1972 г. Дом книги, который стал одним из лучших памятников всем писателям и поэтам, посетившим когда-то эти места.

В декоративном оформлении фасада и интерьеров принимали участие специалисты из Литвы. Были созданы мозаичные и скульптурные панно, рельефы из керамических скульптур, всевозможные фазы и заглавная эмблема на фасаде в виде книги. Проект Дома книги был отмечен дипломом 1 степени Госстроя РСФСР.