Первоначально, усадебное место принадлежало чиновнику Покашевскому, но в конце 70-х годов XIX столетия перешло во владение рода Алафузовых, родоначальник которого, Иван Антонович, появился в Ставрополе в 1827 году «без письменного вида по случаю возмущения греков против турецкого правительства».В 1880 году сын Ивана Антоновича Алафузова, Иван, по проекту городского архитектора Прокопца на месте сломанного старого дома построил новый, в два этажа, где верхний был деревянный, обложенный кирпичом, с двумя бельведерами по северной и южной стороне. Тогда же нижний этаж дома заняли аптекарский магазин Борисенко и магазин часов Штенберга.На втором этаже, куда с улицы вели две чугунные узорные лестницы от двух входных дверей с такими же чугунными крылечками, жил хозяин. В гостиной долго висели картины, принадлежавшие его брату Николаю, известному коллекционеру живописи. Среди них были картины Айвазовского «Вид Суданской бухты», Клевера «В парке Гатчинского дворца» и «Дача в Финляндии», Шильдера «Диана» и многие другие известные полотна.Во дворе находился большой сад с прудом, который питала родниковая вода Желобовского ручья. Здесь любили собираться представители греческой диаспоры города, люди искусства. В начале ХХ века Алафузовы продали этот дом некогда широко известному общественному деятелю Раевскому-Буданову, постелившему по второму этажу паркет из ценного дерева, украсившему апартаменты различным антиквариатом, старинной мебелью.В 1911 году на первом этаже разместилась общественная библиотека, затем перешедшая на улицу Вельяминовскую. В настоящее время фасад отреставрирован.