В 1902 году на красной линии Вельяминовской улицы (сейчас – улица Дзержинского) чиновник по особым поручениям Иван Николаевич Панов построил новое здание. Здание, выполненное по проекту архитектора Адриана Булыгина, представляет замечательный образец стиля модерн, популярного в начале ХХ века.

Фасад дома ассиметричен. Стены разделены по вертикали полуколоннами на два этажа. Простенки прорезаны большими прямоугольными окнами, из которых два имеют арочную, полукруглую форму. Арочную форму имеет также проезд во внутренний двор. Цоколь и часть стены возле центрального входа отделаны камнем, что создает замечательный контраст с голубыми оштукатуренными стенами. Внешний декор здания совмещает в себе выступы, пилястры, карнизы, полуколонны, пояс декоративных элементов между этажами. Карнизы и решетки выполнены в мусульманском стиле.

Наверху изначально были три башенки, одна из которых была разрушена в годы Великой Отечественной, а вторая исчезла при реставрации здания. Весь облик здания наряден и устремлен ввысь. Он полностью олицетворяет ставропольский модерн, ставший неотъемлемой часть модерна мирового.

Первый владелец здания Иван Панов был женат на дочери известного генерала, историка и предводителя дворянства в Ставропольской губернии, Терской и Кубанской областях Ивана Диомидовича Попко. Иван и Нина Пановы на втором этаже дома, в своей жилой зоне, разместили часть большой библиотеки генерала Попко, уникальную частную коллекцию оружия и реликвий Кавказской войны, несколько художественных полотен на военную тематику. После смерти генерала его книги стали частью коллекции Ставропольской публичной библиотеки, ныне Ставропольской краевой универсальной научной библиотеки имени М.Ю. Лермонтова.

После установления Советской власти в 20-годы ХХ века усадьба Панова была экспроприирована. В ней разместилась поликлиника физиотерапевтического направления, а во дворе обосновалась «Выездная каретная служба», прообраз скорой помощи.

С 1995 года постановлением главы администрации Ставропольского края дом взят под охрану и включен в объединенную зону «Старый город». Сейчас в нем располагается Краевой эндокринологический диспансер.