Усадебное место по адресу Дзержинского 127, в 1901 году купил Иван Панов, чиновник по особым поручениям в Казенной палате. Вместе со своей супругой, дочерью известного кавказского генерала и историографа Ивана Попко Ниной, Панов на месте вскоре снесенного им дома Федюшина построил новый. 

Дом Панова проектировал некогда широко известный архитектор Адриан Булыгин, а строительство велось под наблюдением младшего архитектора Александра Борисова в 1914 году. Фасад вновь возведенного здания в стиле модерн, частично оштукатуренного, с большими высокими окнами, арками и нишами, пилястрами и наличниками, фронтонами и карнизами, полуколоннами и прочими архитектурными украшениями, в том числе тремя не повторяющимися замысловатыми башенками, придавал зданию особую нарядность и устремленность в небо; здание это стало еще одной градостроительной жемчужиной в белокаменном ожерелье Ставрополя. 

Чета Пановых заняла верхний этаж дома, там же разместилась часть огромнейшей библиотеки генерала Попко, его уникальная коллекция кавказского оружия, реликвии кавказской войны. 

В начале 20-х годов в экспроприированной усадьбе Пановых разместилась «рабочая поликлиника» физиотерапевтического направления грязе-, электро-, свето- и водолечением. Во флигеле обосновалась «Выездная каретная служба», прообраз «скорой помощи». Возглавил это лечебное заведение выпускник медицинского факультета Московского университета Дмитрий Тулинов, проработавший здесь всю свою долгую жизнь. 

При бомбардировке Ставрополя 3 августа 1942 года в здание попала бомба, разрушившая западную чердачную башенку.

Сегодня в усадьбе Панова обосновался краевой эндокринологический диспансер.