Памятник Солдату-красногвардейцу стоит на Крепостной горке и является самым узнаваемым символом города. Он был установлен в 1976 году в честь освобождения города от белогвардейцев. Ставрополь несколько раз переходил в руки от белогвардейцев к красногвардейцам, но окончательно последние захватили власть в 1920 году. «Буденовец», именно под таким названием памятник известен в народе, представляет собой скульптуру солдата с винтовкой в руках, общая высота монумента — семь с половиной метров. Памятник пользуется популярностью у молодежи, поскольку на этом месте назначаются дружеские и романтические встречи. Также, здесь часто проводят экскурсии для школьников и гостей города. С обзорной площадки Крепостной горы открывается прекрасный вид на Северо-Западный район города.