Рядом с рекой Вологдой на месте бывшей крепостной стены и рва располагался архиерейский сад, в котором в XVIII веке стоял летний деревянный дом архиепископа. Остатки укреплений сохранялись до конца XVIIIвека, но после разрушились. В 1870 годах вековые деревья сада были вырублены. После 1917 года краеведческий музей разбил здесь Ботанический сад, а в 1930-е годы сад стал парком культуры и отдыха  Вологодского паровозоремонтного завода (ВПВРЗ). Там есть горка, засаженная деревьями и кустами, два пруда. Горка и пруды – остатки древнего крепостного вала и крепостных рвов.

Набережная реки вдоль парка ВПВРЗ называется Соборной горкой. В XVI-XVII веках здесь проходила крепостная стена, между нею и Софийским собором находились каменные арсеналы для пушечных ядер. К концу XVIIвека они были разрушены. Когда-то это было голое, угрюмое место, с которым связаны некоторые местные легенды и предания. Вологжане считали его «жилищем духов», рассказывали, что из горы проложен подземный ход в Спасо-Прилуцкий монастырь. Однако, в 1824 году, к приезду в Вологду императора Александра I, здесь был разбит сквер, который до сих пор является любимым местом прогулок вологжан.

Во время Великой Отечественной войны многие зеленые посадки были вырублены, но после войны вологжане их восстановили.

В честь 2000-летия Рождества Христова между Соборной горкой и  парком ВПВРЗ возведена часовня.