В Вологде с древних времен были и остроги, и тюрьмы, и арестные дома. Самая известная среди них – тюрьма за Московской заставой. Каменное здание острога возвели в 1823-1824 годах к приезду в Вологду императора Александра I. Подобные тюрьмы, похожие на замки, были построены еще в Рязани, Минске, Казани.

С возведением острога связан анекдот тех времен, связанный с тем, что губернатор Брусилов лично следил за строительством. Он заметил, как проезжий мужичок остановился с удивлением возле стройки, и спросил, что тот посматривает. «Да что, батюшка, - отвечал тот, скидывая шапку, - смотрю и дивлюсь, и думаю: про кого бы такая хоромина строится?». «Для кого? - возразил губернатор ласково и шутя. – Разумеется, для вас!». «И, батюшка, в евдаких хоромах это вряд, только впору для вашей милости».

При тюремном замке была церковь, единственным сокровищем которой была древняя икона Божией Матери «Всех скорбящих радость». Икона эта в XVIвеке провела в заточении вместе с сыновьями удельного князя Андрея Васильевича Угличского Иоанном и Димитрием, брошенными в темницу в Вологде по велению своего дяди Ивана IIIВеликого, более 30 лет, до их смерти. После этого икона содержалась в специально для нее выстраиваемых часовнях в острогах, почиталась чудотворной, перед ней постоянно молились узники. Для того, чтобы икону могли почитать все вологжане, была выстроена Скорбященская церковь, в которую, по определенным дням, имели доступ все желающие.

Тюрьма же по-прежнему стоит на своем месте. До 1917 года она была общей, в советское время стала женской тюрьмой.