Эта церковь находится на северной окраине города, длинной полосой выступающей по нагорному левому берегу реки Вологды в сторону Прилуцкого монастыря, отстоящего от этой церкви верстах в двух с половиною. Правый берег реки против Пустынской церкви представляет из себя обширный покосный луг, весной на большое пространство, до возвышенности с храмами Герасимовским, Гавриило-Архангельским и др., заливаемый водою.
Иоанно-Предтеченский храм и колокольня
Дюдиковская церковь замечательна и по древности, и по архитектуре. Каменный Иоанно-Предтеченский храм построен в 1653 году и является древнейшим после соборного. Основание бывшего здесь до начала 17-го века, мужского монастыря и его история, неизвестны. После литовского погрома монастырь не был возобновлен, а братия его удалилась под Москву, где основала Николаевский Угрешский монастырь. В конце 17 века Пустынская церковь по числу дворов (более ста) была одною из самых богатых церквей города. В настоящее время кроме Иоанно-Предтеченской холодной церкви существует здесь еще теплая во имя Знамения Б. М. В первой замечателен пятиярусный иконостас по обилию весьма древних св. икон, каковы напр. Господа Вседержителя, храмовая и. Предтечи, Сошествия во ад и друг.
Знаменская церковь построена в половине 18 столетия и замечательна по своей святыне: чудотворной иконе Знамения Пр. Богородицы.
Теплая церковь во имя Знамения Пресвятой Богородицы
Икона эта явилась в 1570 году во время морового поветрия приходскому человеку Марку Заозерянину и им поставлена в приходе ком храме, после чего мор прекратился. Св. икона доныне почитается благочестивыми горожанами.