Подходя к Кафедральному собору с юго-западной стороны невольно обращаешь внимание на громадные стены с башнями и бойницами, окружающие Архиерейский дом с его зданиями. Пред вами подобие средневековой крепости, по тому времени неприступной и страшной для врагов. Вы с любопытством останавливаете свой взгляд на этой твердыне, смотрите на бойницы, и мысль невольно уносится в прошлое, когда Вологду тревожили шайки врагов, когда нужны были эти стены, но теперь не то. Молчит крепость. Не видно на ней грозных стражников в латах, шлемах, с пищалями и палицами. Это ныне мирный уголок, где протекает затворническая, трудовая жизнь архипастырей. Да и в прошлой истории этих стен нет ничего мрачного. Правда, строитель стен преосвященный вологодский Симон, помня о тяжелых для Вологды временах лихолетья, напуганный случаем с одним из своих предшественников владыкой Сильвестром, бывшим в плену у поляков четыре дня при нападении их на Вологду в 1612 году, мог иметь желание оградить себя от повторения подобного случая, но истинные мотивы построения стен для нас неизвестны. Отчасти может быть здесь сказалась любовь пр. Симона к возведению построек, с другой стороны это памятник давнего народного бедствия и забот епархиального начальства о его смягчении. В 1671-72 годах в пределах вологодских был сильнейший голод. Начатые в это время преосвященным Симоном работы по постройке стен были для многих истинных благодеянием, доставляя средства к пропитанию. Об этом говорит сам архиепископ Симон в своей челобитной к Царям Иоанну и Петру от 1684 года: «А та, Государи, ограда каменная состроилась, по воли Всесильного Бога, в гладное время, небольшой казной и многие православные христиане работали из хлеба безденежно». Преосвященный Симон оставил по себе добрую память, как человек чуткий к горю ближнего и отзывчивый. В упомянутую годину голода он изыскивал все способы доставить пропитание голодающим, - жертвовал из средств личных, располагал к тому и других людей. Наприм. окольничий царя Алексея Михайловича Феодор Ртищев чрез преосв. Симона много помогал Вологжанам. 
Вышина, возведенных преосвященным Симоном, стен от 4-х до 5-ти сажен, а башен,- 6 сажен. Стены расположены квадратом с башнями по углам. Доныне сохранились три башни, а на месте четвертой стоит теплый собор. 
В прежнее время по стенам был ход, как напр., в Прилуцком монастыре. В северо-восточной башне ныне (с 1896 г.) помещается Свято-Стефановская церк. прих. школа.