Неправильный четырехугольник высоких каменных стен вокруг «архиерейского дворища» с четырехгранными башнями был возведен в 1671–1675 гг. по всем правилам строительства оборонных сооружений XVII в. 
Даже сейчас (особенно со стороны Кремлевской площади) [3] ограда кажется мощной крепостной стеной. Но ей не пришлось выполнять роль оборонительного сооружения: Вологде, далекой от границ Московского государства, к тому времени уже не грозили нападения зарубежных врагов. 
Причиной, побудившей епископа Симона воздвигнуть мощную стену вокруг архиерейского подворья, была, как нам кажется, крестьянская война под предводительством Степана Разина (1667–1671 гг.), отголоски которой докатились и до далекой Вологды.
Время для строительства грандиозного сооружения было благоприятное. Вследствие народного бедствия сильнейшего голода 1671–1672 гг. Симон располагал почти даровой рабочей силой [1]. 
Как во всех монастырях-крепостях XVII в., по стенам Вологодского архиерейского дома с внутренней их стороны можно было обойти вокруг всего двора. Ход был покрыт односкатной крышей на деревянных столбиках и огражден перилами. 
Главные ворота [2], теперь заложенные, находились против западного входа в Софийский собор. Гурты арок с килевидным завершением над проездом и проходом для пешеходов хорошо сохранились, но ворота кажутся очень низкими из-за значительной высоты образовавшегося почти за три столетия культурного слоя. Вторые ворота с этой стороны ведут в так называемый консисторский двор. Между колокольней и угловой восточной башней, на месте которой выстроен позднее Воскресенский собор, были водяные ворота. Ворота, выходившие в сторону современной улицы Папанинцев и в архиерейский сад, позднее были заложены. 
С внутренней стороны к стене лепились различные службы огромного феодального хозяйства архиерейского двора 3: каретники, дровяники, конюшни, кузницы, сараи, свечная мастерская и лавка, бани, хлебные амбары, склады и т. д. Верхние ярусы некоторых башен служили сеновалами.