Колокольня непосредственно примыкает к стене Архиерейского дома – комплекса сооружений двора вологодских архиепископов, расположенного вблизи Софийского собора (илл. 13). Разновременные постройки Архиерейского дома (ныне здесь находится Областной краеведческий музей) производят исключительно живописное впечатление. Они занимают квартал между Кремлевской площадью, проспектом Победы и городским садом. Окруженный мощными крепостными стенами с башнями, этот ансамбль напоминает кремль. Однако среди его построек нет ни одной, которая восходила бы к середине 60-х г. XVI в., времени, когда Архиерейский дом был переведен Иваном IV на это место, на территорию вновь возводимого детинца. 
Вплоть до середины XVII в. Архиерейский дом не имел каменных сооружений. Его многочисленные деревянные здания – храмы, кельи, службы, – обнесенные деревянной же оградой, неоднократно перестраивались, разрушались и создавались вновь. О них можно судить лишь по различным документальным материалам, в частности по писцовой книге Вологды 1627 г. Постройки двора были богато декорированы, причем особенно выделялись большие «створистые» ворота с вереями и столбами точеными, увенчанные тремя «побитыми чешуею» шатрами и украшенные с «лица от собору» иконами: «деисус стоячей, семь образов на золоте». 
Высокие каменные стены с башнями по углам, заменившие прежнюю, деревянную ограду Архиерейского двора, были возведены в 1671–1675 гг. (илл. 12). Осуществлял это строительство архиепископ Симон, который не без хвастовства и цинизма сообщал в своей челобитной в столицу, что «ограда каменная состроилась по воле всесильного бога, в гладное время небольшой казной, и многие православные христиане работали из хлеба, безденежно». Возведение столь мощных стен вологодского двора было вызвано чисто идеологическими задачами возвеличения и прославления церкви и самого архиерея. Сооружение обширных и парадных резиденций духовных властей, своеобразных «крепостей духа», было характерно для конца XVII в. Наиболее яркий пример тому – ростовская митрополия (кремль), созданная видным церковным деятелем, митрополитом Ионой Сысоевичем. 
Стены вологодского Архиерейского дома образуют в плане неправильный четырехугольник с башнями по углам. Несмотря на последующие переделки и утраты, ограда эта и по сей день производит впечатление суровой, могучей крепости. Узкие бойницы, расположенные с наружной стороны стен и башен в два-три яруса, традиционная аркада внутри с обходной крытой галереей над ней – все воскрешает в памяти представление о подлинном военно-оборонительном сооружении. Однако здесь эти внешние атрибуты древнерусского крепостного зодчества имели с самого начала чисто символический смысл. В действительности большинство бойниц – лишь оконные проемы примыкавших к стенам со двора различных построек хозяйственного назначения: конюшен, кузниц, амбаров, лавок и т. п., часть которых в измененном виде сохранилась и до наших дней. О мирном характере башен, уже с конца XVII в. использовавшихся под жилье и кладовые, говорят их открытые во двор, незамкнутые изнутри объемы. 
Ограда Архиерейского дома первоначально имела несколько ворот. На месте современного входа на территорию музея существовали ворота с двумя различной величины арками «для выезда с архиерейского двора по воду». «Проезжие задние ворота» находились в северо-западной угловой башне, ныне выходящей в сквер на проспекте Победы. На стене башни хорошо виден заложенный арочный проем ворот с киотом над ним. Главными же были Святые ворота, расположенные в восточной стене Архиерейского дома, прямо против Софийского собора. 
Святые ворота представляли собой нарядную двухъярусную постройку. Часть нижнего яруса ворот, обращенная к собору, сохранилась и дает представление об их былом декоре. Две в настоящее время заложенные арки проездов – большая и малая – обрамлены легкими наличниками с килевидным верхом и киотом над большей из них. Венчали постройку первоначально три декоративных шатра с небольшими главками и крестами, возведенные по образцу ворот старой деревянной ограды. 
В 1687–1692 гг. над Святыми воротами вместо шатрового верха была сооружена существующая и поныне Воздвиженская церковь. Это достаточно скромное по своей архитектуре здание имеет традиционную композицию объемов. Сравнительно небольшой четверик, увенчанный одной главой, как бы возвышается над прямоугольным алтарем и узкой, сдвинутой к северу трапезной. Прямоугольная форма алтаря была обычна для надвратных храмов XVII в. Стены четверика с лопатками на углах и на восточном и западном фасадах завершены простым карнизом и тремя полуциркульными кокошниками с каждой стороны. В центре фасадов – арочный оконный проем, заключенный в килевидное обрамление. Прежний облик храма несколько искажен купольным покрытием и вычурной главой, относящимися к XVIII в.