Неподалеку от Казенного приказа в 1667–1670-х гг. были построены Архиерейские палаты с домовой церковью Рождества Христова (илл. 14). Позднейшие пристройки значительно исказили внешний и внутренний облик этого сооружения. Однако его первоначальная композиция читается довольно ясно. Сильно вытянутая, прежде трехэтажная постройка объединяла ряд различных помещений. Нижний, подклетный этаж, имевший подсобное и хозяйственное назначение (кухня, пекарня, кладовые и т. д.), служил как бы основанием всего здания. Над ним находились архиерейские кельи с парадными комнатами в среднем этаже и небольшими комнатами слуг в низком верхнем. С восточной стороны над подклетом располагался храм, кубический объем которого, увенчанный некогда пышным пятиглавием (замененным в начале 1860-х гг. одной главой), возвышался над всем двором. Открытая обходная галерея на уровне основного этажа на главном южном фасаде первоначально имела форму гульбища (в 1776 г. перестроена в крытую галерею; настоящий вид приобрела в 1850 г.). Соединение в одном здании помещений культового и светского назначения не являлось для XVII в. новшеством. Местный владыка в своем строительстве явно подражал созданному незадолго до этого Патриаршему двору в Московском Кремле. 
Прежний роскошный архитектурный декор фасадов этого сооружения частично восстановлен недавней реставрацией. Он состоит из нарядных портала и наличников окон, ширинок с крестами и кокошников в завершении храма. Южный фасад церкви Рождества Христова на уровне галереи украшает белокаменная плита с храмозданной надписью – непременный атрибут многих культовых построек этого времени. Наружное убранство здания свидетельствует о широкой волне декоративности и узорочья, захвативших вологодское зодчество к концу XVII столетия. 
Древняя внутренняя планировка корпуса полностью изменена. Самым парадным помещением прежде являлась большая сводчатая палата, именуемая Крестово и,– приемный зал архиерея. Подобные роскошно оформленные палаты встречаются в большинстве архиерейских дворов Руси. Вологодская Крестовая палата имела также богатое внутреннее убранство. Она хорошо освещалась семью окнами с железными решетками и слюдяными «окончинами»; в центре висело большое медное паникадило, по стенам – многочисленные иконы в богатых окладах. Пышную обстановку дополняли обитое темно-зеленым сукном «архиерейское место» – седалище с бархатной, расшитой золотом подушкой – и железные «боевые» часы с медными украшениями. (Крестовая палата в 1770-е гг. была переделана в церковь; в 1841 г. ее объединили с помещениями верхнего этажа, в результате чего образовался двусветный зал, используемый ныне музеем.) 
К концу XVII в. относится трехэтажный корпус, примыкающий с юга к архиерейским палатам и в настоящее время соединенный с ним в одно здание. По имени строившего его архиепископа он носит название Гаврииловского. Наружное убранство его, судя по отдельным фрагментам, было выдержано в духе московского живописного узорочья середины XVII столетия. Нарядно и красочно выглядит уцелевший под галереей широкий портал с колонками по бокам и килевидным завершением, а также два эффектных трехлучевых «фронтона» над окнами второго этажа – остатки древних наличников.