Большое трехэтажное здание с двухъярусной галереей на главном фасаде и высоко поднятым четвериком домовой церкви с главкой XVIII в., выстроенное в 1667–1670 гг., – первые каменные архиерейские палаты. Архитектурный облик этого монументального здания несколько искажен расширением проемов и утратой нарядных древних наличников. 
В среднем высоком этаже находились парадные апартаменты, Христорождественская церковь (упраздненная во второй половине XVIII в.), личные покои архиерея и кельи монахов, служивших при доме. В подклете помещались кухни, хлебопекарни, трапезная низших служителей, кладовые и т. п. На самом верху жили лица, обслуживающие дом, и хранились домовые запасы; над церковью была архиерейская ризница. 
Самым парадным помещением архиерейского корпуса была большая приемная, так называемая Крестовая палата [1] [Открытая галерея на столбах датируется 1776 г., но является, вероятно, перестроенным старым гульбищем, существовавшим перед Крестовой палатой и Гавриловским корпусом еще в 1739 г.; в 1850 г. установлены колонки на втором ярусе и устроена крыша.], с семью слюдяными окнами, в которые были вставлены железные решетки. 
Палата была увешана образами в богатых окладах и ризах; тяжелое медное паникадило свешивалось со свода. На архиерейском месте, обитом темно-зеленым сукном, лежала золотая бархатная подушка . В 70-х годах XVIII в. палата была превращена в «крестовую» церковь, «вторая в XIX в. (освящена в 1841 г.) была сделана двухсветной путем разборки сводов над бывшей крестовой палатой и объединенными с ней соседними помещениями.