В XVI-XVII веках, когда существовал кремль, по берегу реки Вологды проходили крепостная стена и земляной вал. А между архиерейскими дворами и стеной, внутри крепости, были построены две каменные палаты с пушечными запасами. 
В 1687 году, как указывалось в писцовой книге, «Зелейная палата» была совершенно разрушена, покрыта землею и поросла травой. Каменные палаты к этому времени тоже разрушились, а военное снаряжение хранилось в каменной Благовещенской церкви, которая стояла между собором и земляным валом. 
Обследованием, проведенным в царствование Алексея Михайловича, установлено, что в южной части Соборной горки, в земле, сохранилась каменная кладовая, в которой нашли немного серебра и перекрытый кирпичными сводами подвал каменного здания. Найденное серебро Алексей Михайлович повелел употребить на украшение собора. 
В 1823 году на Соборной горке, с северной стороны, находилось деревянное подворье Спасо-Прилуцкого монастыря и два частных дома. На южной стороне был пустырь, на нем заровняли ямы, убрали остатки кирпича и белого камня, провели планировку земли и посадили деревья. Через некоторое время деревья были посажены и в северной части Соборной горки.