В 1564 году борьба бояр с царской властью обострилась. Иван Грозный, не чувствуя себя в безопасности в Москве, выехал в Александровскую Слободу. Тогда он и решил построить в Вологде каменный город, или кремль, – свою новую резиденцию. 
Посетив в сентябре 1565 года Троице-Сергиеву лавру и города Переяславль, Ростов, Ярославль и Кириллов, Иван Грозный с царицей и сыновьями Иваном и Федором прибыл в Вологду. Здесь он заложил каменный город и велел «рвы копать, подошву бить», готовить к весне запасы строительных материалов. В декабре царь вернулся в Москву. А в феврале следующего года вновь прибыл в Вологду на строительство кремля и пробыл здесь около пяти месяцев. 
Кремль имел в плане форму неправильного четырехугольника. Северная сторона его шла по берегу реки Вологды, восточная– вдоль речки Золотухи, по современной улице Мира, южная и западная стороны– вдоль прокопанных рвов, по нынешним улицам Октябрьской и Ленинградской. Рвы соединялись с реками Золотухой и Вологдой. Для обводнения крепостных рвов была проделана специальная копань из речки Шограш к Золотухе и рвам. 
Каменные стены и башни строились в первую очередь по восточной стороне, между Вологодской и Обуховской угловыми башнями, и по западной стороне. Одновременно внутри кремля, на берегу реки Вологды, возводился каменный собор Софии. Постройка кремля осуществлялась под руководством Размысла Петрова. 
Для Ивана Грозного и его семьи вблизи собора были построены деревянные дворец и домовая церковь. Но вскоре строительство кремля в Вологде было остановлено. 24 мая 1571 года войска хана Девлет-Гирея подошли к предместьям Москвы и подожгли город. При сильном ветре пожар уничтожил всю деревянную столицу, сохранился только кремль. Потребовались большие усилия и средства, чтобы восстановить город после пожара. Однако в 1572 году хан Девлет-Гирей вновь угрожал Москве: летом его войска подошли к реке Оке. Встретившись здесь с войсками князя М. И. Воротынского и потеряв в схватке много людей, хан отступил в степь. 
События эти помешали достроить Вологодский кремль. На незаконченных по высоте каменных стенах и башнях были нарублены деревянные «тарасы». Вместо каменных стен с южной, западной и северной сторон соорудили деревянные башни, а между ними– деревянные стены из заостренных свай, которые проходили по земляному валу. Общая длина стен и башен кремля составляла тогда 3108 метров. 
Было полностью закончено устройство и укрепление рвов с трех наружных сторон кремля, проделаны копани от реки Шограш до реки Золотухи. Успели закончить до московского пожара и сооружение собора Софии. 

Постройка новых стен Кремля (1631-1632 гг.) 
В смутное время Вологда и ее окрестности подверглись сильному разорению и опустошению. 
В 1609 году приверженцы Лже-Дмитрия II сместили вологодского воеводу Пушкина и дьяка Воронова, выпустили находящихся в заключении поляков, и те начали грабить окрестных крестьян. Возмущенные горожане освободили из заключения воеводу Пушкина и дьяка Воронова, убили вновь прибывших воеводу Нащокина и дьяка Кавернина... 
В июне 1612 года по призыву князя Пожарского были созданы отряды вологжан-ополченцев. Под предводительством вологодского воеводы Петра Ивановича Мансурова они отправились на защиту Москвы. 
22 сентября 1612 года ночью отряды поляков и литовцев неожиданно напали на Вологду. Городские ворота были не закрыты, караул не слыхал, как поляки вошли в город. Стольник и воевода князь Иван Одоевский скрылся в уезде. Начались убийства, грабежи, пожары... Убили воеводу князя Григория Долгорукова, дьяка Петому Карташева и многих жителей города. Многое погибло в огне пожарищ. Сожгли архиерейские палаты, а епископа Сильвестра взяли в плен и четыре ночи пытали... На старой торговой площади разграбили и сожгли Гостиный двор и торговые ряды, в Зарядье– амбары посадских торговых людей. В Древнем городе, в Рощенье, Фроловке, Козлене, Обухове, Заречном посаде сгорело шестнадцать деревянных церквей. 
Во время нашествия пострадали и кремлевские строения: сгорела часть деревянных стен и башен города, пострадал от огня и собор Софии. А те стены, что не сгорели, пришли через несколько лет в ветхость. 
По указу царя Михаила Федоровича в 1631–1632 годах остатки деревянных стен крепости были разобраны и построены новые- деревянные, рубленые, высотой более шести метров, с деревянными рублеными башнями. На основаниях оставшихся каменных стен и башен тоже нарубили деревянные стены и башни. Привели в порядок рвы и мосты. 
В 1657 году при царе Алексее Михайловиче была произведена новая опись крепостных стен. На восточной каменной стене с каменными башнями были нарублены деревянные башни, а между ними – деревянные стены. Южная стена, идущая вдоль нынешней Октябрьской улицы, была выстроена вновь. Между Обуховской и Пороховой угловыми каменными башнями выстроены три деревянные башни, из них средняя, Борисоглебская, – проезжая, две крайние – глухие. 
Западная стена имела две угловые башни: Пороховую каменную башню южной стены и деревянную угловую башню на берегу реки Вологды. Между ними были четыре промежуточные башни: одна каменная, постройки XVI века, с новой деревянной надстройкой и три новые, деревянные. Ильинская башня, ближайшая к угловой, была проходная. 
Северная стена имела между угловыми пять деревянных башен, из которых Софийская– проходная. Между башнями шла деревянная стена. Крепостные стены имели одиннадцать каменных башен XVI века с деревянными шатровыми надстройками XVII века и двенадцать деревянных башен, построенных вновь. 

Дальнейшая судьба крепости 
Во время пожаров 1636 и 1641 годов деревянная часть стен и башен, надстроенных над каменной стеной и башнями вдоль реки Золотухи, сгорела. В 1652 году вологодский воевода Милославскнй доносил царю Алексею Михайловичу, что вешние и от больших дождей воды реки Золотухи подмыли берег и река подошла к проезжим воротам и башням кремля. От Благовещенской башни до реки осталось только два метра... Воевода просил об укреплении берегов реки Золотухи. На прошении воеводы– помета: "Отписать– а велеть на той реке обрушенные места покрепить теми ж людьми, что преж сего делано, чтобы впредь большее того порухи не было". 
В описи 1657 года отмечается, что деревянных стен с северной и западной сторон крепости уже не было. Каменные башни и стены сильно разрушились. Во многих местах своды башен обвалились. Рвы заплыли илом, надолбы сгнили. 
К этому времени крепость уже потеряла свое значение. После паводка реки Вологды в 1670 году, когда весенние воды размыли земляной вал крепости от Водяных ворот до Ильинского рва, крепость больше не восстанавливалась. А заготовленный для строительства крепости серый и белый камень, находящийся за городской стеной, разрешено было брать для фундамента и цоколя Соборной колокольни и Воскресенского собора. 
В 1780 году часть каменных стен и башен еще существовала. Но в 1822-1823 годах при генерал-губернаторе Брусилове он;.1 были разобраны. Рвы на современных Октябрьской и Ленинградской улицах засыпаны. 
От крепостных сооружений XVI века до нашего времени сохранилась река Копанка, пересеченная железнодорожной линией, вследствие чего река Шограш течет по староречью. Сохранилась река Золотуха, пруды в саду ВПВРЗ, являющиеся частью крепостных рвов западной стены, отсыпь в этом же саду, фундаменты каменных крепостных стен и башен на улицах Мира и Ленинградской. Они встречаются иногда при прокладке подземных инженерных сетей.