На месте гостиницы «Эрмитаж», построенной в 1904 году, стоял один из корпусов Гостиного двора, возведенного в конце XVIIIвека. Гостиница считалась одной из самых лучших в Вологде. Здесь был очень большой ресторан и невысокие в нем цены, играли часто сменявшие друг друга оркестры.

В годы гражданской войны в здании размещался губернский продовольственный комитет, занимавшийся заготовкой и распределением хлеба и других продуктов, формированием вооруженных продовольственных отрядов, добывавших хлеб для армии и города.

В советское время здесь размещались областной комитет КПСС, городской комитет КПСС. Длительное время здание занимает администрация города Вологды.