Особняк, построенный в 1780-х годах, хорошо сохранил свой первоначальный облик. В числе первых владельцев этого прекрасного дома на бывшей Златоустинской набережной был Иван Яковлевич Барш, сын голландского адмирала, служившего на русском флоте, и вологодской дворянки Домны Огарковой. И.Я. Барш – морской офицер, контр-адмирал российского флота, по выходу в отставку и прибытию в Вологду поселившийся в этом особняке. В дальнейшем один из его сыновей – Николай Иванович Барш, ставший гражданским губернатором Вологодской губернии, продал дом с флигелями и службами казне для дома вице-губернатора.

Со второй половины XIXвека дом принадлежал губернскому правлению, а в 1930-х годах здесь был расквартирован кавалерийский батальон 10-й дивизии.

В советское время в доме находился детский сад, позднее – военный гарнизонный суд.

При съемках фильма «Дядюшкин сон» по Достоевскому этот дом служил центром развития событий.