Дворянский особняк был выстроен в начале  XIX века. Автор проекта неизвестен, но есть предположения, что это был опытный петербургский архитектор. Первым владельцем был крупный вологодский помещик Н.В.Баграков, затем дом перешел к семейству Штольценвальдов, а от них, в 1890 году – к тогдашнему городскому голове  Николаю Александровичу Волкову, одному из богатейших людей Вологды, купцу первой гильдии, промышленнику, домовладельцу и пр.

Елена Николаевна Волкова, дочь городского головы, была активной участницей «Северного кружка любителей изящных искусств» и одной из создателей музея при кружке. В 1915 году музей переместился  в ее дом из здания Дворянского собрания. После революции дом был национализирован, и Елена Николаевна преподавала живопись в художественном техникуме, какое-то время размещавшемся здесь. Затем дом был просто жилым, а с 1973 года в нем разместилась детская музыкальная школа.