Дом был выстроен, предположительно, в конце XVIIIвека семьей Колычевых как главный дом их городской усадьбы. О самом Колычеве существуют противоречивые сведения – то ли он был помещик, дворянин, то ли купец, но безусловно одно – такой дом мог построить только богатый человек. В 1822 году сын Колычева продал особняк губернскому дворянскому обществу за 30 000 рублей, и с тех пор, после некоторой перестройки и переделки, и до 1917 года здесь располагалось Вологодское дворянское собрание. В здании проходили выборы в дворянские собрания, устраивались балы, дворянское общество принимало заехавших в Вологду императоров Александра Iи Александра II.

С 1895 года некоторые помещения Дворянского собрания арендовал Артистический кружок, который ставил спектакли, проводил вечера и концерты. В начале ХХ века, с размещением в здании Северного кружка любителей изящных искусств, стали устраиваться художественные выставки, была создана своя библиотека, работали рисовальные классы. В 1915 году здесь был создан Музей нового и старого искусства. После революции собрание музея перешло сначала в музей, расположенный в корпусах Архиерейского дома, а затем большей частью - в Вологодскую картинную галерею.

В 1919 году здание было предоставлено губернской публичной библиотеке, которая, став затем Вологодской областной библиотекой, прожила здесь до конца 1963 года, когда для нее построили новое здание.

В 1964-1965 годах здание было отреставрировано и передано Вологодской областной филармонии. Несмотря на многочисленные переделки, двухсветный концертный зал на 300 мест, изразцовые печи, парадная лестница, другие элементы интерьера и декора несут в себе явные черты интерьера богатого дома XIXи отчасти XVIIIвека.

В начале 2000-х годов вдоль парадных фасадов был снят двухвековой культурный слой.