Особняк был построен в 1830-1831 годах. Строитель и первый владелец дома П.Д.Пузыревский занимал видные чиновничьи должности в Вологде. Гражданскую службу он закончил в чине тайного советника.

Пузан-Пузыревский был женат на дочери грязовецкого помещика, поэта и издателя Платона Волкова, из фактов жизни которого, по некоторым предположениям, Гоголь черпал материал для фигуры Хлестакова.

Одно время владельцем дома был известный вологодский фотограф К.Баранеев, а в 1913 году, после надстройки второго этажа (мезонина), здесь разместился Клуб вспомоществования частному служебному труду или, проще, клуб приказчиков. В клубе была библиотека, бильярд, устраивались концерты, танцы.

Кратким, но ярким эпизодом в жизни особняка стало почти пятимесячное пребывание в нем американского посольства, переехавшего вместе с другими посольствами из Петрограда в Вологду в 1918 году. Тогдашний дипломатический корпус надеялся «пересидеть» в тихой Вологде, пребывавшей в те дни в состоянии некоего политического двоевластия, время, как они надеялись, временной смуты. Надежды не оправдались, несколько окрепшая советская власть потребовала от дипломатов ехать в Москву, идипломаты подчинились, но большинство двинулось все же в Архангельск.

С 1920 года здесь перебывало много учреждений и организаций. Клуб водников, райком партии, детский сад, детская больница, райком комсомола, с 1963 года – городская санэпидстанция.

В 1998 году в доме открылся Музей дипломатического корпуса, здесь же работает культурно-историческое общество. В музее представлены редкие письменные источники из архивов США и Франции, а также из архивов ФСБ. Интерьер помещений музея воссоздает обстановку вологодского жилого дома конца XIX- начала ХХ века.