Особняк значился на плане города уже в 1781 году. Первоначальное его назначение остается до сих пор невыясненным, известно лишь, что с середины XIXвека дом стал принадлежать известным вологодским купцам Варакиным. Судовладельцы Варакины владели пассажирскими пароходами «Внучата», «Бр. Варакины», «Яков» и буксирами «Александр» и «Федор», которые совершали рейсы между Вологдой и Тотьмой.

Особняк много раз перестраивался владельцами, сильно изменившими его первоначальный архитектурный облик.

В советское время особняк занимала областная глазная больница, в настоящее время здесь располагается больница Вологодского района.