Стоящий рядом с Софийским собором двухэтажный каменный дом был домом приходского священника собора. В 1900-х годах в нем поселился Тихон Николаевич Шаламов с семьей. Здесь прошли детство и юность Варлама Шаламова. О своей жизни в этом доме, о катанье с ледяной горы у дома, куда собирался весь город, вспоминал он в свое книге «Четвертая Вологда».

В советское время здание было жилым домом.

В 1980-е годы здание было передано областной картинной галерее, которая разместила в нем свою постоянную экспозицию, а в 1991 году открыла мемориальный музей Варлама Шаламова.