Народное предание говорит, что при основании своей обители Преподобный Герасим, на первых порах не только не нашел в жителях никакого сочувствия своему предприятию, но еще встретил противодействие. Некто Пятышев, богатый землевладелец и христианин, пожалев места для святой обители, заявил свои права на землю и начал о ней спор с Преподобным, хотя та земля не имела в то время почти никакой цены. Пятышев при этом, желая извинить себя и прикрыть свою жадность к обогащению, объяснял свой поступок бережливостию и благоразумным желанием избежать бедности. Пр. Герасимъ отвечал на это, что напрасно Пятышев опасается впасть в нищету из-за уступки малой части земли, не приносящей дохода, для святого Божьего дела и тут же предсказал, что сколько бы Пятышев ни старался о приобретении, никогда не сделается богачем, что не только он сам, но и все потомки его "станут жить небогато, но и голо не порато (не очень)". Это предсказание исполнялось во все время 700-летнего существования рода Пятышевых. Потомки Пятышева знали, конечно, предсказание угодника об их роде и далеко уже не были так скупы и неотзывчивы на дела благотворения, но слово пророческое сбывалось на них, - никогда, ни один из Пятышевых не был заметным богачом, хотя они владели различными небезвыгодными торговыми и промышленными предприятиями (Волог. Еп. Вед. 1903 г. № 3, 1868 г. № 3). Народная молва до сих пор род Пятышевых зовет проклятым. Близ церкви пр. Герасима мрачный, проклятой дом Пятышевых известен всем Вологжанам.
В этом доме жили Шапкины - последние из рода Пятышевых. После них имение стало выморочным и перешло к Троице-Герасимовской церкви, после упразднения монастыря ставшей приходскою. В доме некоторое время жил причт, но затем дом был заброшен, долго, много десятков лет стоял пустым и мало помалу приходил в упадок. Крыша его сгнила, провалились потолки и полы, рамы сорвались с петель. Прохожие с ужасом сторонились этой мрачной руины. Молва разносила про дом разные небылицы, по общему убеждению, там "глумилось". Свист ветра, шелест оборвавшихся обоев, скрип створок, шаловливые дети, случайные ночлежники из кадров золотой роты - способствовали распространёнию слухов о шалостях нечистого в пустом доме.
Одни только не верили в чертовщину - это соседние жители и поэтому они нисколько не боялись страшного дома. Напротив, кое-кто даже был рад такому соседству, добывая даровое топливо из проклятых бревен. У всех на памяти исчезли баня и срубы амбара... Будет отныне глохнуть и самое предание о проклятии рода Пяты-шевых, так как грозный памятник этого проклятия - мрачный дом - в 1903 году, по распо-ряжению начальства, сломан.
Сохранилось еще предсказание Преподобного о том, что близ его обители со временем "должно быти граду великому и в нем святым церквам воздвигнутися и святителем водворитися (тропарь). Исполнилось и это предсказание угодника,- Вологда стала видным городом, украсилась множеством храмов и епископы в ней имеют свою кафедру.