Deze plek en het nu erop staande gebouw hebben een lange geschiedenis. Waarschijnlijk midden 15e eeuw stond op deze plek een klooster van de Orde der Kruisheren, die Sint Pieter als beschermheilige hadden. Gedurende de Reformatie werden de kloosterlingen verjaagd en werd de Stad Hoorn eigenaar van het kloostercomplex. Er zijn aanwijzingen dat de gemeentelijke overheid toen de gebouwen al bestemde voor de huisvesting van ouden van dagen. In 1617 vond een grootscheepse verbouwing plaats van het voormalig kloostercomplex. Het werd aanmerkelijk uitgebreid. Zo ontstond het gebouw dat we nu voor ons zien, het "Oud Mann'en en Vrouwen Huys". Een imposant, min of meer vierkant gebouw, aan de Spoorstraat-zijde het Pieterspoortje met het jaartal 1617, enige tijd de hoofdtoegang. Het centrale deel van de gevel aan het Dal laat een mooi gedecoreerde hoofdingang zien met de wapens van de stad Hoorn en de wapens van Regenten en Burgemeesters ten tijde van de grote verbouwing in 1617/8. Dit gebouw doet na al die jaren nog dienst als tehuis voor senioren; het telt zo'n 40 woningen. Het heeft een ruime binnentuin. Het torentje vanuit de tuin zichtbaar herbergt een vroeg 16e eeuwse luidklok, afkomstig uit de in 1692 gesloopte Kruisherenkerk van het oorspronkelijke klooster. Helaas is het interieur niet toegankelijk (wachten maar op volgende Open Monumentendag). Het exterieur is echter alleszins een bezoek waard.