Op de locatie van het voormalige Protestants- of Burgerweeshuis in de smalle Achterstraat stond oorspronkelijk het begin 15e eeuw gestichte Mariaklooster. Van dit klooster resteert nog alleen de Mariakapel, zij het dat de voorgevel van de voormalige kapel van veel latere datum is. In 1572 ging Hoorn over tot het hervormde geloof en verloor het katholieke Mariaklooster haar functie. Van 1573 tot 1576 diende het gebouw tevens als stadsgevangenis. Hier werd drie jaar de Graaf van Bossu, de spaansgezinde stadhouder van Holland, Zeeland en Utrecht gedetineerd, nadat hij in 1573 het onderspit dolf tijdens de Slag op de Zuiderzee (in het Hoornse Hop). Een grote gedenkplaat in de gevel herinnert aan Bossu. In 1574 werd het kloostercomplex verbouwd tot weeshuis, voor protestantse wezen waarvan de ouders uit Hoorn kwamen. Het weeshuis werd in 1729 ingrijpend verbouwd. De gebouwen die we nu voor ons zien zijn dus 18e eeuws. De toegangspartij aan de Achterstraat met gebeeldhouwde wezen draagt weliswaar het jaartal 1620, maar dateert wsl uit 1660 en werd in 1729 in de vernieuwde voorgevel geplaatst. Het complex heeft een L-vorm, zoals vanuit de binnentuin achter het gebouw goed is te zien. Deze "stiltetuin" is toegankelijk voor bezoekers en geeft een goede blik op de achtergevels van het weeshuis, alsmede op het koor van de Mariakapel. Het Weeshuis sloot haar deuren in 1958, na dus ruim 380 jaar dienst te hebben gedaan. Thans zijn er in de gebouwen appartementen gebouwd.