De geschiedenis van Rapenburg 4 is in te delen in twee delen:
De geschiedenis van vóór 1667 (het Prinsenhof)
De geschiedenis van na 1667 (huidige gebouw)
De geschiedenis van het huidige Rapenburg 4 begint na 1667. Hiervoor bestond het perceel van rapenburg 4 tot en met 10 uit het St. Barbaraklooster dat na de Reformatie dienst ging doen als Prinsenhof.
Het gebied aan het Rapenburg ten noorden van de Lange brug heeft een geschiedenis die tot ver terugreikt, toen het terrein nog behoorde tot het grafelijk gebied, ten tijde dat het Rapenburg nog een vestgracht was. Het gebied behoorde bij het domein van de graven van Holland, dit staat reeds vermeld in oorkonden uit 1322 en 1352. Uit grafelijke rekeningen uit 1343 blijkt dat hier een lommerd gesitueerd was, waaruit we kunnen concluderen dat de graaf de stichter van deze “bank” werd. De eigenaar was ene Engbrecht van der Marck. Verder weten we dat een van de belangrijkste edelen van Holland, ridder van Cralinghe (ca.1370- 1441) eigenaar van het perceel was. Het is echter zeer de vraag of hij zelf in Leiden woonde. De volgende eigenaar vanaf 1426 was Jan Deyn. Hij zou het perceel te zijner tijd verkopen aan Simon van der Woude (een telg uit het riddelijke en adelijke geslacht Alkenmade uit Warmond). Hij zou de stichter zijn van een klooster gewijd aan St. Barbara behorende tot de 3e orde van St. Fransciscus. Deze bewoonsters van het St. Barbara bleven hier ruim een eeuw wonen.
Toen de opkomst van de hervormingen heviger werd, ging dit gepaard met onrust en strijd. Doordat de stedelijke overheid de Kerk trouw bleef, bleef het klooster in eerste instantie gespaard. Dit veranderde in 1572 toen Leiden de kant van de Prins van Oranje koos. Het klooster moest gaan dienen als universiteitsgebouw van de net opgerichte Universiteit. In de eerste jaren gebruikte de Universiteit het gebouw voor oraties en later voor onderwijs. Toen zij in 1581 een andere huisvesting vond (namelijk het Witte nonnenklooster) was er voor het voormalige St. Barbaraklooster een andere functie weggelegd.
In 1577 was er voor het eerst sprake de kloostergebouwen te gebruiken als Prinsenhof. In deze jaren werd het gebouw geschikt gemaakt als logement voor de prins, voor zijn tijdelijk verblijven in Leiden. Het gebouw werd in enkele jaren geschikt gemaakt voor ontvangst van belangrijke gasten. Ondanks dat het gebouw niet veel gebruikt werd, heeft Willem van Oranje (1533-1584) met zijn gevolg in de jaren 1580 en 1581 hier zeker vier keer gelogeerd. Toch zou het Prinsenhof zijn naam pas waarmaken in het jaar 1582 met de komst naar Leiden van prins Maurits van Oranje (1567-1625).
Vanaf 1582 verblijft Maurits met zijn gevolg in het Prinsenhof. Tijdens zijn studie gebruikt hij het Prinsenhof als zijn woning. Zijn verblijf wordt echter abrupt afgebroken door de moord op zijn vader Willem van Oranje op 10 juli 1584. Zijn aanwezigheid is vereist in Delft en dit betekend het einde van zijn studie en zijn tijd in Leiden.
Hierna in de jaren 1584-1585 gaat Maurits stiefmoeder, Louise de Coligny (23 september 1555 - 13 november 1620) het Prinsenhof bewonen voordat ze zich definitief in Zeeland vestigd.
Toen Louise de Coligny was vertrokken werd het Prinsenhof gebruikt als gastenverblijf voor hooggeplaatste en belangrijke gasten. Zo verbleef bijvoorbeeld de vertrouweling van Queen Elisabeth Robert Dudley (24 juni 1533 – 4 september 1588), beter bekend als de graaf van Leicester in het Prinsenhof in de tijd dat hij in de Verenigde Republiek was. Vanaf 1589 tot 1593 woonde de Schout Pieter van der Does (1562 - 24 oktober 1599) in het Prinsenhof. Vanaf 1593 zou er echter weer een Oranje zijn intrek in het Prinsenhof nemen.
In 1593 kwam prins Frederik Hendrik van Oranje (29 januari 1584 –14 maart 1647), jongste zoon van Willem van Oranje naar Leiden om te studeren. Ook hij nam zijn intrek in het Prinsenhof, net als zijn halfbroer Maurits voor hem. Tot 1597 zou hij in het Prinsenhof verblijven, toen hij uiteindelijk meemocht met Maurits op zomercampagne. Hoewel het Prinsenhof tot 1599 voor hem vrijgehouden werd, zou hij niet meer terugkeren. Wel heeft Maurits het Prinsenhof nog enkele keren gebruikt. Daarnaast vond er in 1598 het huwelijksfeest van de dochter van Marnix van St. Aldegonde plaats. Aangezien hij een van de grootste medestanders van de Oranje’s was, was Maurits bij deze feestelijkheden aanwezig.
De volgende bewoner was Justinus van Nassau (1559 - 1631), bastaardzoon van Willem van Oranje en Eline Elincx. Alles wijst erop dat hij zich hier langdurig wilde vestigen, maar het feit dat hij benoemd werd als gouverneur van Breda zorgde ervoor dat hij in 1602 alweer vertrok.
De jaren hierna wordt het Prinsenhof gebruikt als plaats van ontvangst voor hoogwaardigheidsbekleders en andere belangrijke gasten. Zo zijn in 1613 de Engelse koningsdochter Elisabeth Stuart (19 augustus 1596 - 13 februari 1662) en Willem van Oranje’s kleinzoon Frederik V (16 augustus 1596 - 29 november 1632), keurvorst van de Palts, zojuist in Engeland in het huwelijk getreden, te gast in het Prinsenhof. Deze twee, die later bekend zullen worden als winterkoning en –koningin, zullen later ook nog een rol van belang spelen bij bewoning van het Prinsenhof. Ook wordt bijvoorbeeld de ambassadeur van de Groothertog van Moskou Oussakoff in 1614 uitgenodigd voor een diner met Maurits op het Prinsenhof.
Vanaf 1616 doet het Prinsenhof wederom dienst als Universiteit, aangezien het Witte nonnen klooster op 11 november 1616 was afgebrand. Het Prinsenhof oefent deze functie uit tot 1618. Tot 1624 zouden er onder andere studenten in het Prinsenhof wonen. Doordat de “winterkoning” zijn krediet verspeeld had in Bohemen en de Palts, keerde hij naar de Republiek om onderdak en steun te zoeken bij zijn ooms Maurits en Frederik Hendrik. Zij zouden verblijven in Den Haag, hun kinderen zouden vanaf 1624 het Prinsenhof betrekken. In totaal zouden niet minder dan twaalf kinderen van Frederik en Elisabeth Stuart in het Prinsenhof wonen. Ze zouden uiteindelijk tot 1641 hier wonen, opgroeien en studeren. Noemenswaardig is de grootse ontvangst aangeboden aan Maria de Medici, koningin-moeder van Frankrijk in 1638 in het gezelschap van Amalia van Solms.
Nadat alle kinderen van de winterkoning waren vertrokken, trok onder andere Claudius Salmasius, een Franse filoloog verbonden aan de Universiteit in 1646 in het Prinshof. Hij zou tot 1651 in Leiden en in het Prinsenhof verblijven. Ook had het Prinsenhof nog gastvrijheid geboden aan Willem II van Oranje kort voor de mislukte aanslag op Amsterdam. Echter na de dood van Willem II volgde het eerste stadhouderloze tijdperk en het nut van een Prinsenhof voor de stad werd steeds twijfelachtiger. Toch zou er opnieuw een Oranje in het Prinsenhof trekken.
Op 4 november 1659 was het zover. Prins Willem III van Oranje (14 november 1650 - 8 maart 1702), ging op het Prinsenhof wonen. In het gezelschap van moeder prinses Mary Stuart en grootmoeder Amalia van Solms kwam hij Leiden binnen. In de jaren die hierop volgden zou Willem III en nauwkeurige opvoeding krijgen in godsdienst, krijgskunde, en politiek. Hij zou tot zijn vertrek naar Engeland in 1661 op het Prinsenhof verblijven. Hoewel het tot 1667 voor hem gereserveerd was, zou hij er nog weinig komen.
Na 1667 werd het Prinsenhof omdat het niet meer nodig was en werd de grond in meerdere percelen verdeeld. Het eerste perceel, het perceel van het huidige Rapenburg 4, werd op 1 maart 1668 verkocht aan Mr. Johan Brouwer voor het bedrag van f 4250,-.
(Bron: Th. H. Lunsingh Scheurleer red. Het Rapenburg, Geschiedenis van een Leidse gracht, deel II De Paplepel (Leiden 1987).
Na 1667 werd het Prinsenhof verbouwd en ontstonden er vier “aensienlijcke ende royale” percelen. Jan Brouwer, een gefortuneerd man en voormalig advocaat aan het hof van Holland kocht het perceel voor f 4250,-. Hij werd tevens de bouwheer van Rapenburg 4. Vlak voor dat de bouw van het pand klaar was, overleed Brouwer in 1669. Zijn zoon Johannes Brouwer Jr. erfde het pand en zorgde ervoor dat de verbouwing naar wens van zijn vader voltooid werd. Hierna verhuurde hij het pand onder andere aan koopman Jan van Peenen. Zelf heeft deze Brouwer Jr. tot aan zijn dood in 1697 nooit gewoond in het pand aan het Rapenburg maar bleef zijn ouderlijk huis aan de Houtstraat bewonen.
Hierna kreeg, aangezien Brouwer Jr. kinderloos was gebleven, zijn zuster Cecilia Brouwer Rapenburg 4 in het bezit. Zij trouwde met Isaac Massis, een advocaat van het Hof van Holland met een geschiedenis in ‘de Oost’. Ook zij bleven het huis verhuren, onder andere aan de hoogleraar Grieks, Geschiedenis en bibliothecaris Petrus Burmannus.
Toen Cecilia Brouwer in 1726 overleed, ging het huis over op een van haar kleinkinderen, Barbara van de Velde.
Barbara van de Velde was de eerste eigenaresse die het pand zelf ging bewonen. Onder haar naam werd ook het achterhuis tot koetshuis verbouwd. Omdat de eigenaresse in eerste instantie nog te jong was, bleef het pand voorlopig verhuurd in 1742 aan de rijke Leidse koopman Petrus Tiarck. Zijn achterkleinkind, Henriëtte d'Oultremont de Wégimont zou later de tweede gemalin van Koning Willem I zijn. Na haar huwelijk met Jacob Bartram van den Steen, vestigde het jonge paar zich op het Rapenburg 4. Bij deze gelegenheid werd het huis volledig gemoderniseerd. Zo stammen onder ander het fonteintje in de gang en het uiterlijk van de voorkamer uit deze tijd. Deze Jacob Bartram van den Steen werd later schepen en burgemeester van Leiden.
Toen Barbara van de Velde in 1790 overleed kwam het huis toe aan haar echtgenoot. Toen Jacob ook overleed in 1793, kwam het huis toe aan de achternicht van Barbara van de Velde.
Deze Margaretha Henrietta Douw ging het huis zelf niet bewonen, maar verhuurde het in 1799 aan Philips Julius graaf van Zuylen Nyevelt, de latere gouverneur van Amsterdam, opperceremoniemeester van koning Lodewijk Napoleon en maarschalk van Holland. Daarna in 1802 verhuurde ze het aan Willem Hendrik baron van der Duyn, kamerheer van prins van Oranje en luitenant-generaal der cavalarie. Hierna verhuurde zij het in 1803 aan Jan Frederik van Beek Calkoen, hoogleraar in de natuurlijke wijsbegeerte en wiskunde. Na het overlijden van Margeratha Douw in 1839 ging het huis over in de handen van haar echtgenoor, Jacob van der Sleyden. Hij bleef het huis ook verhuren aan Johannes Frederik van Oordt, hoogleraar godgeleerdheid tot aan zijn dood in 1842.
Het huis ging hierna over op de zeven kinderen, die het huis in gemeenschappelijk eigendom hielden en bleven verhuren. In 1845 betrok Johannes Kneppelhout, bekend van literaire schetsen onder het pseudoniem ‘Klikspaan’, Rapenburg 4 tot 1851, toen de broers en zusters van der Sleyden hun erfdeel verkochten.
Zij verkochten het aan Anthony Rutgers, hoogleraar in de bespiegelende wijsbegeerte en letteren. De enige verandering in deze jaren aan het perceel, zijn het verleggen en vernieuwen van de hardstenen stoep met paaltjes en ijzeren gordingen, die nog steeds bestaat. In 1876 vestigde hij zich echter in Den Haag en verkocht het pand voor f 14000,- aan Pieter van der Meer Sr. Deze woonde er slechts twee jaar waarna hij het pand in 1878 verkocht aan Johannes Groll. Deze Johannes Groll volgde aanvankelijk een loopbaan tot zeeofficier, maar werd daarna ingineur van de goevernementstelegrafen in Nederlands Indie. Terug in Nederland bestuurde hij de spoorwegrijtuigenfabriek in Utrecht. Na zijn overlijden in 1885 ging het huis over op zijn weduwe Wilhelmina Henrietta Temminck. In 1885 werd de stal afgebroken en de vrijgekomen grond bij de tuin getrokken. Zij bleef tot haar dood in 1912 in het Rapenburghuis wonen.
In 1912 werd de woning verkocht aan de Nederlandsche Christelijke Studentenvereniging. Zij gebruikte het pand als verenigingsgebouw en om er studenten te huisvesten. Om ruimte te winnen verhoogde men het huis met een extra verdieping, waardoor het dak een andere vorm kreeg. Vanaf dit moment hebben er studenten in het pand gewoond, bijvoorbeeld de historicus Jan Romein in 1917. In 1950 werd er een doorbraak gemaakt naar Rapenburg 6; beide panden dienden vanaf toen vooral als mensa, terwijl er op de bovenverdieping studenten bleven wonen. In 1955 werd het huis gekocht door het Leids Universitair Fonds. De bestemming bleef hetzelfde: het onderdak verlenen aan studenten. In 1959 vergrootte men het pand door de binnenplaats te overdekken en in 1975 werden de twee verbindingsdeuren tussen Rapenburg 4 en 6 dichtgemaakt.
In 1993 werd het huis opgekocht door de Stichting Golgotha, een stichting opgezet door oud-bewoners (studenten) van Rapenburg 4. Zij is de huidige eigenaar van “aensienlijcke ende royale” Rapenburg 4.
In het voorgebouw op de begane grond hebben verschillende huurders gezeten. Eerst het Koninklijk Instituut voor Taal-, Land- en Volkenkunde. Daarna assurantiebedrijf Koster, makelaardij Bax en Start Medi Interim. Vanaf 2005 zit Graal Makelaardij op de begane grond.
(Bron: Th. H. Lunsingh Scheurleer red. Het Rapenburg, Geschiedenis van een Leidse gracht, deel II De Paplepel (Leiden 1987).