Graaf Hendrik III van Nassau breidde zijn kasteel in de 15de eeuw uit tot een citadel. Hierbij werd het Kasteel van Breda uitgebreid met vestingwerken en werd het mogelijk het kasteel zelfstandig te verdedigen. Maar voordat hij zijn plannen kon doorvoeren moest er eerst ruimte worden gemaakt. En daarvoor lag het oorspronkelijke oude Begijnhof, dat zich toen nog bevond op het huidige Kasteelplein, in de weg.
De begijnen lieten zich echter niet zo maar wegsturen en na lange en uitputtende onderhandelingen kregen zij een nieuwe woonplaats in een gedeelte van het complex Valkenberg, dat eigendom was van de graaf. Daarnaast kregen zij de Sint-Wendelinuskapel in eigendom. In 1531 gaf de bisschop van Luik toestemming en in 1535 konden de begijnen hun nieuwe onderkomen betrekken.
Het huidige Begijnhof is gebouwd rondom een bleekveld, omringd door een beukenhaag en kleine (kruiden)tuintjes. Elk huisje had een stukje tuin tot hun beschikking. De huisjes waren aanvankelijk lager, maar zijn tussen 1781 en 1788 met één verdieping verhoogd. De Begijnhofkerk - Catharinakerk werd gebouwd in 1836-1838. De pastorie en het 'Nieuwe of Kleine hof' zijn in het midden van de 18de eeuw gebouwd.
