De congregatie der Broeders van de Onbevlekte Ontvangenis uit Huijbergen werd op 25 september 1854 gesticht door de Bisschop van Breda.
In 1866 deden de broeders een poging tot een nieuwe stichting in Breda die in eerste instantie mislukte. Vanaf 1890 komen echter in Breda, in samenwerking met de Vincentiusvereniging, een weeshuis, een voogdijhuis, en diverse basisscholen verspreid over de stad tot stand. Deze werken werden in eerste instantie bediend vanuit de communiteiten aan de Karrestraat (1890-1960) en de Dieststraat (1905-1959). In 1916 kwam daar een communiteit met de St. Franciscuskweekschool aan het Dr. Jan Ingenhouszplein bij. Later ontwikkelden de broeders ook het buitengewoon onderwijs op lager en voortgezet niveau aan het Don Boscoplein.
In 1960 was het pand aan de Karrestraat aan vervanging toe en kreeg deze communiteit een nieuw gebouw aan de Roland Holststraat (1960-heden). Dit pand is momenteel door de congregatie in gebruik als kloosterbejaardenhuis. Net als het pand aan het Don Boscoplein is het ontworpen door architect W.J. Bunnik.
