Engelbrecht II was getrouwd met Cimburga van Baden maar het echtpaar had geen kinderen. Wel verwekte Engelbrecht de nodige bastaarden. Engelbrecht benoemde daarom zijn neef Hendrik III van Nassau-Breda, een zoon van zijn broer, tot zijn erfgenaam. Hendrik III erfde Breda in 1499. Hij trouwde drie maal. Uit het tweede huwelijk, met Claudia van Chalon, werd René van Chalon geboren, de eerste Nassau die tevens prins van Oranje was. De derde vrouw van Hendrik, Mencia de Mendoza, maakte hem vermogend. Hij verbouwde het Bredase kasteel tot renaissancepaleis. Hij voltooide bovendien de Onze-Lieve-Vrouwekerk of Grote Kerk.
De Nassaus speelden al vanaf 1403 een belangrijke rol in Brabant en in de Bourgondische staat. Breda was hun machtsbasis. Zij waren heren van Breda, maar ze hadden ook nog andere heerlijkheden. Engelbrecht II werd in 1473 ridder in de Orde van het Gulden Vlies en vanaf toen behoorden de Nassaus tot de top van de hoge adel in de Nederlanden (Engelbrecht II en Hendrik III). René van Nassau, later René van Chalon, was de eerste Nassau die (door erfopvolging) ook prins van Oranje was.
De Oranje-Nassaus
René van Chalon en Willem van Oranje waren allebei prins van Oranje en ridder in de Orde van het Gulden Vlies. Hun machtsbasis was nog steeds Breda. Willem van Oranje is een scharnierfiguur. Hij begon als Bourgondisch edelman en ridder in de Orde van het Gulden Vlies en eindigde in de Tachtigjarige Oorlog als onofficieel staatshoofd van de Nederlandse republiek. Willem van Oranje is ook de eerste heer van Breda die zichzelf baron noemde. Filips Willem, de oudste zoon van Willem van Oranje, was nog even een tussenfiguur.
Tijdens en na de Tachtigjarige Oorlog (1568-1648) verlegden de Oranje-Nassaus hun machtsbasis naar Den Haag (Maurits, Frederik Hendrik en Willem II tot en met V). Breda speelde politiek en in de representatie geen rol meer. Vanaf Frederik Hendrik gingen de Oranjes hun machtspositie steeds verder uitbouwen als vorsten op Europees niveau. Hun belangrijkste functie was stadhouder van de republiek en juist dit was geen vorstelijke titel. Hun status hing samen met de titel prins van Oranje en met symbolen als het hof, paleizen en hun verwantschap door huwelijken met de regerende protestantse koningshuizen in Europa.
In de Franse Tijd (1795-1813) stonden de Oranjes tijdelijk buiten spel, maar in 1813 kon Willem I terug komen in Nederland als soeverein vorst, later als koning. Willem I, II en III oefenden als koning werkelijke macht uit en regeerden vergelijkbaar met andere koningen in Europa. De titel baron van Breda had geen enkele betekenis meer. De Oranje-Nassaus behielden nog wel voor langere tijd enige ‘heerlijke’ rechten en bezittingen in de Baronie van Breda.