Na de stadsbrand van 1490 is tot aan de Beeldenstorm van 1566 in Breda een groot aantal nieuwe straten aangelegd. Deze stonden bekend als nieuwstraten. We noemen de Nieuwstraat, de Havermarkt of Nieuwe Korenmarkt, de Sint Annastraat of Korte Nieuwstraat en de Halstraat of Nieuwe Vleeshalstraat. Het terrein tussen de Oude Vest en de Akkerstraat was oorspronkelijk eigendom van het klooster St. Catharinadal aan het Kloosterplein. In 1533 maakte de stad plannen om hier nieuwe straten aan te leggen. In 1542 werd het erf waarop de straat geprojecteerd was, door het klooster aan de stad overgedragen en vanaf 1544 wordt er aan de huidige Keizerstraat gebouwd. Pas in 1578 komt voor het eerst de naam Keijserstraet voor.
Keizer Karel
De straat is indirect genoemd naar keizer Karel V (Gent, 1500 – Spanje, 1558), van 1506 tot 1555 landsheer van de Nederlandse gewesten, van 1516 tot 1556 koning van Spanje en van 1519 tot 1556 keizer van Duitsland. In 1644 wordt op de hoek van de Keizerstraat en de Oude Vest het huis het Keijsershoff genoemd. In 1554 is dit perceel door Peter Aart Schuermanszoon gekocht om er een huis op te bouwen. In 1565 wordt zijn weduwe aangeduid als Peter Aert Schuermanszoons dije men noemde Keijser wedue. De Keizerstraat is dus genoemd naar deze Peter Aert Schuermanszoon bijgenaamd Keijser, of naar diens huis het Keijsershoff.
In het verlengde van de Keizerstraat lag de Keizersbrug over de Oude Vest, in 1863 afgebroken in verband met de demping van de Oude Vest.
Hoerenbuurt
Rond de eeuwwisseling van de negentiende naar de twintigste eeuw was de Keizerstraat de rosse buurt van Breda. De oostzijde van de straat werd gesloopt in 1915, de westzijde moest in 1932 wijken voor het nieuwe PTT-gebouw.
Slopjes
Aan de westzijde van de Keizerstraat lag aan het begin van de twintigste eeuw het Jacobshof. Dit hofje ontleende zijn naam waarschijnlijk aan een eigenaar. In de archieven van de Hemelvaartparochie van 1898 komt dit slopje voor onder de wel zeer fraai klinkende naam St. Jacobusstraat. Aan de oostzijde bevond zich een hofje het Keizershof genaamd. Deze huisjes bevonden zich aan de binnenplaats van het reeds eerder genoemde huis het Keijserhoff.
Lange Stallen
De in 1542-1544 aangelegde Keizerstraat liep slechts van de Oude Vest tot aan de Akkerstraat. De huidige Lange Stallen zijn gebouwd in 1765, op de plaats van oudere houten stallen. Pas in 1952 werd de Keizerstraat voor de Lange Stallen langs doorgetrokken naar het Van Coothplein.
