De Visserstraat is tegenwoordig vooral bekend als uitgaansgebied, maar in de middeleeuwen was de Visserstraat bekend als een woonplaats van aanzienlijken. Het is een van de oudste straten van Breda en zeker een van de straten waar het meeste van de oudste geschiedenis bekend is.
Tweede generatie
Men onderscheidt het ontstaan en de aanleg van de straten in de binnenstad algemeen in drie generaties. De eerste wordt gevormd door de wegen van de prestedelijke nederzetting (ontstaan in de twaalfde eeuw): de Ginnekenstraat, Eindstraat, Karrestraat Torenstraat en Vismarktstraat, met als zijtak de Ridderstraat, de Sint Janstraat en de Veemarktstraat.
De tweede generatie, aangelegd tussen ongeveer 1275 en 1325, wordt gevormd door de Grote Markt, de Brugstraten, de Katerstraat (Catharinastraat), de Veemarktstraat (alleen het gedeelte tussen de Grote Markt en de Molenstraat), de Molenstraat, de Steenbrugstraat of Nieuwstraat (tussen de Karrestraat en de Waterstraat), de Waterstraat en de Visserstraat (inclusief een smalle straat ter plaatse van de huidige Havermarkt). De volgorde van aanleg van deze straten staat niet vast. Na deze generatie volgen als derde generatie de zogenaamde ‘nieuwstraten’, waarvan het jaar van aanleg nauwkeurig bekend is, vanaf 1490.
Volgens de historicus Wim Hupperetz, die promoveerde op de geschiedenis van de Visserstraat, moet deze straat zijn aangelegd tussen 1311 en 1321 als een verbinding tussen de Vismarkt (de huidige Vismarktstraat) en de Brugstraat. De Visserstraat omvatte aanvankelijk ook de huidige Havermarkt. Deze werd pas als marktplein aangelegd in 1492.
Reynaer die Visscher
In 1333 bestond reeds een dijk, de ‘dyke after der visscher’. Lang werd gedacht dat de Visserstraat zo genoemd was omdat hier vroeger vissers woonden. De ‘dyke after der visscher’ verwijst waarschijnlijk echter, aldus Hupperetz, naar Reynaer die Visscher, die blijkbaar hier in de omgeving woonde. Deze Reynaer was waarschijnlijk geen visser, maar de pachter van de visrechten van Breda, een belangrijke persoon dus.
Oudste bewoning
De oudste bewoning rond de Visserstraat gaat al veel verder terug. Vanaf de late twaalfde eeuw is er al bewoning. Bij archeologisch onderzoek op Visserstraat 7 werd bebouwing gevonden die terug gaat tot in de late 12e eeuw. Opgravingen in Visserstraat 31 bevestigen dat beeld. Bij rioleringswerkzaamheden in 1994 werden de restanten gevonden van een houten wegbestrating, een zogenaamd knuppelweggetje. Deze moet dateren uit de late dertiende of de vroege veertiende eeuw.