Omstreeks 1198 droeg de heer van Breda zijn kasteel en andere bezittingen over aan de hertog van Brabant en ontving deze vervolgens weer in leen terug. Hiervan werd deze oorkonde opgemaakt. Daarmee werd de hij formeel leenman van de hertog over zijn Bredase bezit. Van dit 'castellum de Breda' is vrijwel niets bekend. Miischien heeft het gelegen op een eilandje in de Mark ten westen van het huidige KMA-terrein. De op deze plaats brede rivier liep tot het begin van de veertiende eeuw dichter bij het huidige paleis. In de vroeg zestiende-eeuwse Denensage wordt gesproken over de burcht van een groep Denen of Noormannen bij Breda. Deze zou in 1124 zijn verwoest. Dit verhaal is waarschijnlijk gebaseerd op toen nog aanwezige restanten van de eerste burcht, gecombineerd met de mythische Noormannen.
Een meer plausibele theorie is de ligging tussen de huidige kerk en het kasteel van Breda. Door het aanleggen van de kasteelgrachten en de doorlopende werkzaamheden aan de verdedigingswerken rond het kasteelterrein zouden de oudere resten wel eens compleet verdwenen zijn.