De naam IJpelaar komt voor het eerst voor in een akte van 13 mei 1280. In dat jaar schonken Arnoud van Leuven en zijn vrouw Isabella van Breda aan de Bredase poorters in gemeenschappelijk gebruik de gronden buiten de stadswallen tussen Emmerberg en den Ypenlaer. De abdis van Thorn hief op IJpelaar een cijns en de heer van IJpelaar hield van haar de tienden van IJpelaar en Heusdenhout in leen. Vanaf het begin van de 14e eeuw worden de heren van IJpelaar voor het eerst genoemd. Zij waren leenmannen van de heer van Breda en kwamen vermoedelijk voort uit het adellijke geslacht Van Ulvenhout. Peter van Ulvenhout kreeg het goed IJpelaar in leen voor 1333. Hij noemde zich vervolgens Peter van IJpelaar .
Omvang heerlijkheid
IJpelaar had een omwaterd kasteel en enkele hoeven in de omgeving. De Grote en Kleine Hoeve werden in 1517 vermeld alsmede een derde niet genoemde hoeve. Bij het kasteel hoorde in 1555 tien bunder land, bij de Grote Hoeve 29 bunder en bij de kleine hoeve 27 bunder met nog 14 bunder heide bij Woestenberg, ten zuiden van Bavel. Het totaal komt dan op ongeveer 100 hectare.
Het kasteel
Het oudste document waarin het toponiem wordt genoemd dateert dus uit 1280. Het is onduidelijk of er toen al een kasteel stond. Tussen 1493 en 1495 is het kasteel toevluchtsoord voor de abt van de abdij van Egmond. De abt zou, volgens een Egmondse abtenkroniek met meerdere monniken op het kasteel hebben verbleven. Volgens de beschrijving had het kasteel tal van vertrekken en een kapel. Het is de vraag of deze beschrijving met de werkelijkheid overeenkomt. Ooggetuigen van deze geschiedenis spreken in 1495 van castellum. In 1521 omschrijft Adam van Nispen het kasteel als: opt huys ende slotke, genaemt Ypelaer buyten Breda. Bij de boedelscheiding na de dood van Adam van Nispen in 1536 wordt het kasteel omschreven als: het huys en hof van Ypelaer mette drie hoeven. In 1555 wordt het kasteel omschreven als: Slot met dubbele grachten, voorhof en drie pachthoeven, samen 104 ha.
Een jaar na zijn aankoop van het kasteel in 1566 neemt ene Cornelis van Dalem, zo blijkt uit een bij de sloop van het kasteel in 1824 teruggevonden leitje met opschrift, een metselaar uit Antwerpen in dienst Aanvankelijk werd verondersteld dat het leitje bij herstellingswerkzaamheden aan het dak werd teruggevonden (zie onder). Het opschrift luidt: Jan de Weese Corneliszoon metser van Antwerpen heeft hier gewrocht [gewerkt] wel vier maenden met hanseken sijn soon. Want om twoort des Heeren mosten hy uut Antwerpen vlien als men screef MCCCCCLXVI.