Achter de Laurentiuskerk in Ulvenhout stond in het verleden het omgrachte slotje Grimhuizen. De laatste restanten van dit kasteeltje werden gesloopt in 1904. Concrete herinneringen aan dit slotje zijn de twee renaissance poortjes, rechts en links van de kerk en de in het plaveisel vastgelegde contouren in het Grimhuysenpark. Verder herinneren niet minder dan vier straatnamen aan het kasteeltje: het Grimhuysenpark, de Grimhuijsenstraat, het Grimhuijsenhof en de Slotlaan.
Jan van der Leck, bijgenaamd Grimhuijsen
Grimhuizen is vermoedelijk in de vijftiende eeuw afgesplitst van het complex van de hoeve van Ulvenhout (de tegenwoordige Prinsenhoeve), dat eigendom was van de heer van Breda. De eerste vermelding van het slotje is van 1474 toen Jan van der Leck, bijgenaamd Grimhuijsen, vermeld werd als leenman. Hij was een zoon van Jan van der Leck, bastaardzoon van de heer van Breda, Jan III van Polanen. De "oude Jan" was dus ook een halfbroer van Johanna van Polanen, de stammoeder van de Bredase Nassaus. Met enige fantasie mogen we deze straatnamen dus ook beschouwen als Nassaustraatnamen.
Via prins Filips Willem van Oranje kwam Grimhuizen in het bezit van Justinus van Nassau, de bastaardzoon van Willem van Oranje. Justinus heeft tussen 1609 en 1621 het gebouw gerenoveerd.
Een grimmige burcht
De toponymist Chr. Buiks geeft als de meest waarschijnlijke verklaring van de naam Grimhuizen grimmig, boos, toornig, het was immers een versterkt stenen huis met een afschrikwekkende functie, aldus Buiks. Zo'n grimmig kasteel was Grimhuizen nu ook weer niet. Het slotje staat in welstand afgebeeld op de kaart van het Mastbos, vervaardigd door Jan Pieterszoon Dou in 1625 naar eerdere metingen van Jacob Lips uit 1621 en 1624. Het was een coulissenkasteeltje (niet verdedigbaar) met renaissance tuinen en het lijkt in aanleg wel op Bouvigne, dat op dezelfde kaart staat afgebeeld. Ook de bouwstijl van de twee bewaarde poortjes ter weerszijden van de Laurentiuskerk wijst daar op. Het was dus een aangenaam woonhuis, omringd door een gracht, met een mooie tuin er om heen.