De toponymist Chr. Buiks vond vermeldingen van Tulvenhout aenden bennendyck in 1521, Den pannendyck in 1699, Den pannendijk in 1725 enzovoorts.
De oudste vormen van de naam geven volgens Buiks benne. Moeten we hier denken aan het Middelnederlands bennell, wat betekent mand of ruif? Mogelijk een vlechtwerk, zegt Buiks, waarmee men de weg verstevigd heeft. Een dijk is meestal een iets hoger gelegen weg door een beekdal en dat klopt zeker wel voor de Pennendijk. In tegenstelling tot de meeste dijken loopt hij echter niet loodrecht op de Chaamse beek, maar min of meer evenwijdig eraan. Of moeten we aannemen dat de eigenlijke Pennendijk vroeger een traject volgde over de Hoge Pad? Dan zou ook de haakse bocht er niet in gezeten hebben. Pen heeft min of meer dezelfde betekenis als ben, namelijk afsluiting.
Heuvel
Een iets verbreed stuk van de Pennendijk werd volgens Buiks oorspronkelijk de Heuvel genoemd. Den Hoevel komt al voor in 1514. In 1526: Tulvenhout aenden hoevel, 1634: Aenden hovel, den pannendyck west, de rystraet Noort.
Heuvel is in de Baronie één van de vele benamingen, waarmee het dorpsplein aangeduid wordt, vergelijk de Heuvel te Oosterhout, de Heuvel op Den Hout enzovoorts. Het eigenlijke centrum van Ulvenhout zou men volgens Buiks meer zoeken in de richting van de kerk, op de plaats waar tegenwoordig het Dorpsplein ligt. Het eerste gedeelte van de Pennendijk heette volgens Buiks dan ook de Heuvelstraat. 1555: de Heuvelsche strate. 1562: Omtrent de Huevel, westwaerts aende Huevelstrate. 1793: de Heuvelstraat.
