De Hogere Burgerschool (HBS) werd in Nederland ingevoerd in 1863. In Breda werd in 1866 door de gemeente een gebouw hiervoor aanbesteed op het Kasteelplein. Het is een van de belangrijkste werken van stadsarchitect A.J.F. Cuypers. In het gebouw zijn de modernste vindingen van die tijd toegepast, zoals Philibertspanten, luchtkanalen onder de vloeren en gietijzeren rozetten in de buitenmuur. De ramen werden wit geschilderd, de deuren groen en de letters op de voorgevel goudkleurig. De muren en alle gietijzeren en houten onderdelen werden cementkleurig.
In 1901 verhuisde de gemeentelijke HBS naar de Nassaustraat en werd het oude HBS-gebouw in gebruik genomen door de KMA. De HBS is ondertussen weer verhuisd naar de Haagse Beemden en staat tegenwoordig bekend als Prisma Graaf Engelbrecht, school voor Mavo, Havo en VWO.