Het kasteel “De Ruwenberg” dateert uit de 14e eeuw en biedt al vele eeuwen een rustgevend onderkomen aan kenniszoekers. De exacte datum van oorsprong is onbekend, maar op de wijzerplaat van het bewaard gebleven uurwerk staat het jaartal 1337. In 1884 als het kasteel eigendom is van de fraters van Tilburg, dreigt de toren in te storten tijdens een hevige storm.
Dankzij de goede gewoonte van vaklui om de kap van een kerk, toren of een kasteel, die door hen is voltooid te merken met hun monogram en het bijbehorende jaartal, komt men tijdens herstelwerkzaamheden de volgende jaartallen tegen: 1337 gebouwd, en 1851 gekocht. Er wordt dan bijgezet: 1884 nieuwe spits!
Rond 1300 wordt in heel Europa de tijd nog vastgesteld met zandlopers, die op hun beurt weer geijkt worden met zonnewijzers. Mechanische uurwerken, zoals die in de toren van De Ruwenberg worden pas in het begin van de 19e eeuw uitgevonden.
In het jaar onzes Heren 1852 richtte Zijne Doorluchtige Hoogwaardigheid Johannes Zwijsen, Bisschop van Gerra en Apostolisch Vicaris van ‘s-Hertogenbosch het opvoedingsgesticht “Huize Ruwenberg” op.
Het voornaamste doel van dit Instituut was, om jongelingen boven de zeven en beneden de twaalf jaar door een godsdienstige opvoeding en het onderricht in de Nederlandse en Franse taal voor te bereiden op de studie der Humanoria in het Seminarie. Vanaf 6 oktober 1852 kwamen de eerste leerlingen aan. Het waren er 61, waarvan 4 uit Gelderland en 57 uit Noord-Brabant. Men kon later met voldoening constateren, welk een hoge vlucht het Instituut “Huize Ruwenberg” had genomen.
Het is gekend en erkend in het gehele land en zelfs ver daarbuiten. Zijn talrijke oud-leerlingen kon en kan men vinden in alle kringen van Kerk en Staat. En allen wedijveren in erkentelijkheid jegens de Eerwaarde Fraters, wier verdiensten als leraren en opvoeders niet licht te hoog worden geschat.
Vanaf 1965 werden geen nieuwe leerlingen voor het internaat meer aangenomen en in 1989 werd het terrein door de Fraters verkocht. De internaat gebouwen werden gesloopt en op het terrein werd een conferentieoord opgericht, waarvan de overblijfselen van het kasteel een integraal onderdeel uitmaken. Tot op heden is De Ruwenberg de locatie voor zakelijke meetings en events in combinatie met overnachtingsmogelijkheden en een inspirerend 14ha landgoed.