De grote Ruwenberg in 1820, dit opschrift vinden we onder een pentekening uit die tijd. Het is de oudst bewaard gebleven tekening waarop de toren van De Ruwenberg te zien is met een wijzerplaat. Op de wijzerplaat staat echter het jaartal 1337. Dat is heel bijzonder.
In 1852 richt Zijne Doorluchtige Hoogwaardigheid Joannes Zwijsen, Bisschop van Gerra en Apostolisch Vicaris van 's-Hertogenbosch, het opvoedingsgesticht "Huize Ruwenberg" op. 6 Oktober 1852 arriveren de eerste 61 leerlingen, waarvan 4 uit Gelderland en 57 uit Brabant.
