Die im 14. Jahrhundert erstmals als „castrum nostrum bergerhusen“ urkundlich genannte Burg war kurkölnischer Vorposten im Einzugsgebiet der Jülicher Herzöge.
Während die heutige Anlage überwiegend auf bauliche Veränderungen des 19. Jahrhunderts zurückgeht, erinnert der mittelalterliche Backsteinturm an die frühere Wehrhaftigkeit. Vom 15. bis zum 19. Jahrhundert im Besitz der Familie von dem Bongart, gelangte die Burg 1830 durch Heirat an die Familie Waldbott von Bassenheim.
Danach wurden u.a. die Kapelle und der Treppenturm mit der geschweiften Haube angebaut. 1894 erwarb die Familie von Loe das Anwesen, das sich heute im Eigentum der Familie Stollenwerk befindet und für zahlreiche Veranstaltungen genutzt werden kann.
