1312 wird ein Kölner Ministeriale namens „Gobelin von Cudilsheggin“, der sich nach seinem Wohnsitz nannte, urkundlich erstmals erwähnt. Es wird deshalb angenommen, dass er der erste Besitzer der Burg Kühlseggen war (Lit.: Herzog, 1990). Einer seiner Nachfolger war Arnold von Umbescheiden, der 1351 auch „von Cudelzecgen“ genannt wurde.
Im Jahr 1368 wiederum ist es Walfraff von Scheiffart von Merode, der als Besitzer der zu jener Zeit wohl schon befestigten Burg genannt wird. Die Scheiffart von Merode besaßen Kühlseggen bis zu Beginn des 16. Jahrhunderts und bauten es zu einem landtagsfähigen Rittersitz aus. Dann ging die Anlage durch Heirat an Goswin Brent von Vernich.
