Die vermutlich zu Anfang des 14. Jahrhunderts erbaute Burg wurde 1312 urkundlich zum ersten Mal erwähnt. Besitzer der Burg war bis Anfang des 19. Jahrhunderts das Paderborner Domkapitel.
Im Laufe der Jahrhunderte ist die Burg mehrfach zerstört worden. Heute dienen der Burginnenhof und Burgvorplatz als Rahmen für vielfältige kulturelle Veranstaltungen. Auch der Burgkeller wird im Rahmen zahlreicher Veranstaltungen genutzt.
Das Quellgebiet der Lippe gab der Stadt ihren Namen. Unmittelbar an der Burgruine springt die Lippe“, nimmt ihren Lauf und mündet 255 Kilometer weiter in den Rhein. „Odinsauge“ wird der tiefblaue Quellteich im Volksmund genannt. Die Sage will wissen, daß der allmächtige germanische Göttervater Odin sein Auge herausriss und in die trockene Sennelandschaft warf, um sie so mit Feuchtigkeit und blühendem Leben zu segnen. Dass zum Quellwasser der Lippe noch Heilwasser hinzukommen würde, konnten die alten Germanen sicherlich nicht ahnen.
