Die ALTE ABTEI, das Haus der Volkshochschule der Alten Hansestadt Lemgo, wurde um das Jahr 1585 von Heinrich Kerkmann, Kanzler des Grafen Simon VI. zur Lippe, als Adelshof erbaut – vermutlich durch den Baumeister Hermann Wulff. 1768 erwarb Graf Ludwig zur Lippe das Gebäude mit Hof und Wirtschaftsgebäuden, ließ es bis 1769 umbauen und nach Ankauf weiterer Grundstücke rückseitig einen umfangreichen Garten anlegen, der heute Abteigarten heißt und den Bürgern Lemgos wie den Gästen der Stadt zur Erholung dient. 1797 bestimmte der Graf testamentarisch das nach seiner Gemahlin Anna ANNENHOF genannte Gebäude zur Residenz der ßbtissinnen/Vorsteherinnen des adelig-freiweltlichen Damenstiftes St. Marien. In der Bürgerschaft setzte sich deshalb neben dem weiteren Namen PRINZESSHAUS die Bezeichnung ALTE ABTEI durch.