Das Haus Grimminghausen gehört ursprünglich unter den Namen `Loerhof` zu einem Adelssitz an der Lenne. Es handelt sich jedoch nicht um ein Lehngut, sondern um freies Eigentum. Erstmals erwähnt wurde Grimminghausen in einer Verkaufsurkunde aus dem Jahre 1406. Damals veräußerten die beiden Brüder Schade es an Hermann von Cobbenrode. Durch die Ehe der Erbtochter von Wrede aus einer den Cobbenrode verwanden Familie, fiel das Gut an die Familie Rump zu Valbert (Krs. Meschede) und blieb bis ca. 1613 in deren Besitz. Anschließend waren die von Plettenberg aus dem Hause Nehlen bei Soest Eigentümer des Rittergutes, bis sie es 1656 mitsamt Viehhaus, Schafstall, Scheunen und allem sonstigen Zubehör für 4000 Reichstaler an die Familie von Mascherell verkauften. In die Westfassade des Putzbaues ist ein Maueranker mit der Jahreszahl 1675 eingelassen. Diese Jahreszahl bezieht sich jedoch nur auf den südöstlichen Erweiterungstrakt. Wie dem Inschriftstein am Eingang zu entnehmen ist, wurde das Gut 1800 renoviert. Vorher führte der Zugang vermutlich noch über eine Zugbrücke, denn Grimminghausen war ursprünglich von einer Wasseranlage umgeben.