Mitten in der Altstadt von Geseke, nördlich der Stadtkirche inmitten eines großen, mehrere Morgen umfassenden Geländes liegt ein ehemaliger Adelssitz. Vom Markt führt eine Sackgasse durch eine barocke Toranlage zu dem Bau, der aus zwei Teilen besteht. Nach Südwesten gelegen ein barockes Haus, Giebelstellung, Krüppelwalm, Portal. Nach Nordosten ein Steinwerk des 16. Jahrhunderts. Die Naht zwischen den beiden Bauten ist deutlich zu erkennen. Nach der Restaurierung kommt der Bau, zentral, aber ruhig im Zentrum der Stadt gelegen, erst richtig und eindrucksvoll zur Geltung. Laut Chronogramm an einem Torpfeiler wurde der barocke Teil 1714 errichtet von den Eheleuten Johannes Otto Fischer und Anna Maria Grever. Fischer war zu der Zeit Rentmeister der Herren von Hörde. Die ganze Anlage hatte wechselnde Besitzer (Adel, zuletzt Bürger). Er war auch u. a. im Besitz des Fürstbischofs Dietrich von Fürstenberg von Paderborn. In der Zeit, als er den Herren von Hörde gehörte, nächtigte dort der Kurfürst. Erst in der 2. Hälfte des 19. Jahrhunderts kam der Hof in Besitz der Familie Thoholte. Daher wird er fälschlich im Volksmund „Thoholten-Hof“ genannt. Auch die Namen „Annen-Hof“ und „Schulten-Hof“ waren früher gebräuchlich. Der historische Name lautet aber richtig „Greven-Hof“. Es ist durchaus möglich, dass er auf einen ursprünglichen Besitz der Haholde zurückgeht. – Als einziges Wirtschaftsgebäude blieb eine Remise erhalten, die vor einigen Jahren restauriert wurde.
