Das Anwesen war früher das Schloß der Grafen von Landsberg. Es handelte sich um ein Gebäude, welches um 1600 im Stil der Weser-Renaissance errichtet wurde. Nachdem es zunächst als Wohnsitz und später als Jagdschloß der Grafen von Landsberg diente, wurde es ab 1934 als Reichschulungsburg genutzt, diente aber später auch als Lazarett.
Nach dem Kriege wurde es 1949 von der Josefsgesellschaft erworben. Hier wurde die erste Heil- und Schulungsstätte in Nordrhein-Westfalen eröffnet. Im Laufe des Jahres 1957 gab die Josefsgesellschaft ihre Schulungsstätte auf und veräußerte das gesamte Areal an die Bundesrepublik Deutschland zur Errichtung einer Garnison.
Als diese verlegt und ein Teil der Gebäude der Graf Landsberg-Kaserne nicht mehr vom Bund benötigt wurde, hat die Stadt Erwitte im Jahre 1976 das Schloßgebäude erworben und äußerlich zunächst einmal grundlegend instandgesetzt. Das unter Denkmalschutz gestellte Schloß gehört seit 1985 einer Privatperson. Zwischenzeitlich wurde auch das Gebäudeinnere grundlegend restauriert und instandgesetzt.
