Auf den Resten des niedergebrannten „Haus Holte“ aus dem 14. Jahrhundert baute das Rietberger Grafenehepaar Johann III. und Sabina Katharina zwischen 1608 und 1616 ein Jagdschloss im Stile der Renaissance.
Die Schlossanlage mit ihren 3 markanten Türmen und Wallgebäuden liegt am Ostrand des Holter Waldes.
