Ist außer der Burg Altena der einzige repräsentative Profanbau von kunsthistorischer Bedeutung und gleichzeitig das älteste Bürgerhaus unserer Stadt. Sie wird erstmals 1643 urkundlich erwähnt, als sie der Rentmeister Georg Holtzbrinck erwarb.
Sicher erscheint jedoch, dass der älteste Teil des Hauses bereits aus dem 16. Jahrhundert stammt.
Stephan Johann, der Sohn Georg Holtzbrincks, nahm bedeutende Veränderungen an dem Gebäude vor. Dadurch erhielt das Haus in den Jahren 1673-1689 in etwa seine heutige Form, auch die „alte Treppe“ entstand in dieser Zeit. In der 1937 angebauten Garage sind heute Küche, Garderobe und Toiletten untergebracht.
Als Heinrich Wilhelm von Holtzbrinck Landrat des 1753 neu geschaffenen Kreises Altena geworden war, wurde das Landratsamt in der Burg Holtzbrinck eingerichtet, dort blieb es bis 1878.
Neben dem Arbeitszimmer befand sich eine Zeitlang der Gottesdienst der reformierten Gemeinde.
Glanzvolle Architekturarbeiten sind die beiden Portale. Das Einfahrtstor zum Hof wurde 1688 von Matthias Hover geschaffen.
Das Hausportal weist zwei Daten auf: Im Giebelfeld neben einer stilisierten Muschel „Anno 1747“ und im eingesetzten Wappen die Jahreszahl „1748“.
Stilistisch ist der Bau der Barockzeit zuzuordnen, die im westfälischen Raum strengere Formen hervorbrachte als z. B. in Süddeutschland.
Den Namen „Burg“ Holtzbrinck erhielt das Haus wegen seiner burgartigen Anlage.
Die Stadt Altena kaufte 1972 das gesamte Gelände auf. In mehrjähriger Arbeit wurde das Gebäude restauriert und im Jahr1976 seiner neuen Bestimmung übergeben:
Die Burg wurde zur „Bürgerburg“ einer Stätte der Begegnung, die jedem Besucher zum Ausruhen, Lesen und Unterhaltung zur Verfügung steht. Auch Gruppen und Vereine können die Räume nutzen. Im Georg-von-Holtzbrinck-Saal finden regelmäßig kulturelle Veranstaltungen statt. In den Jahren 1980/81 wurde die Tiefgarage erbaut. Der darüberliegenden Park wurde umgearbeitet, er erinnert an einen Rokokogarten, er ist ein Ort der Erholung geworden.