Der Überlieferung nach soll dieses Gebäude mit seinem gotischen Steingiebel um 1350 als Stadtsitz der Ritter von Modexen errichtet worden sein.
Berücksichtigt man, dass die Siedlung Modexen in der zweiten Hälfte des 14. Jh’s. wüst wurde, so kann diese Entwicklung als Ursache für die Umsiedlung der Modexer Ortsherren nach Brakel angesehen werden. Neben der alten Stadtburg der Edelherren zu Brakel (Am Thy) ist dieser Bau der letzte Rittersitz in der Stadt. Im Jahre 1479 wurde die Alte Waage der Stadt verpfändet und 1553 ihr Eigentum. Bis 1840 befand sich hierin die Stadtwaage. Die einzelnen Stockwerke dienten als Kornmagazin für die Naturalsteuer. 1868 fand eine Restaurierung und ein Umbau der beiden Obergeschosse in Wohnungen statt. Im Erdgeschoss richtete man einen Feuerwehrgeräteraum ein. Nach umfangreichen Restaurierungsarbeiten konnten 1980 Ratssitzungssaal (im 2. Obergeschoss), Stadtarchiv (1. Obergeschoss) und Ausstellungsräume (Parterre) hier eingerichtet werden.
