Erzbischof Friedrich III. von Saarwerden ließ ein Schloss, das die Jülicher Grafen widerrechtlich gebaut hatten, abreißen. Statt dessen wurde die Burg mit ihren mächtigen Rundtürmen und weiteren wesentlichen Bauteilen an diesem Standort errichtet. Von Saarwerden ließ zur selben Zeit auch neue Stadttore und Mauern errichten, die die vier Stadttore miteinander verbanden. Als zusätzliche Wehranlage ließ er Gräben entlang der Stadtmauer ausheben.
