Die Anlage wurde schriftlich erstmals 1102 als Burg der Grafen von Werl-Arnsberg erwähnt. In diesem Jahr wurde sie erstmals durch Erzbischof Friedrich I. von Köln zerstört, da sich Graf Friedrich der Streitbare während des Investitursstreits auf Seiten von Kaiser Heinrich IV. gestellt hatte. Eine weitere Zerstörung fand unter der Herrschaft von Graf Heinrich I. statt, dessen Ermordung seines Bruders einen Sühnefeldzug Heinrich des Löwen auslöste. Eine dritte Zerstörung erfolgte 1366 während einer Fehde von Graf Gottfried IV. mit dem Grafen Engelbert III. von der Mark.
Erste Hinweise auf eine Burgkapelle stammen aus dem Jahr 1114. Die Burg war Keimzelle der aus einer kleinen Burgmannen und Handwerkersiedlung hervorgegangenen Stadt Arnsberg. Die Burg selbst war Wohn- und Herrschaftsmittelpunkt der Grafschaft Arnsberg. In zwei Urkunden aus den Jahren 1259 und 1270 wird eine aurea caminata (eine goldene Kemenate) erwähnt, was für eine teilweise repräsentative Ausstattung spricht. Auch der Neubau einer dreischiffigen Kapelle und der Grundriß des Hauptturms sind Hinweise auf eine prachtvolle Anlage.
