Im Jahre 1177 wird Crassenstein erstmals urkundlich erwähnt. Ob es sich bei diesem „Schloss“ um eine Art Gräftenhof gehandelt hat oder um eine Befestigung aus Wohnturm mit Wassergraben, eine sogenannte Motte, ist unklar. Wo es gelegen ist, steht auch nicht fest. Doch liegt die Vermutung nahe, dass sich das befestigte Gebäude bereits im wasserreichen Tal der Liese befand, etwa da, wo auch heute das Schloss steht. Dieses ehemals sehr feuchte, zum Teil auch wohl sumpfige Gebiet mag den Burgherren eine ziemlich sichere Verteidigungsposition gewährt haben. Eine andere Annahme, dass es sich beim ersten Bau von Crassenstein etwa um eine Höhenburg gehandelt haben könnte, scheint ausgeschlossen; denn auf der dafür in Frage kommenden südlich gelegenen Anhöhe wurden bei verschiedenen Ausschachtungsarbeiten bis zum Jahre 1981 keine Funde gemacht, die auf eine Höhenburg dort haben schließen lassen.
Auch darüber, warum Crassenstein erbaut wurde, können nur Mutmaßungen angestellt werden. Aller Wahrscheinlichkeit nach waren es zwei Gründe, die den Erbauer, den Burggrafen von Stromberg, zur Anlage von Crassenstein bewogen haben:
In Diestedde lagen Besitzungen des Burggrafen. Nun grenzten hier im südlichen Zipfel des Dreingaus vier Länder aneinander: die Bistümer Paderborn und Osnabrück, das Oberstift Münster und das Erzstift Köln. Dass dem Burggrafen in der fehdereichen Zeit um 1180 am Schutz seiner Besitzungen gelegen war, ist keineswegs verwunderlich.
Ein weiterer Grund wäre darin zu sehen, dass von Crassenstein aus auch das im Jahre 1130 in ein Benediktinerkloster umgewandelte Kanonissenstift in Wadersloh- Liesborn geschützt werden sollte, zumal die Umwandlung durch den Münsteraner Bischof Egbert erhebliche Widerstände des Adels hervorgerufen hatte.
Nach dieser ersten Erwähnung fällt Schweigen über Crassenstein, und fast 200 Jahre lang hört man nichts mehr von der Befestigung. Erst im Jahre 1372 wird die Burg wieder genannt:
Burggraf Johann II. von Stromberg hatte sich 1370 ßbergriffe in die Rechte der Bischöfe von Münster und Osnabrück sowie der Burgmänner von Stromberg erlaubt. In einem Feldzug gegen den streitlustigen Burggrafen bekamen die beiden Bischöfe die Feste Crassenstein in ihre Gewalt. Darüber schreiben die „Münsterischen Chroniken des Mittelalters“, dass Bischof Florenz von Wevelinckhoven gemeinsam mit seinem Verbündeten, dem Bischof Theoderich van Horne aus Osnabrück, das „castrum…Crassenstein“(Burg, Feste) erobert habe. In der „Niederdeutschen Bischofschronik“ heißt es aber dazu „slott Crassensteyn“ (Schloss Crassenstein).
Um 1378 wurde Johann II. von Stromberg, der nach seiner Niederlage geächtet worden war, begnadigt und wieder als Burggraf von Stromberg eingesetzt. Er bekam ebenfalls Crassenstein zurück. Auch sein Sohn Heinrich V. erhielt vom Grafen Conrad zu Rietberg die „Freygraffschaft zum Crassenstein mit allen Zubehörungen“ zu Mannleben. Am 20. September 1411 verpfändete Heinrich V. dem Lubbert I. von Wendt „Cum pacto de redimendo“ (mit dem Vorbehalt des Rückkaufes) für 6000 Goldgulden!! Schloss und Freigrafschaft Crassenstein. Kurz nach der Verpfändung muss der Burggraf Heinrich V. gestorben sein. Und da auch dessen Sohn, Johann III. schon tot war, trat die Tochter des Burggrafen, Sophia, das Erbe an. Sie war ßbtissin in Herzebrock und verkaufte 1419 an den Familienältesten Heinrich III. von Wendt die Güter, die ihr Vater bereits an die von Wendts verpfändet hatte. So gelangte die Familie von Wendt endgültig in den Besitz von Land und Schloss Crassenstein.