het kasteel werd gebouwd in het begin van de 12e eeuw in opdracht van Hadmar I van Kuenring (†1138), een ministerialis in dienst van markgraaf Leopold III van Oostenrijk, op de landgoederen die zijn voorvader Azzo van Gobatsburg had verworven van de Abdij van Tegernsee in de late 11e eeuw. Hadmar, die ook de nabijgelegen Abdij Zwettl stichtte, liet het fort bouwen op een strategische locatie met uitzicht op de rivier de Donau. Het is verbonden met Dürnstein door een verdedigingsmuur die zich vanaf de stadsmuren uitstrekt.Het kasteel staat bekend als een van de plaatsen waar koning Richard I van Engeland, die terugkeerde van de Derde Kruistocht, gevangen werd genomen in de buurt van Wenen door hertog Leopold V van Oostenrijk, van December 1192 tot zijn uitlevering aan keizer Hendrik VI in Maart 1193.In 1428 en 1432 plunderden Hussieten de stad en het kasteel van Dürnstein.In 1645, tegen het einde van de Dertigjarige Oorlog, veroverde een Zweeds contingent onder Lennart Torstensson Dürnstein. Na hun terugtrekking vernietigden de troepen delen van het poortstelsel. Vanaf 1662 werd het kasteel niet langer permanent bewoond, maar werd het nog steeds vermeld als een mogelijke schuilplaats in de Oostenrijks-Turkse Oorlog (1663-1664). In 1663 kocht Koenraad Balthasar van Starhemberg het kasteel, dat nog steeds eigendom is van zijn erfgenamen. Vanaf 1679 was het kasteel echter niet meer bewoonbaar en verlaten. Tegenwoordig maakt het fort deel uit van het” Wachau Cultural Landscape”, dat op de Werelderfgoedlijst van UNESCO staat.