El castillo fue erigido a principios del siglo XII a instancias de Hadmar I de Kuenring (m. 1138), un ministerialis al servicio del Margrave Leopoldo III de Austria, en las fincas que su antepasado Azzo de Gobatsburg había adquirido de la Abadía de Tegernsee a finales del siglo XI. Hadmar, que también fundó la cercana abadía de Zwettl, mandó construir la fortaleza en una ubicación estratégica con vistas al río Danubio. Está conectado con Dürnstein a través de una muralla defensiva que se extiende desde las murallas de la ciudad.
El castillo es conocido por ser uno de los lugares donde el rey Ricardo I de Inglaterra, al regresar de la Tercera Cruzada, fue encarcelado después de ser capturado cerca de Viena por el duque Leopoldo V de Austria, desde diciembre de 1192 hasta su extradición al emperador Enrique VI en marzo de 1193.
En 1428 y 1432, las fuerzas husitas saquearon la ciudad y el castillo de Dürnstein.
En 1645, cerca del final de la Guerra de los Treinta Años, un contingente sueco al mando de Lennart Torstensson conquistó Dürnstein. Tras su retirada, las tropas destruyeron partes del sistema de puertas. A partir de 1662, el castillo ya no estaba habitado de forma permanente, pero todavía estaba catalogado como un posible refugio en la Guerra Austro-Turca (1663-1664).
En 1663, Conrado Baltasar de Starhemberg compró el castillo, que todavía es propiedad de sus herederos hasta la fecha. A partir de 1679, sin embargo, el castillo ya no era habitable y fue abandonado. Hoy en día, la fortaleza es parte del» Paisaje Cultural de Wachau», Patrimonio de la Humanidad de la UNESCO.