Il castello fu eretto all’inizio del XII secolo per volere di Hadmar I di Kuenring (m. 1138), un ministro al servizio del margravio Leopoldo III d’Austria, sulle proprietà che il suo antenato Azzo di Gobatsburg aveva acquisito dall’abbazia di Tegernsee alla fine dell’XI secolo. Hadmar, che fondò anche la vicina Abbazia di Zwettl, fece costruire la fortezza in una posizione strategica che si affacciava sul Danubio. È collegato a Dürnstein attraverso un muro difensivo che si estende dalle mura della città.
Il castello è noto per essere stato uno dei luoghi in cui il re Riccardo I d’Inghilterra, di ritorno dalla Terza Crociata, fu imprigionato dopo essere stato catturato vicino a Vienna dal duca Leopoldo V d’Austria, dal dicembre 1192 fino alla sua estradizione all’imperatore Enrico VI nel marzo 1193.
Nel 1428 e nel 1432, le forze hussite saccheggiarono la città e il castello di Dürnstein.
Nel 1645, verso la fine della guerra dei Trent’anni, un contingente svedese sotto Lennart Torstensson conquistò Dürnstein. Al loro ritiro, le truppe distrussero parti del sistema di gate. A partire dal 1662, il castello non era più abitato in modo permanente, ma era ancora elencato come possibile rifugio nella guerra austro-turca (1663-1664).
Nel 1663, Corrado Balthasar di Starhemberg acquistò il castello, che è ancora di proprietà dei suoi eredi fino a questa data. Dal 1679 in poi, però, il castello non fu più abitabile e fu abbandonato. Oggi, la fortezza fa parte del” Paesaggio culturale di Wachau ” Patrimonio mondiale dell’UNESCO.