O castelo foi erguido no início do século 12, a mando de Hadmar eu de Kuenring (d. 1138), um ministerialis no serviço de Margrave Leopoldo III da Áustria, sobre os imóveis de seu ancestral Azzo de Gobatsburg tinha adquirido a partir de Tegernsee Abadia no final do século 11. Hadmar, que também fundou a Abadia de Zwettl, mandou construir a fortaleza em uma localização estratégica com vista para o Rio Danúbio. Está ligado a Dürnstein através de uma parede defensiva que se estende das muralhas da cidade.O castelo é conhecido por ser um dos lugares onde o Rei Ricardo I da Inglaterra, retornando da Terceira Cruzada, foi preso depois de ser capturado perto de Viena pelo Duque Leopoldo V da Áustria, de dezembro de 1192 até sua extradição para o imperador Henrique VI em Março de 1193.Em 1428 e 1432, as forças Hussitas saquearam a cidade e o Castelo de Dürnstein.Em 1645, perto do fim da Guerra dos Trinta Anos, um contingente Sueco sob Lennart Torstensson conquistou Dürnstein. Após sua retirada, as tropas destruíram partes do sistema do portal. A partir de 1662, o castelo já não era habitado permanentemente, mas ainda era listado como um possível abrigo na guerra Austro-turca (1663-1664). Em 1663, Conrado Balthasar de Starhemberg comprou o castelo, que ainda é propriedade de seus herdeiros. A partir de 1679, porém, o castelo deixou de ser habitável e foi abandonado. Hoje, a fortaleza faz parte da Paisagem Cultural Wachau Património Mundial da UNESCO.