zamek został wzniesiony na początku XII wieku na polecenie Hadmara i z Kuenring (zm. 1138), ministra w służbie margrabiego Austrii Leopolda III, na posiadłościach, które jego przodek Azzo z Gobatsburga nabył od Opactwa Tegernsee pod koniec XI wieku. Hadmar, który również założył pobliskie Opactwo Zwettl, kazał zbudować twierdzę w strategicznym miejscu z widokiem na Dunaj. Jest on połączony z Dürnstein przez mur obronny rozciągający się od murów miejskich.
zamek jest znany jako jedno z miejsc, w których król Anglii Ryszard i, wracający z Trzeciej Krucjaty, został uwięziony po schwytaniu pod Wiedniem przez księcia Austrii Leopolda V, od grudnia 1192 do jego ekstradycji do cesarza Henryka VI w marcu 1193.
w latach 1428 i 1432 Wojska husyckie splądrowały miasto i Zamek Dürnstein.
w 1645 roku, pod koniec wojny trzydziestoletniej, Szwedzki kontyngent pod wodzą Lennarta Torstenssona zdobył Dürnstein. Po wycofaniu się wojska zniszczyły część systemu wrót. Od 1662 roku zamek nie był już zamieszkany na stałe, ale nadal był wymieniony jako możliwe schronienie w wojnie Austro-Tureckiej (1663-1664).
w 1663 roku zamek zakupił Konrad Balthasar ze Starhemberg, który do dziś jest własnością jego spadkobierców. Od 1679 roku zamek nie nadawał się już do zamieszkania i został opuszczony. Obecnie Twierdza wpisana jest na Listę Światowego Dziedzictwa UNESCO” Wachau Cultural Landscape”.