hrad byl postaven na počátku 12. století na příkaz Hadmar I eliška, všechny nechal král (d. 1138), ministerialis ve službách Markraběte Leopolda III Rakouska, na panství jeho předchůdce Azzo z Gobatsburg získal od Tegernsee Abbey v pozdní 11.století. Hadmar, který také založil v okolí Zwettl Abbey, měl pevnost postavena na strategickém místě s výhledem na řeku Dunaj. S Dürnsteinem je spojena obrannou zdí vystupující z městských hradeb.
hrad je známý pro bytí jedno z míst, kde Král Richard já Anglie, po návratu z Třetí křížové Výpravy, byl uvězněn poté, co byl zajat poblíž Vídně Vévoda Leopold V Rakousku, od prosince 1192 až do jeho vydání do Císaře Jindřicha VI. v Březnu 1193.
v letech 1428 a 1432 vyplenila husitská vojska město a Hrad Dürnstein.
v roce 1645, ke konci třicetileté války, švédský kontingent pod Lennartem Torstenssonem dobyl Dürnstein. Po jejich stažení vojáci zničili části systému bran. K roku 1662 již nebyl hrad trvale obydlen, ale stále byl uváděn jako možný úkryt v rakousko-turecké válce (1663-1664).
v roce 1663 koupil hrad Conrad Balthasar ze Starhembergu, který je dodnes ve vlastnictví jeho dědiců. Od roku 1679 však hrad již nebyl obyvatelný a byl opuštěn. Dnes je pevnost součástí světového dědictví UNESCO“ Wachau Cultural Landscape“.