Le château a été érigé au début du XIIe siècle à la demande de Hadmar Ier de Kuenring (décédé en 1138), un ministerialis au service du margrave Léopold III d’Autriche, sur les domaines que son ancêtre Azzo de Gobatsburg avait acquis de l’abbaye de Tegernsee à la fin du XIe siècle. Hadmar, qui a également fondé l’abbaye de Zwettl à proximité, a fait construire la forteresse à un emplacement stratégique surplombant le Danube. Il est relié à Dürnstein par un mur défensif s’étendant des murs de la ville.
Le château est connu pour être l’un des lieux où le roi Richard Ier d’Angleterre, de retour de la Troisième Croisade, a été emprisonné après avoir été capturé près de Vienne par le duc Léopold V d’Autriche, de décembre 1192 jusqu’à son extradition vers l’empereur Henri VI en mars 1193.
En 1428 et 1432, les forces hussites pillent la ville et le château de Dürnstein.
En 1645, vers la fin de la guerre de Trente Ans, un contingent suédois commandé par Lennart Torstensson conquit Dürnstein. Lors de leur retrait, les troupes ont détruit des parties du système de portes. À partir de 1662, le château n’était plus habité en permanence, mais était toujours répertorié comme un abri possible lors de la guerre austro-turque (1663-1664).
En 1663, Conrad Balthasar de Starhemberg acheta le château, qui appartient toujours à ses héritiers à cette date. À partir de 1679, cependant, le château n’est plus habitable et est abandonné. Aujourd’hui, la forteresse fait partie du « Paysage Culturel de la Wachau » Site du Patrimoine mondial de l’UNESCO.