Die Burg wurde Anfang des 12.Jahrhunderts auf Geheiß von Hadmar I. von Künring (d. 1138), einem Ministeralis im Dienste des Markgrafen Leopold III. von Österreich, auf den Gütern errichtet, die sein Vorfahre Azzo von Gobatsburg Ende des 11.Jahrhunderts vom Kloster Tegernsee erworben hatte. Hadmar, der auch das nahe gelegene Kloster Zwettl gründete, ließ die Festung in strategischer Lage mit Blick auf die Donau errichten. Es ist mit Dürnstein durch eine von der Stadtmauer ausgehende Verteidigungsmauer verbunden.
Die Burg ist bekannt als einer der Orte, an denen König Richard I. von England, der vom Dritten Kreuzzug zurückkehrte, inhaftiert war, nachdem er von Dezember 1192 bis zu seiner Auslieferung an Kaiser Heinrich VI. im März 1193 von Herzog Leopold V. von Österreich in der Nähe von Wien gefangen genommen worden war.
1428 und 1432 plünderten hussitische Truppen Stadt und Burg Dürnstein.
1645, gegen Ende des Dreißigjährigen Krieges, eroberte ein schwedisches Kontingent unter Lennart Torstensson Dürnstein. Nach ihrem Rückzug zerstörten die Truppen Teile des Torsystems. Ab 1662 war die Burg nicht mehr dauerhaft bewohnt, stand aber dennoch als möglicher Unterschlupf im österreichisch-Türkischen Krieg (1663-1664) unter Denkmalschutz.
1663 erwarb Konrad Balthasar von Starhemberg das Schloss, das bis heute seinen Erben gehört. Ab 1679 war die Burg jedoch nicht mehr bewohnbar und wurde aufgegeben. Heute ist die Festung Teil des UNESCO-Weltkulturerbes „Kulturlandschaft Wachau“.