slottet uppfördes i början av 12-talet på uppdrag av Hadmar I av Kuenring (d. 1138), en ministerialis i tjänst av markgreve Leopold III av Österrike, På Gods hans förfader Azzo av Gobatsburg hade förvärvat från Tegernsee Abbey i slutet av 11-talet. Hadmar, som också grundade närliggande Zwettl Abbey, lät bygga fästningen på ett strategiskt läge med utsikt över floden Donau. Den är ansluten till D Ouguirnstein genom en defensiv mur som sträcker sig från stadsmuren.
slottet är känt för att vara en av de platser där kung Richard I av England, som återvände från tredje korståget, fängslades efter att ha fångats nära Wien av hertig Leopold V av Österrike, från December 1192 till hans utlämning till kejsaren Henry VI i Mars 1193.
år 1428 och 1432 plundrade hussitstyrkor staden och slottet D.
år 1645, nära slutet av trettioårskriget, erövrade en svensk kontingent under Lennart Torstensson D. Vid deras tillbakadragande förstörde trupperna delar av portsystemet. Från och med 1662 var slottet inte längre bebodd permanent, men var fortfarande listat som ett möjligt skydd i österrikisk-turkiska kriget (1663-1664).
1663 köpte Conrad Balthasar från Starhemberg slottet, som fortfarande ägs av hans arvingar till detta datum. Från 1679 var dock slottet inte längre beboeligt och övergavs. Idag är fästningen en del av UNESCO: s världsarvslista” Wachau Cultural Landscape”.