Scrivi una continuazione per questo paragrafo - Gli Ortenburg ereditano grandi proprietà nella valle della Drava dopo l'estinzione dei conti di Lurn nel 1135. Nel 1192 il conte Ottone II di Ortenburgo e suo fratello Hermann fondarono l'insediamento di Spittal sotto il castello. Otto II è anche menzionato come partecipante alla Crociata di Enrico VI nel 1195. Nel 1276 gli Ortenburg si schierarono con il conte Meinhard II di Gorizia-Tirolo e il nuovo re asburgico eletto Rodolfo I di Germania contro le forze di occupazione del re Ottokar II di Boemia. Danneggiato dal terremoto del Friuli del 1348
, tuttavia, il significato del castello comitale diminuì a favore della vicina residenza Spittal.