Die Burg wurde um 1165 von den Welfen als zentraler Stützpunkt der Verwaltung ihrer Tiroler Besitzungen errichtet. Erstmals urkundlich als Burg Petersberg erwähnt wurde sie 1228 und kam über verschiedene Eigentümer wie etwa den schwäbischen Grafen von Ronsberg oder ab 1212 den Grafen von Ulten in den Besitz der Grafen von Tirol. Meinhard II. ließ die Burg später großzügig ausbauen.

Bis 1587 waren die Herren von Freundsberg als Verwalter eingesetzt. 1777 wurde die Burg dann von den Herren von Wolkenstein-Rodenegg erworben. 1857 kam es zu einem Brand durch den die Burganlage stark beschädigt und nur notdürftig wieder instand gesetzt wurde. 1893 erwarb Kaiser Franz Josef I. die Ruine und ließ sie wieder aufbauen.