Sie gilt als die älteste Steinburg im Allgäu und wird um 1172 das erste Mal urkundlich erwähnt. Tatsächlich dürften erste Bauten zu Beginn des 11. Jahrhunderts entstanden sein und schon 1077 - es wird angenommen, dass der Augsburger Gegenbischof Wigolt während des Investiturstreits auf die Burg floh - durch Belagerungen zum Teil wieder zerstört. Am Ende des 12. Jahrhunderts gelangt die Höhenburg an das Hochstift Augsburg und gilt bis 1322, der Baufertigstellung des Hohen Schlosses, als Verwaltungssitz von Füssen. Es folgte ein reger Besitzwechsel und bald darauf der völlige Niedergang der mittelalterlichen Burganlage, welcher seinen Endpunkt in der Zerstörung während des Dreißigjährigen Krieges fand. Zu Beginn des 18. Jahrhunderts dienten die Ruinen nur noch als Steinbruch für den Neubau des Klosters Sankt Mang in Füssen.