Burgberg gilt als eine der ältesten Burgruinen des Allgäus. Bereits 1140 wird ein 'Burkart von Burcperc' als Dienstmann des Hochstifts Augsburg genannt. 1327 gelangte Burgberg - mitsamt den Liegenschaften und Besitzungen im Ostrach- und Tannheimer Tal - dann in den Besitz der Herren von Rettenberg, welche die Anlage großzügig erweiterten. Bereits 1351 waren dann die Heimenhofener die neuen Besitzer. Ab 1563 erlebte die Burg einen regen Besitzerwechsel, 1568 sogar Amtssitz der Herrschaft Rettenberg und zu Beginn des 17. Jahrhunderts nahmen sie aufständische Bauern ein und besetzten diese. Während des Dreißigjährigen Krieges niedergebrannt (1635), folgte der langsame Zerfall der übrig gebliebenen Mauerreste.