Burg Hugofels stellte offenbar zusammen mit der zeitgleich erbauten Burg Rothenfels einen Gesamtkomplex dar. Die erste Erwähnung von Hugofels geht auf jene Zeit zurück, in welcher Graf Hugo III. von Montfort sich 1440 auf der Burg niederließ. Schon 1462 hatte ein Brand Teile der Burg beschädigt. Reparaturmaßnahmen wurden zwar durchgeführt, der Bau wurde aber wohl nicht mehr für Wohnzwecke genutzt.

Zu Beginn des 16. Jahrhunderts wird die Burg zwar noch als intakt bezeichnet, doch der Gesamtkomplex inklusive der Burg Rothenfels sind im Niedergang begriffen, da sich der Adel bereits im Stadtgebiet von Immenstadt die jeweiligen Residenzen hatte errichten lassen.

Schon 1332 erfolgt der erste urkundliche Eintrag der Burg Rothenfels. Der Bau dürfte allerdings schon im frühen 13. Jahrhundert erfolgt sein. Für 1354 werden die Grafen von Montfort als neue Besitzer der Anlage erwähnt. 1462 entfachte ein Blitzschlag einen Brand, welcher die Burg Rothenfels gänzlich in Schutt und Asche legte - mit ihr verbrannten auch die 1088 von Welf IV. hierher verschleppten Akten aus dem Augsburger Domarchiv. Schon bald nach diesem Ereignis ging man daran, die Burg wieder zu errichten. Diesmal jedoch in noch größerem Umfang - so wurde etwa auch eine Burgkapelle in den Herrschaftssitz integriert.