Nur wenige Spuren zeugen heute noch von der einstigen Burg Wagegg, welche sogar das Lieblingsschloss der Fürstäbte von Kempten gewesen sein soll. Die Anfänge gehen bis zum Jahr 1176 zurück, als Walter von Wagegg als erster einer Familie aus dem Niederadel urkundliche Erwähnung findet. Als fürststiftischer Dienstmanne hat er seinen Ansitz auf der Burg Wagegg zu Lehen.

1374 stirbt das Geschlecht der Wagegger aus und die Herren von Schellenberg erwerben die Burg. Doch die Schellenberger verkaufen das Lehen bald wieder und es kommt zu einem regen Besitzwechsel, die erste Hälfte des 15. Jahrhunderts hindurch. 1466 schließlich erwirbt Erzherzog Sigmund von Österreich die Anlage und verpfändet sie um etwa 1470 an die Herren von Laubenberg zu Laubenbergstein.

Im Zuge des Bauernkriegs wird die Burg 1525 eingenommen und besetzt. 1580 erwirbt das Fürststift Kempten Wagegg zurück. Im Laufe des Dreißigjährigen Kriegs wird Wagegg schließlich geplündert und schwer demoliert, worauf hin man es in zunächst kleinerer Form als Jagdschloss instand setzte. Fast das ganze 18. Jahrhundert hindurch wird Wagegg schließlich zu einem prachtvollen Lustschloss mit Tier- und Pflanzengarten angelegt. Aber schon ab 1806 wird das Ende des neu erbauten Lustschlosses eingeläutet.