Gerade die Geschichte des Burghügels auf welchem das Hohe Schloss über Füssen errichtet wurde reicht weit in die Vergangenheit zurück. Fest steht, dass an jener Erhebung bereits in der späten römischen Kaiserzeit das Kastell Foetibus der III. Legion am Verlauf der Via Claudia Augusta errichtet wurde.

Im 8. Jahrhundert folgte der ursprüngliche Bau der Zelle des heutigen Klosters St. Mang im Bereich des Gaisberges, welcher den Ortsansässigen auch unter dem Namen Altwik geläufig sein dürfte.

Vermutlich kurz nach 1313 begannen die Bauarbeiten an diesem Altwik zur Errichtung des Hohen Schlosses. 1322 wird nämlich das Pflegamt von der Höhenburg Hopfen nach Füssen verlegt. Es folgten weitere Ausbauten und die Einbindung der Anlage in die Stadtbefestigung. Heute gilt das Burgschloss als eine der am besten erhaltenen mittelalterlichen Burganlagen Bayerns.