Die Höhenburg der Burg Kalden (Neu-Kalden) befindet sich auf einem Geländesporn 90 Meter über der Iller an der Illerschleife (Illerdruchbruch) im Nordwesten von Altusried. Gegen Westen machten einst die steilen Abhänge des Tobels den Zugang unmöglich, während die Ostseite sehr steil zur Iller abfiel und heute großflächige Abgleitflächen bildet. Geologische Instabilität führte bereits im Mittelalter zu Fels- und Hangrutschungen. Die erstmals 1128 erwähnte Burg Kalden stand nämlich ursprünglich etwa 400 Meter weiter nördlich, direkt an der Geländekante des scharf zulaufenden Geländerückens. Bereits vor 1500 stürzt jedoch der Großteil des Gemäuers über die Geländekante hinab in die Iller.

Die Burgherren von Kalden waren stets stiftskemptische Dienstmannen und mit der niederen Gerichtsbarkeit belehnt. 1515 beginnt Marschall Joachim von Pappenheim mit dem Bau der Burg Neu-Kalden an erhöhter, heute noch sichtbaren Position. 1525 wird die neue Burg während des Bauernkrieges von Allgäuer Bauern eingenommen, Hans Joachim von Pappenheim nimmt aber Rache und gebärdet sich bald als berüchtigter Raubritter. 1639 erlischt jedoch die Linie der Pappenheimer und 1692 verlassen die noch verbliebenen Bewohner die Burg.

Im Jahr 1803 ereignet sich dann ein Großbrand im nahen Altusried und die Bewohner nutzen die verlassene Burg kurzerhand als Steinbruch für den Wiederaufbau ihrer Höfe und Häuser.