Die Burg wurde um 1200 von den Herren von Stein, die sich später von Baltenstein nannten, erbaut und 1239 mit Heinrich von Stein als Kemptner Dienstmann erwähnt. Im Jahr 1276 wurden die Herren von Baldenstein genannt. Die Burg war Lehen des Stiftes Kempten und war mit der Niedergerichtsbarkeit ausgestattet. Kurz nach 1289 starben die Herren von Stein mit Heinrich von Stein als letztem Erben der Familie aus und die Burg ging an die Schenken von Sulzberg, gelangte dann auf dem Erbweg an Hainz von Ratzenried. Schon 1366 veräußerte derselbe jedoch Anteile der Burg an seinen Schwager Bruno von Uttenried, diese kam nach Zerstörung 1370 an den Kemptner Bürger Ruf Schellang und 1439 an das Kemptener Spital. Mitte des 16. Jahrhunderts wurde die Burg verlassen und verfiel zusehends.

Um 1440 werden mit der Burg ein Bauhof und zwei Güter bei Baldenstein genannt. Darüber hinaus war auch das nahe Kaisermad Teil der kleinen Herrschaft. Die ehemalige kleine Burganlage zeigt heute noch auf einem 8 Meter hohen Findling die Fundamentreste eines fünfeckigen Wohnturms sowie Wall- und Grabenreste.

Generell ist die Ruine nur sehr schwer zugänglich und überdies auch nirgendwo ausgeschildert. An der Hangkante eines Tobels gelegen, ist sie aber von der gegenüberliegenden Seite aus mit Ab- und Aufstieg zu erreichen oder zumindest vom Gegenhang einsehbar.
Ich selbst hatte es jetzt erst beim dritten Anlauf geschafft, die Ruine zu Gesicht zu bekommen.