Die Höhlenburg bei Pinswang, früher auch Geyerburg genannt, entstand wohl um das Jahr 1256 und wurde von den Herren von Hohenegg erbaut. Um 1312 wurde die Festung, nachdem die Hohenegger plündernd in der Aschau eingefallen waren, von den Tiroler Landesfürsten erobert (die Hohenegger waren der Fürstabtei Kempten zugehörig). Damit war das Schloss Loch ein vorgeschobener Außenposten von Ehrenberg geworden und gleichgestellt mit den Vorwerken am Kniepass und in der Roßschlög (Roßschläg).

Als erster tirolischer Burghüter wird Syband (Sigeband) von Schrofenstein erwähnt, ein Ministeriale der Grafen von Görz-Tirol. 1317 wird von Instandsetzungsarbeiten berichtet und Rechnungen an den nächsten Inhaber der Burghut - Rudolf von Prutz - für Maurerarbeiten und die Errichtung von Holzgewerken ausgestellt. Um das Jahr 1319 verleiht König Heinrich die Burg (wie mutmaßlich auch die Zollstätte, weshalb Schloss Loch früher auch häufig als 'Zollschloss' bezeichnet wurde) an die Gebrüder Kärlinger. 1326 oder 1328 dürften die Hohenegger nochmals einen Rückeroberungsversuch unternommen haben, welcher aber nicht zum gewünschten Ergebnis führte.

Mit den in den Jahren 1546 und 1552 einfallenden Truppen der Schmalkalden unter der Führung des Kurfürsten Moritz von Sachsen, wurde die Höhlenburg noch einmal aufgerüstet und verteidigungsbereit gemacht. 1552 werden in einem Schreiben 394 Kanonenkugeln aus dem ehemaligen Schloss Loch erwähnt, welche man danach jedoch auf Ehrenberg lagerte.

Unterhalb der Höhlenburg befindet sich noch heute eine markanten Wallanlage. Diese wurde schon als keltischen Ursprungs vermutet. Jedoch legte eine dendrochronologische Untersuchung den Schluss nahe, dass es sich vielmehr um eine Vorburg von Schloss Loch oder vielmehr ein Zollhaus gehandelt haben dürfte, da der aus der Analyse hervorgegangene Zeitpunkt der Schlägerung des Holzes mit jenem der Burggründung zusammenfällt. Mit einiger Wahrscheinlichkeit geht diese Vorburg bzw. das Zollhaus auf eine Straßenstation an der römischen Via Claudia Augusta zurück, welche bis in das Mittelalter für den Warentransport von Salz und anderen Handelsgütern genutzt wurde.

aus: Allgemeiner Tiroler Anzeiger vom 8. Mai 1923 (S. 3)
"...rechts ein rechteckiges, von jungen Fichten umsäumtes Feld mit den noch deutlich sichtbaren Grundmauern des Zollhauses..."

Im westlichen Teil der Höhlenburg wurde man auf eingearbeitete Vertiefungen und Felsritzungen aufmerksam, welche häufig für Schalensteine gehalten werden, über deren Zweck die Wissenschaft bis zum heutigen Tage aber nur spekulieren kann.