Das bereits abgegangene (verfallene) Schloss Sigmundsweid wurde um etwa 1475 vom Erzherzog Sigmund, dem Vorgänger Maximilians I, am See bei Heiterwang erbaut. Der Standort des Baues dürfte sich an jener Stelle befunden haben, an welcher heute das Hotel "Fischer am See" steht. Nach anderen Quellen wird der Bau des kleinen Lustschlosses zwischen den beiden Seen auf dem eine Landzunge ausbildenden Schwemmkegel des Pitzenbachs vermutet.

Schon 1464 weilte die Herzogin Eleonore von Schottland, die Gemahlin Sigmunds, auf Schloss Ehrenberg. Dabei gab es auch immer wieder Ausflüge zu den "Aiterwanger Wildseen", wie damals der Heiterwanger See und der Plansee genannt wurden. Gerade Sigmund weilte gerne an den Seen und liebte besonders die schmackhaften Fische - maßgeblich die Goldforellen - aus ihren Gewässern - das bewog ihn dann auch, wo möglich sämtliche Fischereirechte an dem See aufzukaufen. Lediglich die Besitzungen des Stiftes Stams standen dem Vorhaben noch im Weg.

1490 verzichtet Sigmund zugunsten von Maximilian I. auf seinen Anspruch der Regentschaft über die Grafschaft Tirol. Der neue Herrscher kannte das Gebiet bei Plansee und Heiterwanger See bereits, immer wieder führten ihn Jagdausflüge dorthin oder er erfreute sich der köstlichen Fische aus den Seen. Seine Pflichten wusste er dabei stets mit den Annehmlichkeiten der Region zu vereinen und so machte er oft Station beim Schlösschen Sigmundsweid.

Bereits in einer im 17. Jahrhundert erstellten Kartenskizze scheint das Lustschlösschen am Heiterwanger See nicht mehr auf. Lediglich die ebenfalls am Heiterwanger See gelegenen "Stamser Höfe" und eine Fischerhütte sind in dem Plan noch enthalten.