Erbaut wurde Vilsegg um das Jahr 1220 durch die Staufer. Später im Besitz der Edelfreien von Hohenegg, wurde es 1408 an Erzherzog Friedrich "mit der leeren Tasche" verliehen und somit zum Sitz von tirolisch-landesfürstlichen Pflegern.

Um das Jahr 1500 wurden Ausbauten an der Vorburg unternommen.

Mitte des 18. Jahrhunderts wird der Verfall der Burg in der Chronik festgehalten. Zusätzlich beschädigt das Erdbeben von 1930 den Turm so schwer, dass ein Unwetter im September 1939 einen Großteil des Mauerwerks schließlich einstürzen lässt.

Heute ist nur noch der große, gut erhaltene Bergfried zu sehen. Dieser war einstmals bewohnbar, fünfgeschossig und mit Schwalbenschwanzzinnen versehen. Weitere Teile im östlichen Areal der Burganlage wurden jüngst freigelegt.

Unterhalb der Burg, in Nachbarschaft zu der Kapelle St. Anna, wurde etwa zum Ende des 13. Jahrhunderts die Hammerschmiede errichtet. Es war die Waffenschmiede der Ritter von Hohenegg. Man bestellte die besten Waffenschmiede ihrer Zeit, Meister der Metallverarbeitung, welche die Schmiede mal für zivile und dann wieder für militärische Zwecke nutzten. So war sie bis 1960 gewerblich in Betrieb, fristete danach einer Art Dornröschen-Schlaf um in den letzten Jahren wieder zum Leben erweckt und anhand von Führungen dem Interessierten zugänglich gemacht zu werden.