Wahrscheinlich geht die Burg auf die Grafen von Montfort zurück und wurde in der Zeit um das 13. Jahrhundert erbaut. Ab 1265 gelangten die Herren von Laubenberg als Lehensnehmer auf die Burg, wobei sie schon die Nachbarburg Laubenbergerstein als Lehen des Bistums Augsburg inne hatten. Ende des 14. Jahrhunderts endete die Blutslinie des Geschlechts der Herren zu Montfort-Feldkirch und Rauhlaubenberg fällt an das Haus Österreich. 1415 befehden sich Ulrich von Heimenhofen und der damalige Burgherr Völk von Laubenberg. Der Heimenhofener überfällt daraufhin die Burg und plündert sie. 1464 kam es zu einer Teilung der Herrschaft Laubenberg unter den Nachkommen der Laubenberger und fortan bildete jede der beiden Burgen das Zentrum eines kleinen Herrschaftsgebietes aus. 1525 kam es während des Deutschen Bauernkrieges zu Plünderungen durch die Aufständischen und 1579 brannte die bereits stark in Mitleidenschaft gezogene Burg Rauhlaubenberg gänzlich ab.

Die letzten Mauerreste befinden sich auf dem Höhenzug zwischen Rauhenzell im Westen und Greggenhofen im Osten, unweit des Einzelgehöftes Egg. Egg diente damals als Bau- bzw. Wirtschaftshof der Burg Rauhlaubenberg. Lediglich zwei einsturzgefährdete Mauerzüge stehen auf einem Geländesporn im Wald. Zu der Ruine führt kein Weg und Sicherungsmaßnahmen gibt es ebenfalls nicht.