Die Nesselburg bei Nesselwang wurde Ende des 13. Jahrhunderts durch die Herren von Rettenberg errichtet. Kurz nach 1300 erlangte das Hochstift Augsburg die Pfandschaft auf die Höhenburg. 1525 brandschatzten Aufständische während des Bauernkrieges die exponiert gelegene Anlage, welche aber im Anschluss wieder instand gesetzt und von den Vögten des Hochstifts Augsburg bewohnt wurde. Im Jahr 1595 wurde der Bau erneut von einem Feuer verwüstet, diesmal aber nicht mehr saniert und in Folge aufgelassen.
Das Burgfräulein und der Schatz auf der Nesselburg
Bei Nesselwang erheben sich auf einem Bergvorsprung die Ruinen der Nesselburg. In der derselben soll, so glaubten die Alten, ein großer Schatz verborgen sein, und die Hirten sollen da auch wenn sie in der Nähe hüteten, des öfteren ein Burgfräulein gesehen haben, wie es an dem Gehänge gegen das Tobel zu Geld in Wannen sonnte. Der Schatz ruhe sonst aber in einer Kiste, auf der ein Pudel mit einem Schlüssel im Rachen sitze.
Man hat schon versucht, den Schatz zu heben, fand aber nichts als einige alte Silbermünzen und einmal einen verrosteten Roßzügel.