Das Schloss zu Hopferau wird 1468 durch den Ritter Sigmund Friedrich von Freyberg erbaut. Für den Beginn des 16. Jahrhunderts ist ein Zubau einer Kapelle erwähnt, welche später in die Funktion der Dorfkirche überging. Ab 1830 findet ein umfangreicher Ausbau der Anlage im neugotischen Stil nach Plänen des Domenic Quaglio - welcher auch am Bau von Schloss Hohenschwangau beteiligt war - statt.