Von der erstmals 1268 genannten Burg Kipfenberg sind die auch heute noch recht imposanten Wall- und Grabenanlagen, sowie das Burgplateau erhalten. Zwischen 1277 und 1406 war das stiftkemptische Dienstmannengeschlecht derer von Kipfenberg hier ansässig. 1451 wird die halb verfallene Burg dann zu Gunsten der knapp einen halben Kilometer südlich wieder errichteten Burg Westenried, welche laut Gedenkstein auf römischer Grundlage erbaut worden sein soll, aufgelassen. Zwar führt hier tatsächlich die Allgäustraße (die römische Verbindungsstraße zwischen Kempten und dem Kreuzungspunkt Epfach) vorüber, allerdings ist diese Annahme nicht gesichert.