Die Sage erzählt uns von Kaiser Ludwig dem Bayer, der auf der Jagd in den weiten Revieren des Ammerwaldes bei dem Verfolgen eines Hirsches sich verging und hier, am frischen Bergquell rastend, von dem besorgten Gefolge gefunden wurde. Fortan hiess die Quelle der Kaiserbrunnen. König Max liess ihm zu Ehren den Brunnen errichten als schlichtes Denkmal, dessen Inschrift lautet:

Kaiserbrunnen
Dem Andenken Kaiser Ludwig des Bayern, des Wittelsbachers, der öfters hier weilte,
geweiht von Maximilian II., König von Bayern.
1851