Die bekannteste Legende, die sich um den Gräfenberg rankt, ist die von den Griefenberger Grafen. Der Gräfenberg sei demnach Sitz dieses Adelsgeschlechts gewesen. Zur gleichen Zeit wohnten – der Legende nach – auf dem gegenüberliegenden Klosterberg ehemalige Tempelritter, die aus Frankreich geflohen waren. Zwischen den Bewohnern der beiden Berge gab es ein Schutzbündnis. Sollte je den Griefenberger Grafen oder den Templern Gefahr drohen, so sollten sie eine Glocke läuten, um den jeweils anderen Bündnispartner zu Hilfe zu rufen. Eines Nachts wurden die Templer überfallen. Sie läuteten die Glocke, um die Griefenberger Grafen zu Hilfe zu rufen, doch vergeblich. Die Templer wurden besiegt und getötet. Der Grund jedoch, weshalb ihnen die Grafen vom Gräfenberg nicht zu Hilfe geeilt waren, war, dass sie selbst ihre Bündnispartner überfallen hatten. Als der Erzbischof von Mainz von dieser Tat erfuhr, ließ er die Burg der Griefenberger Grafen schleifen und die Grafen selbst hinrichten. Seitdem wandeln auf dem Gräfenberg „von Zeit zu Zeit drei finstere Gestalten, nicht in ritterlichem Schmucke, sondern vermummt wie Räuber, mit großen Schlapphüten“.1
Die Sage von den Griefenberger Grafen und den überfallenen Tempelrittern bietet zwar eine Erklärung für die Bezeichnungen der beiden Erhebungen, entbehrt jedoch jeglicher archivalischer Grundlage. Weder werden ein Griefenberger Grafengeschlecht noch ehemalige Tempelritter auf dem Klosterberg in den Quellen erwähnt.2 Dennoch weist die Legende eine Parallele zur Burg Landesehre auf, denn sowohl die archivalisch überlieferte Rieneckerfestung als auch die sagenhafte Burg der Griefenberger Grafen musste auf Geheiß des Mainzer Erzbischofs geschleift werden, wenn auch aus unterschiedlichen Gründen.
Wie stark diese Legende jedoch im Bewusstsein der Menschen verwurzelt war, zeigt eine Beschreibung des Spessarts aus dem Jahre 1843, in der es heißt, dass „Spuren auf dem Gräfenberge zeigen, daß hier die Ritter von Grifenberg hausten, zum Schutz aber auch zum Schrecken der Gegend.“3
- Letzte Schandtat der Greifenberger, in: Volksblatt vom 05. Oktober 1950; Wolf Schmitt, Das Geheimnis vom Gräfenberg, in: Aschaffenburger Zeitung 18./19. Juli 1936, S. 2.
- Lorenz Kemethmüller, Burgen als Manifestation der Herrschaftsansprüche im Rahmen des hochmittelalterlichen Territorienaufbaus im Spessart. Archivbestände, archäologische Befunde und historische Interpretationen, Zulassungsarbeit am Lehrstuhl für fränkische Landesgeschichte an der Universität Würzburg, Würzburg 2007 , S. 43f.
- Stephan Behlen und Joseph Merkel, Geschichte und Beschreibung von Aschaffenburg und dem Spessart, Aschaffenburg 1843 .