Die Wallershöhe ist ein 812 m hoher, bewaldeter südlicher Nebengipfel der Ziegenhelle. Der Kamm zieht sich von dort bis hierher wie einen Wall durch den Wald und fällt danach weiter ins Tal ab. Zum Flurnamen „Wallershöhe“ liegt keine eindeutige Überlieferung vor. In älteren Urkunden taucht der Name meist in der Version „Waltershöhe“ oder „Waldershöhe“ auf. Dies lässt zwei Deutungen zu: Waldershöhe = Waldhöhe oder bewaldete Höhe Waltershöhe = Höhe des Walter nach den Eigennamen Walder – der am/im Wald wohnt oder Walther – der Heerführer Waller bedeutet im Mittelhochdeutschen aber auch Wallfahrer, demnach könnte Wallershöhe auch „Höhe der Pilger“ bedeuten. Nach dem Chronisten Lachemeyer wallfahrtete man früher von den Klöstern Nonnenwinkel und Bubenkirchen zu der bei Hallenberg gelegenen Kapelle Merklinghausen mit dem Gnadenbild der Muttergottes. Der Pilgerweg könnte also genau hier über die Wallershöhe („Pilgerhöhe“) geführt haben.
