Związana z tym miejscem legenda była znana jeszcze przed wojną. Według niej, przed laty mieszkało tu pięciu bogatych braci wraz z siostrą Oraną – jak to zwykle w legendach, zamkniętą w wieży na szczycie wzniesienia.
Bracia byli właścicielami Oruni, nikt jednak nie wiedział skąd wzięło się ich bogactwo. A wzięło się stąd, że potajemnie, nocami, napadali na kupców podróżujących do gdańska pobliskim traktem. I wszystko szło po ich myśli, aż któregoś razu Orana przypadkiem zobaczyła, co robią jej bracia. Wzburzona, uciekła do Gdańska i wstąpiła do zakonu.
Wiele lat później, już jako przełożona zakonu, wybrała się w podróż celem odebrania kosztownej relikwii. Po drodze jednak została napadnięta przez braci, którzy nie rozpoznając siostry, śmiertelnie postrzelili ją z kuszy. Orana rozpoznała ich dopiero chwilę przed śmiercią.
Towarzyszący Oranie zakonnik nałożył na nich pokutę: każdy z nich miał wtoczyć na szczyt wzgórza wielki głaz. Orana została pochowana na przeciwległym wzniesieniu, zwanym odtąd Górą Łez. Zgodnie z poleceniem, bracia wtoczyli głazy na szczyt góry, wysiłek ten przypłacili jednak życiem. Miejscowi pochowali ich pod tymi właśnie pięcioma głazami, które zostały tam przez wiele kolejnych lat.