이 산에는 옛날 한 포수가 한라산에 사냥을 나갔다가 잘못해서 산신의 궁둥이를 활로 쏘자 산신이 노하여 손에 잡히는 대로 한라산 봉우리를 뽑아 던진 것이 날아와 산방산이 되고 뽑힌 자리가 백록담이 되었다는 전설이 있다.
또한 여신 산방덕과 고승(高升)이란 부부가 행복하게 살고 있었는데 이곳의 주관(州官)으로 있던 자가 산방덕의 미모를 탐내어 남편 고승에게 누명을 씌우고 야욕을 채우려 하다가 이를 알아차린 산방덕이 속세에 온 것을 한탄하면서 산방굴로 들어가 바윗돌로 변해버렸다는 전설이 있다.