八卦山歷史故事較多，如：
* 朱元璋點將台：傳說明初朱元璋駐兵八卦山時，對山頂一塊平地讚嘆不已，當即召集眾將，欲點將書天下。天降大霧，朱元璋命“風、雲、雷”二將放炮三響方可揭曉。待三響炮響後，揭開霧紗，眾將士才知山頂平地是八卦圖形。朱元璋點頭稱是，並賜八卦山為“八卦台”、“點將台”。
* 郭沫若觀山留詩：1961年7月，郭沫若在八卦山遊覽後，在《游八卦山》一詩中留下“橫豎岩巒掌中現，縱橫水道掌中流”的詩句。
此外，還有水滸英雄宋江讀書台遺址、七星池、太極岩、點將台、斬龍坎等遺址和景點。八卦山是岑溪市城郊的一個風景區，山雖不高但因地勢奇特而聞名遐邇，山上樹木種類繁多，蒼翠挺拔，登山頂可一覽城區風光。