龜山島的傳說故事由來有多種說法，以下是其中的兩個：
1， 很久以前，龜山島的島上來了很多老鼠，這些老鼠破壞島上的莊稼，給島上居民帶來了很大的損失 。一天，島上來了一個白鬍子的老人。他只說：“要治鼠，當在中秋晚上七點時”。老人在話未說完就走了。居民按照老人的指示，在中秋晚上七點時在山上放了一堆大米。之後他變成了一個大烏龜出來治鼠。後來人們為了紀念大烏龜的出現，就把這個島叫做龜山島。
2，傳說古時候有位仙長在島上修煉，騎著白鹿雲遊四海 。仙長思念故鄉，思念島上的鄉親們，於是化為白鹿回到島上為鄉親們呈祥瑞納福。因龜和鹿都是長壽的神獸，象徵著長壽吉祥，因此島上的居民也希望龜山島能福壽延綿，故取名為龜山島**。
具體故事內容請參考相關書籍和文獻。