相思樹的故事源自於唐代李朝威的《柳毅傳》。故事中，洞庭龍君之女錢塘君因夫婿在外征戰久無音訊，擔心他遭逢不幸，將她投進水底，幸好被柳毅救起。在這過程中，錢塘君受驚而逝，化為相思樹，它以血淚作雨，終日哀嚎，把無數滴血滴在地上長成一棵樹，結果實的顏色是血一般的紅，永不結實。因此，這棵樹也被稱為相思樹。
相思樹的形象和龍女、錢塘君的悲情故事使相思樹被當地人認為是愛情的象徵。在傳統詩歌中，相思樹常被用於寓託相思之情，甚至當地還有「洞庭有棵相思樹，龍女離開龍宮去」的民歌，表達了人民對愛情的渴望和追求。
這些傳統和習俗都使得相思樹在當地有著深遠的影響和獨特的意義。