五妃廟的鬼故事有很多，其中一種說法是：
很久以前，五妃廟前有一口常年冒熱氣的溫泉，溫泉中有一對戀人相擁沐浴，他們被世人稱為溫泉鴛鴦。然而，這對戀人最終被奸人所害，被分屍在五妃廟的兩側。晚上，有人在五妃廟聽到有人小聲的對話，都是被殘害的戀人在一起商量報復的事情。這其實是他們在向鬼王告狀，可是因為戀人太多，鬼王不受理這些冤案。在泉水旁的大石頭上坐著一位相公和一位小姐。他們的服飾看起來像是窮人家穿的衣服，小姐已經哭得暈厥過去。兩人雖然形影不離，卻已不再是戀人，他們是為了誓死同游而相依為命的忠義之鬼。
以上鬼故事情節僅供參考，實際上廟宇中的鬼故事可能因時間、地點等因素而有所不同。