桃花島這個名稱的由來與一個古老的傳說緊密相關。以下是詳細信息：
傳說在秦朝時期，道士安期生因抗旨南逃至桃花島隱居。他在修道煉丹時，某日醉酒後以墨汁潑灑於山石之上，形成了形似桃花的斑紋。因此，這種石頭被稱為「桃花石」，山被稱為「桃花山」，島則被稱為「桃花島」。
桃花島也與金庸小說《射鵰英雄傳》和《神鵰俠侶》中的東邪黃藥師有關，黃藥師的夫人是桃花女，儘管她早逝，但黃藥師為了紀念她而將島嶼命名為桃花島。
此外，有的桃花島因島上種植了許多桃樹，每到春天，粉紅色的桃花盛開，瀰漫了整座小島，故被稱為桃花島。