紅豆被稱爲相思豆，主要是因爲一箇關於王維和紅豆的故事。
王維是唐代著名的詩人，他在一首詩中藉助紅豆來表達對友人李龜年的思念。李龜年因爲安史之亂被迫流放到江南，兩人原本是志趣相投的好友，但由於政局動盪，他們被迫分隔兩地。王維通過這首詩表達了對李龜年的深切思念，詩中提到南方的紅豆，因爲紅豆的顏色豔如血，形狀像心臟，且堅硬不易腐爛，象徵着愛情的堅韌和浪漫。因此，紅豆成爲了表達相思之情的象徵。
此外，關於紅豆還有許多民間傳說和故事，比如一箇關於漢代閩越國男子被徵兵出征，其妻終日盼望丈夫歸來的故事。這些故事中的紅豆通常與深情和思念聯繫在一起，使得紅豆成爲了相思的象徵。