相传，古时有位男子出征，他的妻子朝夕倚于高山上的大树下祈望，因思念边塞的爱人，经常泪留满面。当泪水流干后，流出来的是鲜红的血滴。血滴化作粒粒红豆，掉在地上生根发芽，日复一日，春去秋来，幼芽长成了大树，结满了一树红豆，人们称之为相思豆。
另一种说法，很久以前，有一位美丽的姑娘，为盼望寻找幸福泉而出走的伴侣，每天在山坡上遥望远方哭泣，泪珠洒到树枝上便长出一颗颗纯红色的心中有心的红豆豆，人们把这种红豆叫做相思豆。
还有一种说法，相传为战国宋康王的舍人韩凭和他的妻子何氏所化生。据晋干宝《搜神记》卷十一载：宋康王舍人韩凭妻何氏貌美，康王夺之，并囚凭。凭自杀，何投台而死，遗书愿以尸骨赐凭合葬。王怒，弗听，使里人埋之，两坟相望。不久，二冢之端各生大梓木，屈体相就，根交于下，枝错于上。又有鸳鸯雌雄各一，常栖树上，交颈悲鸣。宋人哀之，遂号其木曰‘相思树’。
红豆作为情人的相思物，古往今来，引发过数不清的缠绵悱恻的爱情故事。然而，一颗红豆导致一部学术专著的产生，却鲜为人知了。
已故史学大师陈寅恪先生，抗战时执教西南联大，一日读报得知有鬻书者，即驱车前往，见所售书皆劣陋之本，无一可取。面对主人殷勤，觉得过意不去，便问主人书籍之外，可还有其它东西出售?主人踌躇良久，回答：曾旅居常熟白茆港钱氏故园，拾得园中红豆树所结子一粒，愿以此奉赠。先生闻之大喜，购归，藏于书箧二十年之久。1964年，陈先生作《红豆诗》，其序云：昔岁旅居昆明，偶购得常熟白茆港钱氏故园红豆一粒，因有笺释钱柳因缘之意，迄今二十年，始克属草。这就是先生大著《柳如是别传》撰写缘起。
在民间，相思豆和玉一样，是有灵性的开运吉祥神物。男女定亲时，送一串许过愿的相思豆，会求得爱情顺利;婚嫁时，新娘会在手腕或颈上佩带用鲜红的相思豆串成的手环或项链，以象征男女双方心连心白头到老;结婚后，在夫妻枕下各放六颗许过愿的相思豆，可保夫妻同心，百年好合。
目前，用相思红豆做成的饰品风靡南国，时尚女性以佩带精美的红豆饰品为荣，男女恋人纷纷为对方选择相思红豆饰品表达心中的爱意。
