"豆腐西施"這個稱呼的起源可以追溯到魯迅的《故鄉》中的角色楊二嫂。這個稱呼表面上是在讚美她的美貌，並點明其身份，實際上還有更深層的含義。在南方，把調戲、侮辱婦女的行爲叫做"喫豆腐"，所以"豆腐西施"也有暗指她常被人戲辱的意思。
此外，"豆腐西施"這個稱呼也被用來形容那些賣豆腐的美女，但並不侷限於賣豆腐的人。只要有姿色的民間女子，都可以被稱爲"豆腐西施"。這個稱呼在清代後開始流行，人們常常用豆腐西施來形容出身貧寒的漂亮女子。
至於豆腐的起源，相傳漢高祖劉邦的孫子劉安在煉丹的時候，不小心把石膏點進了豆汁，於是發明了豆腐。但這個說法有一定的傳說成分，有確切記載的豆腐起源來自於宋朝的一些文獻。