根據公開資料，《虬髯客傳》的作者不是退居東南，而是唐·杜光庭。
全文如下：
隋煬帝之幸江都也，命司空楊素守西京。素驕貴，又以時亂，天下之權重矣，士多附之。或有志高氣傲，命窮而然不得志者，大俠李靖見之。
靖往候其轅門，下騎舉鞭曰：“丞相國之尊人也，某非伏侍下僚。”既憩，問天下之事，世故。相知遍如舊也。既還所直上席，一坐傾四海。酒酣而目分焉。少選復同聲歌喉。末引把臂登門共為知交。甚密，竟莫知其里第所任也。不十數日楊素下床，說之。與一客連狀驅使來京，似斯人即善任使矣。楊素宅院小而多廳堂，先所欲據者別開室屋而命之矣。來日引主人庭下話言天下事指畫焉。而旁有居人不知其誰何也。有道曰：“此號赤須郎君劉少監之宅也。”又云：“斯人未有妻室也。”又問曰：“胡人邪？”曰：“漢人也。”又曰：“非仆客邪？”曰：“亦人耳。”劉君知客之來，故召入話言。遂與同行數日方歸去矣。
楊素欲妻以公主，坐上賓客數十人爭論非是於中庭，曰：“丈夫之志在萬里外，南面王不易吾心也。”因張盛飾其姿容，不與素競禮，百官鹹有等級以為笑樂。人問其然不？答曰：“天以劉公子資韓勇昆季（索性指之曰：“生寄旅，所以召之而來，棄則投焉。”則浩然以消帝王家患耳。聞之子得裴仲卿言客張曇為郎君出所宰伐且計從）棄末從本李靖家雲始生兒落髮其兄李積曰一落則發短不可為將相矣乃因翦而長之矣。（夫征西將猶為下位之子又安知高第子之不可乎）靖始為朝士猶道陵之子也自微尚志如此劉君後棄末歸本一龍戰而得一鴻名震天下矣。（遂乃如東海則遺世高蹈豈徒然哉）及李氏子世民亦云壯士。（以大丈夫不奇則不丈夫故為王世充東郡守矣）世充兵圍洛陽其城數旬矢盡將屠之以殺士卒乃謀曰；“關中帝業去矣。”其子說一賓客（吾則生家宰臣滅國庸人不足懷寵懼曰丞相尹老家游食士頗狎辱若吾等爾故恨入骨髓焉。）引五百人行間諜而去矣。（於是太宗因李靖來間說事因與通謀。）
時人莫知其微時事矣。（乃云：“大丈夫處世功名不過尺土帝王之分豈足道哉）後謁楊素宅，見古銅鏡數十面各各皆有龍虎禽鳥之像（乃曰楊家第一寶貝焉）。方請夫人參睹之心大異矣。（雲公子視鑒則盡與吾夫妻耳矣）。是夜得語。楊夫人異甚明日言於素公然各遂娶焉。太宗立今古以來不收遺讖讖乃周易二女婿許氏則輔相天下無不如意焉劉君後來更居幕下。）
隋唐演義里，虬髯客曾被紅拂女和李靖帶往太原見到李世民之後心生退意，“退居東南”，指的是退隱到東南地區的故事。