南冠客的典故源自於《左傳·成公九年》中的一個故事。故事講述的是楚國人鍾儀被晉國俘虜並關押在囚室里。晉侯在巡視時看到鍾儀穿著南方的冠服，便召見他。鍾儀在交談中展現出了得體的談吐和不卑不亢的態度，不僅謹守本分，而且展現出了才能和原則。因此，晉侯將鍾儀釋放回楚國，希望藉此修復兩國的邦交。由於楚國位於南方，因此鍾儀所戴的楚冠被稱為「南冠」。
後來，「南冠」一詞逐漸泛指囚犯或戰俘。文人們常用「南冠」來代指自己是有節操的囚徒。例如，李白的《流夜郎聞酺不預》中有「北闕聖人歌太康，南冠君子竄遐荒。」的句子，表達了詩人對自己被流放的悲憤之情。明朝少年民族英雄夏完淳在《別雲間》中也寫道：「三年羈旅客，今日又南冠。」表達了自己被囚禁的境遇。
駱賓王的《在獄詠蟬》中的「西陸蟬聲唱，南冠客思深」一句，也使用了「南冠」這個詞，來表達詩人作為囚徒的深切思念之情。