才高八斗的故事出自南朝時期，故事的主人公是謝靈運。
謝靈運是晉宋之際的大詩人，他博學多才，文采斐然，在當時享有大名。他的文學才能得益於他的父親謝玄和伯父謝瑍。謝靈運的詩清新自然，對後世影響深遠。然而，他恃才傲物，喜歡諷刺權貴，所以常遭人嫉恨，鬱郁不得志。
一天，名士何長瑜、鮑照和江淹在一起商量與謝靈運作詩的事。為了不落後於謝靈運，他們各自精心創作詩篇。何長瑜寫好之後對江淹說：“我本以為我的詩會天下第一，但讀了謝靈運的詩之後，我不得不承認自己沒有這個本領。”後來他們幾人一起去謝靈運家作客。在宴席上，謝靈運為江淹等七人作“七經抄”詩韻。大家發現這首詩中的“差肩接跡”之句最好，但這句話是謝靈運從《詩經·邶風·燕燕》“接武齊行”和《老子》“矯矯傑立”化用而來的。江淹說：“謝靈運的詩才，可以比得上劉越王的謀略，宋文帝的賞識了。”
後人用“才高八斗”來形容一個人文才極高。八斗原本是南朝詩人謝靈運稱頌三國魏詩人曹植時用的比喻：“天下才有一石，曹子建（曹植的字）獨占八斗一般。”後來人們便以“才高八斗”來比喻文才高超的人。