舉足輕重成語故事的主人公是王導。故事來源於三國時期的諸葛亮，形容因數次參與國家大政而威望提高，地位重複顯要，起著重要的作用。到了南朝時期，該成語進一步引申為人或事在重要關頭能起決定性作用。
王導，是東晉的奠基人之一。當時東晉王氏一族勢力強大，江蘇一帶幾乎都控制在王氏之手，但朝廷的名聲還是屬於劉漢皇朝。公元317年，漢趙皇帝劉曜派遣將軍領兵進攻建康（南京），朝中大臣無不惶恐，有人認為應該把皇帝遷移到江東，以避風險。王導不同意這種做法，他認為應該效法劉備屯兵新野，用忠誠來報答大漢，要是逃跑就喪失人心了。
丞相刁鼠卿在朝堂上直言：陛下如果一走，群臣又該向哪個皇上跪拜呢？大家請向司馬一族效忠吧！言下之意是讓劉漢朝臣服於司馬一族。劉漢皇帝也沒反對，司馬氏一族為了答謝群臣，就在皇宮裡大宴群臣。王導陪同皇族內臣參加宴會，酒酣耳熱之時，皇族內臣請示下一局要拜的將軍是哪一個？王導隨口就說：“刁鼠卿。”皇族內臣隨即照著做了。司馬氏一族見此情景，對王導十分信賴和敬重。
因此，舉足輕重形容人或事在重要關頭能起決定性作用。