山西之所以被稱為「山西」，是因為它位於太行山的西面。在春秋時期，大部分地區屬於晉國，因此簡稱「晉」。戰國初期，韓、趙、魏三家分晉，山西又被稱為「三晉」。山西的歷史悠久，是中華文明的發源地之一，從堯帝建都，三家分晉，李牧霍去病北擊匈奴，李淵起兵反隋，五代爭鬥，楊業抗遼，全國人口大遷徙，到近代抗日鬥爭，解放太原，山西的歷史幾乎就是中華文明發展史的縮影。
山西不僅歷史悠久，還是華夏文明的重要發源地。山西的界域幾乎數千年保持不變，東太行西呂梁，南黃河北長城，相對封閉的地理環境使其成為帝國的「瓮城」，也成為保留古老華夏文明珍貴遺存的寶庫。山西是地上文物看山西，打開中國國家重點文物保護單位名錄，山西以絕對數目優勢碾壓其他任何省份地區。
此外，山西還是佛教文化和根祖文化的重要地區。五台山作為四大佛教聖地之首名揚海內外，雲岡石窟匯集了佛教多種造像風格，記錄了印度及中亞佛教向中國傳播的過程。山西是根祖文化最濃郁的一個省份，600年前，在中國歷史上規模空前的大移民就發生在洪洞大槐樹。
山西的麵食也世界聞名，種類繁多，有人統計過，竟達1000多種。山西的晉商也是歷史上著名的商幫，在中國明清以來的近代經濟發展史上，馳騁歐亞的晉商舉世矚目，山西特別是以太谷、祁縣、榆次、平遙等為代表的太原盆地商人前輩，舉商貿之大業，經營範圍包羅萬象，奪金融之先聲，錢莊票號匯通天下，稱雄五百餘年，創造了亙古未有的世紀性繁榮。