煤山這個名字的由來與明朝有關。在明朝時期，這座山被稱為「萬歲山」。明成祖在永樂十九年（1421年）遷都北京後，為了方便皇宮（今北京故宮）使用，命人在萬歲山腳下堆放煤炭。因此，萬歲山也被稱為「煤山」。此外，明代在修建紫禁城時，這個小土丘成了堆放煤炭的地方，從而得到了「煤山」的俗稱。
煤山位於紫禁城後側，由石炭堆積而成。早在元代，這裡就開始堆積石炭，並以沙土覆蓋形成山丘。明朝崇禎皇帝在此自縊，標誌著明朝的滅亡。因此，「煤山前事」有時也被用來暗指亡國。
儘管煤山這個名字與煤炭有關，但今天的煤山已經沒有煤炭了。根據風水學理論，煤山的存在是為了擋住來自北面的邪氣，保護紫禁城。