煤山雀主要分布在亞洲、歐洲和北非的寒溫帶至溫帶地區。在中國，煤山雀的分布範圍廣泛，包括東北、華北、華東、華中和西部等地，如黑龍江、吉林、遼寧、內蒙古東北部、河北、山東、山西、安徽、陝西、甘肅、四川、湖北、湖南、福建、台灣、新疆、西藏、雲南和貴州等省份。此外，煤山雀還分布於天山中部和東部，從哈薩克斯坦的東南端東至中國西北端（新疆西部）。
煤山雀棲息於海拔3000米以下的低山和山麓地帶的次生闊葉林、闊葉林和針闊葉混交林中，也出現在竹林、人工林和針葉林中。冬季有時也會到山麓腳下和鄰近平原地帶的小樹叢和灌木叢活動和覓食。有時也會進入果園、道旁和地邊樹叢、房前屋後和庭院中的樹上。