衡山郡最初設立於秦始皇二十六年（前221年），其郡治位於邾縣，即今天的湖北省武漢市新洲區的古稱邾城或邾王城。衡山郡的名稱來源於秦時的衡山，即今天的潛山縣境內的天柱山，後來漢朝改天柱山爲衡山。衡山郡大致相當於今天湖北省、河南省、安徽省交界的大別山脈周圍地區。在文帝十六年（公元前164年），衡山郡曾改稱爲衡山王國，治所仍位於邾縣，即今天的湖北黃岡市北的禹王城，該城古稱邾城或邾王城。後來，衡山郡被撤銷，其東部與九江郡南部合併成立了新廬江郡，而衡山郡的西部和南郡地區則合併設置了江夏郡，治所在衡陽，即今天的衡陽市。江夏郡的轄境大致相當於今天湖南的衡山、常寧、耒陽間的湘水流域。
綜上所述，衡山郡最初位於今天的湖北省東部、河南省、安徽省交界的大別山脈周圍地區，後因行政區劃的調整，其轄境有所變化。