徽州的姓氏結構有其獨特的特點，其中「新安十五姓」是指古徽州的程、汪、吳、黃、胡、王、李、方、洪、余、鮑、戴、曹、江、孫十五大姓。而「徽州八大姓」則是指這十五姓中的前八姓，即程、汪、吳、黃、胡、王、李、方八大姓。
徽州的氏族主要來自北方，在明代以前可考的大姓有57個。這些大姓在古徽州所屬的歙縣、黟縣、休寧、祁門、績溪、婺源六縣均有分布，點多面廣。例如，汪氏在歙縣有20處、休寧38處、婺源14處、祁門17處、黟縣11處，有百餘處分布點。
另外，徽州的姓氏結構與全國其他地方的姓氏結構非常不同。例如，2017年黃山市的姓氏排名如下：1.汪 2.吳 3.胡 4.程 5.王 6.方 7.張 8.江 9.陳 10.李 11.葉 12.朱 13.洪 14.余 15.黃 16.徐 17.鄭 18.潘 19.姚 20.許 21.周 22.劉 23.謝 24.曹 25.孫（按姓氏數量排名，只列前25名）。我們可以發現在中國位居前列幾個大姓，如王、張、李、劉、陳、楊、趙等姓氏在徽州排名很低，最高的王姓只排到第5名。