潘姓的始祖主要有兩種說法，一種是認為潘姓出自羋姓，始祖是春秋時期楚國的潘崇；另一種說法是潘姓源於姚姓，認為舜帝的後裔是以國名為姓。
潘姓的起源和發展有以下幾支主要來源：
源於姚姓。舜帝的後裔，以國名為姓。
源於姬姓。周文王的子孫，畢公高的兒子季孫被封於潘地，其後代以潘為姓。
源於羋姓。春秋時期楚國的公族，楚成王時大夫潘崇是羋姓潘氏的始祖。
外族改姓。包括東漢武都氐族、南北朝北魏鮮卑族破多羅氏、宋朝西夏國党項族、清朝滿州八旗等少數民族中改姓潘的。
潘姓的分布和遷徙：
在春秋戰國時期，潘姓主要在今天的湖北省境內發展。
隨後有向山東、湖南等地的遷徙。
漢朝時，潘姓在河南省滎陽中牟一帶發展興旺。
三國時期，潘姓已經播遷於江蘇溧陽、山東冠縣、湖南常德等地。
晉朝時，潘姓在河北省威縣形成第二大郡望。
北魏時期，潘姓在洛陽形成第三大郡望。
總的來說，潘姓是一個多源流、多民族的姓氏，其始祖和起源具有多樣性。