潘姓的來源較為複雜，主要包括以下幾個來源：
顓頊帝高陽氏後代：
發源地：大致在今天的安徽、江蘇和浙江一帶。
姚姓潘國：
起源：舜的後代，舜建都潘，古城大約在今天的北京延慶縣東北。
遷移：潘地後來移到今天的陝西興平北，接近古畢國之地。
歷史：在商朝時，舜的後裔在潘地建立了潘子國，直到商朝末被周文王所並，子孫以國為氏。姚姓潘氏的歷史將近4000年。
姬姓潘國：
起源：商末周文王滅姚姓潘國後，封地給其子畢公高之季子季孫，是為姬姓潘國。
遷移：潘人隨後東遷到河南洛陽東的潘城，再東遷到河南商丘西北之潘侯集，最後南遷到近楚國的潘鄉，即今天的河南固始。
歷史：姬姓潘國也國小勢弱，春秋時為楚國所吞併。姬姓潘氏的歷史至少有3000多年。
羋姓潘氏：
起源：春秋時楚國占領潘國後，子孫以邑為氏。楚成王時太子商臣之師潘崇為羋姓潘氏之始祖。
歷史：羋姓潘氏是組成潘姓人群的最重要成分，當代潘姓多認潘崇為其族之始祖。羋姓潘氏其歷史至少也有2600多年。
外族改姓：
特點：我國的潘姓同其他姓氏一樣，不斷與其他民族交流，互有基因的流動。
綜上所述，潘姓的來源多樣，涵蓋了古代的多個部落和地區，以及後來的外族改姓。這些來源共同構成了今天潘姓的複雜性和多樣性。