出自姬姓。周文王孙季孙,封于潘(今陕西西安、咸阳一带),后代遂以封地为姓。汉代迁至中原,后迁徽州婺源。《古今姓氏书辩证》载,豫章(今江西)潘氏,南唐散骑常侍潘处常,生内史舍人佑。今为大族。
明洪武年间,婺源桃溪派潘氏裔孙潘进九,字天祥,举孝廉明经,为宛平县令。配婺源县进士王厚存长女,生一子公判。永乐二年(1404年),潘公判自宛平回归故里,途经庐江六丛圩湛家湾(今舒城杭埠潘湾),遂定居于此。是为迁庐始祖。四世之后分三大房,长房潘岳,二房潘銮,三房潘芝,至今二十五代,现有人口八千余,主要分布舒城、庐江、肥西三河、芜湖南陵、山西大同等。十四世潘登榜(1748-1803),字忠源,诰赠光禄大夫,晋封光禄大夫。配刘立昌长女,生一子廷曜。刘立昌胞弟刘怀昌,即刘秉璋曾祖父。十五世潘廷曜(1778-1829),字鸿勋,号建亭,诰赠光禄大夫,晋封光禄大夫。配合肥李佩高长女,生五子:邦珠、璞、答、荣、佐。十六世潘邦珠(1796-1848),字朝赞,号辅之,诰赠振威将军。配舒城邑庠生赵熊飞孙女,生三子:国盛(鼎升)、国第、国斌。潘璞(?-1861),字朝常,号晓庵,邑廪生,候选训导,在三河设馆教书,咸丰十一年(1861年),在庐城与太平军巷战死,恤云骑尉世职,诰赠光禄大夫,同治十年(1871年)敕建潘公祠于城南马厂巷(今县医院后门)。配舒城太学生叶洪钟长女,生四子:国庆(鼎元)、国度(鼎新)、国庚、国庱(读cheng)。十七世潘鼎元(1822-1868),原名国庆,字成祥,号云岑,世袭云骑尉,赏戴花翎,记名总兵,例授武功将军。配刘氏,生一子永伦。潘鼎新(1828-1888),原名国度,字成能,号琴轩,道光二十九年(1849年)巳酉科举人,咸丰七年(1857年)回乡办团练,擢同知;十一年,率练勇攻克三河,曾国藩命率部为鼎字营。同治元年(1862年),鼎字营编入李鸿章淮军,征战江浙,累功擢知府。旋克金山卫、虹桥,肃清浦东,擢道员。二年,克福山、枫泾、西塘,授常镇海道。三年克嘉兴,加布政使衔,赐号敢勇巴图鲁,赏穿黄马褂。四年,平定捻军。六年,任山东布政使,赏头品顶戴、云骑尉世职。十三年(1874年),授云南布政使。光绪二年(1876年)升巡抚。九年,在天津帮办洋务。十年,任广西巡抚,六月大败法军于观音桥。十一年三月取得镇南关大捷,受李鸿章指使不战而退,坐罪撤职。十四年(1888年)赏还原衔,五月旧伤复发病逝。潘鼎新关心家乡发展,同治七年(1868年)捐资重修庐城文昌宫、奎星楼,资助修建南京庐江试馆。配江苏常熟徐元敬长女,生四子:永受、永仁、永爱;侧室王氏,生一子永年;侧室王氏,生三子:永芳、永灏、永夔;侧室邵氏,生一子永璋。潘鼎新子孙分为六房,散居庐城、无为、芜湖南陵等地。清末民初,庐城潘家居南门县医院一带,时称“潘半城”,裔孙潘祖符出家,僧名释本宏,为冶父山伏虎寺住持。潘鼎升(1829-1888),原名国盛,字成治,号琴堂,例授武功将军,赏戴花翎,尽先补用副将。配邑庠生张联魁长女,继配潘家璧长女,生二子永咸、永益。潘鼎立(1836-1884),原名国第,字成序,号豫轩,早年在乡组织团练,后随潘鼎新对抗太平军,同治六年(1867年)以军功授皖南镇总兵,赏戴花翎,十年擢提督,瑚松额巴图鲁勇称号,卒于军营,诰授建威将军。同治八年(1869年)、光绪四年(1871年)两次捐建庐城小西门吊桥。配刘景良长女,生二子永晋、永涣;三女,长适合肥监生郭宝箴,次适王翚翮(读he)长子候补卫守备廷松,三适进士凌锦章次子候选盐大使毓芝。侧室费氏,生一子永和。潘鼎文(1838-1868),原名国斌,字成才,号蔚轩,花翎总兵衔,尽先补用协统,配合肥太学生金试镕长女,生三子:永复、永巽、永萃。十八世潘永伦(1847-1891),号峻甫,世袭云骑尉,即选知县,诰封荣禄大夫。配舒城叶家振长女,生一子定时。潘永受(1854-?),字葆贞,号子谦,廪膳生,光绪元年(1875年)乙亥恩科举人,历任刑部郎中、贵州司行走、江苏候补道、江西即补道,例授资政大夫,诰封荣禄大夫。配章翰书次女,生七子:定生、仁、义、礼、智、纯、信。潘永咸(1864-?),字一德,号尧池,岁贡生,蓝翎五品,候选训导。配张荣诰长女,生一子定乐。潘永晋(1865-1913),字锡蕃,号康侯,候选通判。配南陵县福建水师提督李成谋五女,生三子:定章、定铎、定魁。潘永益(1867-1912),字守谦,号友三,例授承德郎。配太学生金广泰长女,生三子:定泽、定澍、定灏。潘永复(1867-?),字剑心,号子元,邑庠生。配江苏溧水孙位南次女,生三子:定麟、定尧、定舜。十九世潘定灏(1880-?),字养吾,号子梁,两淮候补运判。配舒城候选同知孙明喣女,生三子:定远、定达、定迪。潘定谟(1882-1906),原名定智,字明机,号幼谦,候选知府,诰赠荣禄大夫。配李鸿章孙女李经方女。立堂兄定藩长子耀荣为嗣,又立嫡堂弟定远长子耀琼为嗣。潘定迪(1916-1996),会计师,南陵县人。娶庐江张孝徽,生二子耀崇、耀崧;继娶南陵李福民,生四子:金生、龙生、雾生、晓茅。一女晓梅。潘氏家族兴盛于第十七世孙潘鼎新,为淮军主要将领之一,官至广西巡抚。潘鼎新的“鼎”字营系淮军主力,骨干皆为潘氏子弟,据不完全统计,潘氏立有军功职级在把总以上者多达百余人。如提督潘国扬,提督衔总镇潘国英、潘永常,记名总兵潘邦贤,记名提督潘永盛,副将潘国球、潘鼎臣,副将衔两江补用游击潘永隆,副将衔游击潘永熊,尽先副将潘国友,参将潘良佐、潘国佩,尽先参将潘国仲等。宗祠始建于乾隆元年(1736年),坐落庐江原广寒舒拐黄栗树(今舒城杭埠舒拐),后被毁,同治九年(1870年)重建。宗谱道光二十年(1840年)四修,2013年八修。自十三世起字派:士世登廷,邦国永定,耀祖承宗,兆嗣贤宪;孝义修德,宜秀存良,文达冀元,敦和家昌。明嘉靖二年(1523年),潘示安自徽州婺源迁庐江西北乡。潘示安生三子:长子潘兰畴,邑庠生;次子潘兰颖,迁郑家滩;三子潘兰野,岁贡生。潘家旺(1846-),名席珍,字伯良,号植斋,候选县丞,例授修职郎。配王谟次女,生一子标儒。潘标鸣(1829-1876),字春台,号旭初,以军功擢记名总兵,赏戴花翎,世袭云骑尉。诰授振威将军。配金胜祥女,立胞弟标发子名芳为嗣。潘标发(1837-1868),字坤台,补用千总。配夏文宽女,生一子名芳。潘标从(1841-1871),字荣台,补用游击,赏戴花翎,诰授昭武将军。配宛守仁女。宗祠建在金牛尹岗高院庄。堂号种桃堂。字派:礼义传家,标名自立,大中至正,修善积德。