潭府乡地处湖南省邵阳市新邵县东部，距离县城25公里。地名由来与当地李氏家族的历史渊源密切相关：元顺帝至正四年（1344年），潭府李氏从江西吉水谷村迁居此地。为纪念祖先西平忠武王李晟（李晟为洮州“临潭”人，即今甘肃临潭县），并结合吉水谷村的“玄潭”之地名，为“示不忘本”，遂将此地命名为潭府。

潭府乡全乡土地总面积98.7平方公里，耕地面积17839亩，楠竹面积50818亩。下辖33个行政村，总人口约2.9万人。辖区境内资源丰富、土地肥沃，尤其以楠竹资源著称，其楠竹蓄积量和产出量均居全县第一位。乡内枫树坑水库储水量达400万立方米，为当地农业和生态提供了重要保障。土壤条件良好，适宜多种农作物和经济作物生长。上世纪70年代，潭府乡曾因出产黄金而在省内外颇有名气。

近年来，潭府乡党委和政府将产业结构调整作为改变农村贫困面貌、实现经济腾飞的重要突破口。2003年，全乡发展玉竹3200亩，茯苓17000多窖，天麻1000多窖，其他药材1000亩；完成楠竹低改1200亩，发展杨梅等精品水果200亩；出栏生猪15000头，全乡人均纯收入达到1737元。此外，潭府乡把“民营兴乡”作为一项重大战略举措，截至2003年底，新办投资10万元以上的民营企业13家，累计投资753万元，年产值3110万元，从业人员249人，年创利税200余万元，民营经济增长速度位居全县第一。

潭府乡的基础设施建设也在不断完善，城镇化进程逐步加快。33个行政村已全部实现通电、通邮、通路、通程控电话。2000年建成的移动基站使移动网络覆盖全乡80%的地域，手机用户已达985户。电网改造工作持续推进，江溪冲等22个行政村已完成改造。医疗卫生条件持续改善，全乡设有一所卫生院和50个卫生站。教育事业蓬勃发展，境内有中学2所、小学17所。有线电视已覆盖全乡25个村。

潭府乡历史悠久，沿革清晰。民国三十六年（1947年），潭府乡境域分属邵阳县和安、长泰乡。1949年解放后属邵阳县第七区。1952年邵阳析置新邵县，潭府乡分属新邵县第四区中潭、上潭、洪福桥等11个乡。1953年，中潭、上潭乡组建为潭府乡。1958年改设公社，增辖壕塘、车峙；1961年壕塘、车峙析出。1984年恢复乡制。1995年，车峙乡并入潭府乡。2022年4月，潭府乡入选农业产业强镇创建名单，展现了良好的发展势头。