潜山，因境内的天柱山得名。

元至治三年(1323年)置潜山县，县名至今已有700年。民国初年，潜山县直属安徽省： 1949年4月称皖北行署安庆专区潜山县，至1979年底，改隶属安庆地区，再后又改安庆地区为安庆行署，九十年代，地市合并为安庆市，潜山县相沿隶属安庆市。