平山歷史悠久，據(jù)中賈壁、田興、米家溝、尚家灣、韓莊、郭蘇、西沿興、西榮村等地發(fā)現(xiàn)的新石器時代仰韶文化遺址說明，在原始社會晚期，縣境內(nèi)的滹沱河兩岸就已有人類活動。

平山境春秋屬鮮虞國，戰(zhàn)國時屬中山國與趙國，秦為恒山郡屬地，西漢置縣，治所蒲吾，位于今縣城東南8公里處的蒲吾原村址（原址已被黃壁莊水庫淹沒，今址為遷移后的新址），歷經(jīng)東漢，至魏、晉。隋開皇十六年（596），析蒲吾縣置房山縣，其治所設(shè)于今縣城舊址。唐貞觀元年（627），蒲吾縣并入井陘縣。唐至德元年（756），改房山縣為平山縣，歷經(jīng)宋、元、明、清至民國，縣城所在地均未變更。

抗日戰(zhàn)爭時期，中國共產(chǎn)黨政權(quán)組織平山縣抗日民主政府駐地在今古月鎮(zhèn)洪子店村。1940年8月，平山冶河以東與井陘、獲鹿、正定相連的區(qū)域成立建屏縣，駐地在今獲鹿縣牛山村。1942年8月，平山西部的蛟潭莊、合河口、營里與山西盂縣的部分地區(qū)合并成立盂平縣，縣政府設(shè)于本縣康莊村。1945年10月，平山劃為兩個縣，西部為建屏縣，縣政府駐秘家會村，后遷往東黃泥、洪子店；東部為平山縣，縣政府駐城關(guān)。

中華人民共和國建政，此區(qū)域內(nèi)延舊制設(shè)有平山、建屏兩縣，屬石家莊專區(qū)。1958年9月，撤銷建屏縣，其所轄行政區(qū)并入平山縣，屬石家莊專區(qū)。1960年5月3日，撤銷石家莊專區(qū)，平山縣歸屬石家莊市。1961年5月23日，復(fù)置石家莊專區(qū)，平山仍屬之。1967年11月22日，石家莊專區(qū)改稱石家莊地區(qū)，仍轄平山縣。

1993年7月1日，石家莊地區(qū)和石家莊市合并為石家莊市，平山為石家莊市屬縣。