据《河北省县名考原》云：“境内多山，治所适当平坦，县或以此名”，阜为“兴旺昌盛”之意。
阜平县夏商时代，阜平属冀州地域。周朝时，隶属并州。春秋时为鲜虞国之地，战国时系中山国的地方。
秦朝时，为南行唐、上曲阳二县地。属恒山郡。汉朝时，为南行唐、上曲阳二县地。前汉属冀州常山郡；后汉属冀州常山国。
魏、晋时，为南行唐、上曲阳二县地，属镇州常山郡。北齐、北周时为行唐、上曲阳二县地。
隋，唐时，为行唐、上曲阳二县地，属镇州常山郡。五代时，为行唐、曲阳二县地。 　　 北宋咸平二年（公元999年），以行唐县之西北镜置为北寨。熙宁八年（公元1075年）又析行唐县二乡属北寨，属河北西路真定府。
金国时，宋之北寨，金初改曰北镇。明昌四年（公元1193年），以北镇并析曲阳之西北境置阜平县。属河北西路真定府。
元朝时，属真定路所辖。明朝时，属真定府所辖。清朝时，属真定府（雍正元年－公元1723年真定府改名为正定府）所辖。
据《阜平县志》载；清朝顺治十六年（公元1659年）因“高鼎之乱”废县，省入曲阳、行唐二县。康熙二十二年（公元1683年）又复设阜平县，当时因为县城坍塌，曾寄治于王快镇，乾隆十年（公元1745年）复移今治。
民国元年（公元1912年），阜平县隶属直隶省范阳道，民国三年（公元1914年）隶属直隶省保定道（民国三年范阳道改名保定道）。
民国十七年（公元1928年）隶属河北省（公元1928年直隶省改名为河北省）。
一九四九年，中华人民共和国成立后，阜平县隶属河北省定县专区；一九五四年定县专区撤销后，为河北省保定专区区所辖。 1970年属保定地区。
1994年12月24日，保定地区与保定市合并改称保定市，阜平县属之至今未变。