汉世衰于元、成，坏于哀、平。——《汉书》
汉元帝、汉成帝、汉哀帝、汉平帝统治的半个多世纪，是西汉王朝走向衰亡的历史时期。但是西汉末年，虽然政治昏暗、外戚专权，但仍然军事强盛、威服四夷，并一直保持人口增长。
汉元帝时代，发出了“明犯强汉者，虽远必诛”（资治通鉴）的时代强音；
汉成帝时代，“天下亡兵革之事，号为安乐”（汉书)，当时由于没有战争，天下号称安乐；
汉哀帝、汉平帝时代，“百姓訾富虽不及文景，然天下户口最盛矣”（汉书）
据《汉书》记载，直至西汉政权结束，依然还是“百姓赀富虽不及文、景，然天下户口最盛矣”，“匈奴称藩，百蛮宾服，舟车所通，尽为臣妾，府库百官之富，天下晏然”。——西汉恰恰是最强大的朝代，一直到末年，仍然是亚洲大陆的绝对霸主
《汉书》记载，汉昭帝年间，“流民稍还，田野益辟，颇有畜积”。又对外息兵，百姓充实。至宣帝时，又出现了“百姓安土，岁数丰穰，谷至石五钱”的升平局面，人口又不断增长。此后的元、成、哀、平四代，虽间有天灾人祸，但对人口增长并未产生太大影响。在西汉即将灭亡的汉平帝时代，西汉人口增加到约6000万人，达到中国历史上的一个高峰，而唐朝中期的一场安史之乱就导致人口锐减以千万计。