南北朝
晋室大举南迁,东晋十六国北朝时期,至少几百万华北人民迁徙往南方、东方,大量北方、西方游牧民族进入山东、山西、河北、河南等北方等地,北方的民系出现巨大变化,山东地区先后被后赵、前燕、前秦占领。淝水大战过后,山东回归东晋,东晋设置幽州于广固,不久被慕容德攻占。义熙六年(410),刘裕平定南燕,复置青州和兖州。
南北朝时期,争战频仍,经济破坏。刘宋时,增置冀州治历城。其后入于北魏,改冀州置齐州。北魏亡,属北齐,不久为北周所并。
隋唐
山东恢复发展。当时主要属于河南道(河济以南属河南道,以北属河北道)。开元天宝年间,每年都有几百万石的粟米运至关中,而青、齐等地的物价仍远低于中国其他地方。唐代兖州的镜花绫、青州的仙纹绫,都是驰名全国的精美织品。至唐后期,战乱又起。
宋金
宋初,山东隶属于京东路和河北路,后又增置京东西路,曹州、郓州属京东西路。
金人分山东东路及山东西路,东路治益都,西路治东平。金朝剥削严重,加上受到不断的外来侵扰及野蛮统治,社会与经济处于滞退状态。金代人口约144万户。
元朝
到元代,只有126万人、38万户,与金代相比,人数减少约87%、户数减少约75% 。山东地界置益都路、济南路等。
明朝
明朝开始设立山东布政使司(当时包括辽东、北京、天津及河北)。明初光复时,山东“多是无人之地”,政府奖励人民垦荒。南直隶的徐州道、太仓道、颍州道,由山东管理。至洪武二十六年(1393年),耕地面积有7240余万亩,是北宋时期的2.4倍,居全国第三位。1421年永乐皇帝迁都北京以后,京杭大运河沿线的济宁和临清由于漕运的发展而繁荣起来。
清朝
清初设置山东省,“山东”才成为本省的专名。到康熙年间,耕地达到9000余万亩。1860年代,烟台成为山东第一个开放口岸。1895年,在甲午战争中,日军攻占威海,北洋海军全军覆没。1898年,青岛和威海分别租借给德国和英国。德国修筑了从青岛通往济南的胶济铁路(1905年)与津浦铁路北段(1911年),把山东当作自己的势力范围。1899年,义和团从山东兴起,攻击遍布山东省的西方传教士。清末,面对俄国和日本的威胁,东北终于向汉族移民开放,加上民国初年张作霖的鼓励措施,在100年间有为数上千万的农民闯关东谋生,成为今天东北人中的重要组成部分。