在讨论府兵制的时候，不得不讨论另一个东西——镇兵，此为北魏之遗产，在东西魏并立的历史上发挥了重要的作用。
陈寅恪先生说：六镇兵经过三次转手。第一次由破六韩拔陵转到葛荣手上，葛荣赖之以继续与洛阳统治者做斗争。第二次从葛荣转到葛荣的镇压者尔朱荣手上，尔朱荣欲倚之以壮大自己的势力。第三次从尔朱氏手上转到高欢手上，高氏赖之以建立东魏与北齐。在东西魏并列历史上，高欢掌握大部分镇兵，宇文泰掌握小部分镇兵。自北魏末年内乱后，以“镇兵”为核心的军事共同体分别掌握在高氏家族和宇文氏家族手中，成为东魏、北齐，西魏、北周的事实权力支配者。
尽管因为镇兵势力的大小，高欢在一开始对宇文泰占尽优势，但塞翁失马，焉知非福。
东魏、北齐兵制的形式仍然是“胡人当兵，汉人种地”，这同北魏并无二致。“欢每号令军士，常令丞相属代郡张华宣旨，其语鲜卑则曰：“汉民是汝奴，夫为汝耕，妇为汝织，输汝粟帛，令汝温饱，汝何为陵之？”其语华人则曰：“鲜卑是汝作客，得汝一斛粟，一匹绢，为汝击贼，令汝安宁，汝何为疾之？”理论上来说西魏应该也是这样的，但战争爆发了。
大统十二年之前，东西魏之间发生了“小关之战”、“沙苑之战”、“河桥之战”、“邙山之战”。东魏保持了对西魏的压制，但从兵员年龄结构来看，北齐胡兵质量正走向衰弱，曾经助高欢成大业的北镇兵的优势已经转变为北齐的软肋。西魏在四次战役中，前两次获胜，而后两次却以失败告终，这对于西魏来说，已经面临严重危机。邙山之战，西魏损失六万将士，几乎将宇文泰所统的“镇兵”损失殆尽，此时已将宇文泰逼入绝境。然而历史的辩证法是西魏“镇兵”的战殁，连同他们所带有的缺憾一齐尘封于地下。因此，史书说宇文泰“于是广募关陇豪右，以增军旅”，成为其新生的出发点，至此，一种新的兵制诞生，是西魏不被东魏攻灭、北周灭北齐统一北方，乃至隋统一南北的主导原因——这就是府兵。
陈氏说：“府兵制之前期为鲜卑兵制，为大体兵农分离制，为部酋分属制，为特殊贵族制；其后期为华夏兵制，为大体兵农合一制，为君主直辖制，为比较平民制。其前后两期分划之界限，则在隋代。周文帝、苏绰则府兵制创建之人，周武帝、隋文帝其变革之人，唐玄宗、张说其废止之人，而唐之高祖、太宗在此制创建、变革、废止之三阶段中，恐俱无特殊地位者也。”
宇文泰“广募关陇豪右，以增军旅”，柱国大将军治军体制就自然与原有乡兵势力进行重构组合了。这一组合的重大意义就在于打破了“胡人当兵，汉人耕地”的原有兵制体制及兵员结构。而这爆发了恐怖的效果。
西魏玉壁之战的胜利，使东魏折损兵士七万人，自此东魏的优势不复存在。此次战役将领韦孝宽为汉人，但其率守军是否为乡兵，史无记载，但从守城、作战样式来看，很像是训练有素、善于守战的农耕民玉壁之战的胜利，也预示着大统九年“广募关陇豪右，以增军旅”的效果初步绽现。玉壁之战后，东强西弱的局面被打破，并且西魏、北周的军事将领中，汉族将领所占比重呈上升趋势。
正因为民农以土地为根本，“非徙为地利”之因，为保卫自己赖以生存的资财，才会“死处而无二虑”，善守战，这同游牧部族的部族兵利则战、不利则走的战略战术思想有着截然相反的逻辑取向。因此，西魏玉壁之战的胜利，是善于守城的农耕之兵战胜骑兵为主力的胜利，也是乡兵已经成为西魏重要军事力量的有力证据之一。
北齐呢？“河清三年定令……男子十八以上六十五以下为丁……二十充兵”。如果将西魏府兵制的确立时间定为大统十六年（公元550年），北齐河清三年（公元564年）征兵令颁布，两魏改革以“镇兵”为主体的军事共同体相差14年之久。西魏同东魏军事共同体结构起初都以“镇兵”为主体，并没有大的差别，但在军事势力上来讲，东魏拥有更大的势力。西魏在邙山之败时，“镇兵”损失殆尽，在力量上趋于劣势，但也将其缺陷、弊端基本上革除。东魏北齐革除“镇兵”的缺陷、弊端则要等到“镇兵”的自然衰老后才进行。虽然史家认为北周灭北齐的因素很多，西魏早北齐14年革除“镇兵”弊端也应是重要原因之一。