然而，在众所周知的大肆杀戮功臣之后，五府的力量大为削弱。比如在胡惟庸之狱中被诛杀的延安侯唐胜宗，平凉侯费聚和吉安侯陆仲亨，就曾任大都督府同知、佥事。以及在蓝玉党案中被诛杀的蓝玉本人，以及鹤寿侯张翼、舶胪侯朱寿、定远侯王弼，都曾就任大都督府高级长官(同知、佥事)。
因此也可以，朱元璋对武臣大加杀戮，背后原因之一就是对于五府军权的掌控。
再然后，到了英宗土木之变，随着张辅之死，五府的势力在朝廷中枢几乎被一扫而空。而与此同时，中枢之中由文官所掌握的兵部从于谦设置团营起，重要性开始出现飞跃，就更加使得五府的地位一蹶不振。这两点本书前文有述，就不多了。
但是，五府的衰落绝不仅仅只是由于其首脑人物被打压或者战死，其中还有更加深刻的内在因素，而这个内在因素才是眼下高务实关注的重点。
内在因素是什么？是卫所的衰落，是军户的逃亡、不堪一战。
按照高务实的理解，明代的以文制武政策固然在很大程度上限制和削弱了五府的地位和权力，但是对于五府为代表的卫所军事体系来，只能算是一种相对的外部作用，而其在内部的因素亦有深刻影响。
明初，“五府—都司—卫所”建立起来的卫所军制，在洪武至正统时期承担了最主要的军事职能，自朱元璋着手统一战争开始，至正统年间的屡次军事行动，无不由卫所军队为主力进校
直到正统十四年，王振挟英宗出征瓦剌所统帅的五十万京军，仍然是以卫所军制为基础的。所以，在如此情况之下，作为卫所军队的主要领导机构，五府权力势必不容觑。
然而土木之变以后，中枢决策核心便完全集中于以文官为主的内阁和以内臣为主司礼监之上，武臣对于国家政策的干预亦不复存在。
出现这种现象，除了皇帝使用以文制武的政策之外，一个主要的内部动因便是卫所制度的不断瓦解。卫所官军已逐渐不能担任国家作战的主力，从而被募兵制所取代，导致五府在此过程中丧失了权力基础。
为什么大明对于京营的改制从来没有停过，但却始终改不出个效果？原因也就在于此。
你五府掌握的直属卫所本身都已经糜烂不堪了，怎么指望从这些卫所里挑选出来的京营能有战斗力？
而且，朝廷还长期随意使用五府统帅的军户、工匠等来做事，尤其是京畿附近有什么工程，几乎都会使用到军户。这就让京畿卫所的战斗属性越发不明显，越发显得像是一支在编奴隶。
但现在就不同了。
第一个不同，是禁卫军彻底不要军户，而是直接向民间募兵，其做法与各地边将招揽武装家丁没有什么区别——唯一的区别就是禁卫军募集的兵马不属于将领本人。
第二个不同，是军户身份的“老京营”从此不问战事，专心专意负责屯垦等工作，实际上成了“后勤部”。
五军都督府成为单纯的“后勤部”，这还不算从本质上动摇了朱元璋定下的制度吗？
不过，高务实很清楚，他现在还只是刚刚对军制进行了初步的改动，这可不算完。
事实上，他对于这些京中勋贵谈不上很大的恶感，主要的观感是“怒其不争”，同时伴有一定的“哀其不幸”。
怒其不争，这个不必解释；哀其不幸，则是因为以文御武的确是时代潮流，哪怕到了高务实穿越前的那个时代也不例外。
但这不意味着五军都督府就活该是个摆设，它还是有必要发挥一些作用的——搞后勤也是发挥作用啊，总比一事无成好吧？
更何况随着热兵器时代即将到来，后勤的作用只会日渐提高，即便五军都督府“废物利用”之后也只能供一支禁卫军，但它的作用也会很明显。
高务实一直认为大明对武臣压制得太狠，但光凭他一个人空口白话并不能提高武臣的地位，只有逐渐恢复武臣的作用，他们的地位才会相应的提升。
试想一下，当一支能征善战的禁卫军是靠五军都督府养活的，这五军都督府还能被当做一个纯粹的摆设吗？
当然，五军都督府的改革只是现阶段的，以后在边军中也会有相应的变动，不过那都是将来的事了，高务实眼下的权限仅止于京营，当然是先做好手头的工作再。
京营生产建设兵团开始和京华合作开采各类矿产，所赚的银钱按照高务实与朱应桢等人早前约定的比例开始供给禁卫军，禁卫军也因而逐渐稳定下来，在戚继光的主持下开始了新兵训练。
两个月后，已到年尾，戚继光在向高务实的汇报中表示，现在的禁卫军看起来总算像一支军队了。
言下之意，并非是禁卫军已经“可堪一战”，大抵应该是指“可以一观”。
这个消息让高务实多少有些欣慰，花了这么大的工夫，踩钢丝一般的搞了这些改革，现在总算是有零效果。他和戚继光商议，既然队立纪律等问题基本搞定，那就尽快进入作战训练，争取到将来对图们发动最后一击的时候禁卫军已经可以拉出去见见仗。
戚继光便问高务实，朝廷到底打算什么时候对图们出兵？他需要有个比较明确的时间，才方便对禁卫军的训练计