大明朝建立初期，朱元璋对全国军队实行的是卫所制度。其基本组织架构为：小旗、总旗、百户、千户、都指挥使。卫所兵平时耕耘军屯，战时由朝廷派遣高级军官，在卫所各级官员组织下，集中起来出兵作战。按照老朱的构想便是，一方面是吾养兵百万，不费百姓一粒粮，可以大大节约经费。另一方面则是防止武将长期镇守一方，从而形成藩镇。
但是大明朝运转了两百多年，卫所制度其实已经濒临崩溃。先不说卫所的官员纷纷由中下级军官退化为地主老财，也不说卫所兵要么逃亡要么沦为佃农。单是外敌入侵，朝廷才临时派遣高级将领这一条就在北方边境不适用。
所以到了宣德年间，面对恢复了元气的蒙古，明朝政府就不得不在陕西、山西设置常任总兵——这是明朝军镇制度的发端。