确实，在中国的整个封建社会里，兵权是影响和左右政权的根本。而宋太祖十分清楚，在当时的条件下兵权对国家政权的重要性。就是杜太后未指出失去政权而求匹夫不可得，宋太祖也会努力地去巩固所获得的政权，并且得出兵权是左右政权工具的结论。所谓左右政权的兵权，也就是掌握国家的军队。五代时的国家军队就是指禁军，禁军是由藩镇军队蜕变而来。在唐朝中期以后，国家军队的体制遭到破坏，各地节度使纷纷招募职业兵。均田制崩溃后，当兵吃粮成为破产和失业农民的主要出路，而割据战争的愈演愈烈，又使士兵的需求大幅度增多。于是在这种情况下，军人逐渐成为世袭的职业，而且兵骄逐帅、帅强叛上之风渐渐盛行。安史之乱后，藩镇拥兵自重，中央军的势力无法与藩镇抗衡，形成割据混战的政治格局。但是，自五代以来，特别是后唐庄宗灭后梁以后，经过大规模的杀伐攻灭，各地藩镇的兵力已不能与中央军的兵力相抗衡，左右政局者便变成了中央军队，也就是禁军，由此带来的一个重要后果，便是禁军将领成为政坛上举足轻重的人物。五代以来各朝兴亡，禁军及其将领都起着决定性作用。以至于形成这样的历史事实：后唐禁军小校从马直指挥使郭从谦，射杀了后唐庄宗，马步军总管李嗣源兵入洛阳称帝，自立为后唐明宗；后唐闵宗之败，是侍卫亲军马军都指挥使安从进潜通潞王，与马步军都指挥使康义诚投戈解甲，立潞王李从珂为帝；后汉高祖刘知远，正因多年充任侍卫军主帅而得到帝位；后周太祖郭威代汉称帝，参谋其事的王殷、郭崇、曹英都是禁军将领；宋太祖陈桥兵变，黄袍加身，更是禁军兵变的结果。禁军能够颠覆国家政权，这一点宋太祖早已十分清楚。然而身为天子，却不能没有禁军，一个国家如果没有了军队，国家灭亡得会更快。关键问题是：怎样把军队牢牢地掌握在自己手中。五代时的禁军有三个部门，即：殿前司、侍卫亲军马军司、侍卫亲军步军司。这三司分掌禁军，各置都指挥使为长官。每逢皇帝巡行和出征，临时设置都点检，位在都指挥使之上，为禁军统帅，也就是最高军事领导人。宋太祖之所以被拥为皇帝，正得益于他所拥有的殿前都点检这一禁军最高统帅的权力。有鉴于此，为了巩固国家政权，不再让军队左右政权，宋太祖有意让这一职务空缺，实际上也就等于由他亲自兼任了此职。这样一来，就不声不响地表明了皇帝才是国家军队的最高统帅，执掌军事大权的人也就没有必要颠覆自己的政权了。由于认清了所处时代兵权和政权的关系，认清了兵权能够左右政权这么一种社会政治的现实，因此宋太祖就把国家最高军事指挥——殿前都点检这一职位空缺，形成由皇帝兼任的事实，从而制定了皇帝就是军队最高统帅的决策。宋太祖的这一政治作为用一句有失恰当的譬喻来说，就是“过河拆桥”。在军队方面，宋太祖更是注意兵权的分化。五代王朝的更替，大多是因为军队问题，所以有“兴亡以兵”的说法，为牢牢掌握兵权，尤其是禁军的兵权，宋太祖做了一系列大刀阔斧的改革，基本上消除了发生兵变的可能性。其举措主要有：撤除禁军高级将领的职位，或是由庸才担任经过改革，禁军中的高级职位如殿前正、副都点检相继被撤销，侍卫亲军司的正、副指挥使之职也不再设置，没有人再像以前那样，一个人就统领数万精兵，因此也不会发生军事政变了。宋太祖首先对禁军将领的职位进行了调整。早在陈桥兵变之前，在后周禁军的高级将领中，殿前都点检是宋太祖，副都点检是慕容延钊，殿前司都指挥使是石守信，都虞侯是王审琦。侍卫司马步军都指挥使是李重进，副都指挥使为韩通，都虞侯为韩令坤，马军都指挥使是高怀德，步军都指挥使是张令铎。而在兵变发生一周之后，宋太祖很快便开始对禁军领导人进行了调整。他首先提升石守信为侍卫马步军副都指挥使，提升王审琦任殿前都指挥使。这是因为石守信和王审琦都是宋太祖等人组成的义社十兄弟中的人，和宋太祖关系亲密，即使握有兵权，出问题的可能性也不大。他又提任赵光义出任殿前都虞侯，他是宋太祖的亲兄弟，自然就更没什么问题了。此外他还提升原虎捷右厢都虞侯张光翰为马军都指挥使，原龙捷右厢都指挥使赵彦徽为步军都指挥使，使这两位禁军的中级将领步入禁军高级将领的行列。
提升高怀德为殿前副都点检，张令铎为马步军都虞侯，充实这两个职务看来没有什么不妥，而升慕容延钊为殿前都点检，这只是个临时性的决策，暂时不会有潜在危险。同时又提升韩令坤为侍卫马步军都指挥使。实际上，这次对禁军领导人的调整，宋太祖只免去了马步军都指挥使李重进的职务，其余将领各有升迁。使禁军中的将领依次迁升，将免职缩小到最小的限度，在历史上的开国皇帝中，这种图难于其易，为大于其细的策略，没有人能像宋太祖做得这样好的。宋太祖改革禁军的步伐没有很快停止，而是循环渐进的。及至半年之后，宋太祖让韩重任侍卫马军都指挥使，替下了张光翰，韩重也是义社十兄弟成员。而让罗彦瑰任侍卫步军都指挥使，替下了赵彦徽，原因在于罗彦瑰在他登基时有过突出的表现。经过两次对禁军领导班子的调整，作为宋朝中央军的禁军一直十分稳定，宋太祖这才放了心。于是到了建隆二年(公元961年)的三月，他便免去了慕容延钊的殿前都点检职务，改任为山南东道节度使、西南兵马都部署。又免去韩令坤的侍卫马步军都指挥使职务，去任成德节度使。殿前都点检一职自此不再任授，宋太祖自此完成了皇帝亲握军权的大事，实现了皇帝就是军队统帅的专制决策。此时，在宋朝禁军这个国家军队中，主要的、高级的将领，都为宋太祖的兄弟、义兄弟和亲信分别担任，从理论上来说，这样就可以使宋太祖高枕无忧，无须担心兵权被他人所篡，也无需害怕再有人利用兵权来左右政权了。但是，仅把军队领导人都换成亲信，宋太祖仍不会高枕无忧。为了彻底解决兵权左右政权的问题，还要从根本上也就是从体制上解决问题：就是要解除所有功臣个人意义上的兵权。“图难于其易”，既然已把军队的高级将官都换成了亲信，也就等于完成了第一步，而解除这些人的兵权就不是多困难的事了。然后，宋太祖让低级将领接任高级职位。他在军队的建设中有许多非常高明的举措。他把禁军的体制打破了之后，有意让中低级将领来担任殿前都指挥使、都虞侯、马军和步军的都指挥使这些职务。降低军职，高职低配择纳新人，是宋太祖控制禁军的主要手段。擢升韩重出任殿前都指挥使，是宋太祖综合考虑之后的结果。韩重原是铁骑右厢都指挥使，只是一个中级将领。在禁军的高级将领都被解除兵权后，他的兵权却得以保留。韩重的资历和名望都比较浅，而且品级较低，又一贯奉命行事，从不逾矩越规，而这正是宋太祖任用他的主要原因。擢升张琼出任殿前都虞侯，这一任命宋太祖也考虑得相当周全。张琼在后周时就是一名战将，以勇猛和善射著称。他对宋太祖有救命之恩。当时后周世宗皇帝柴荣征战淮南，宋太祖奉命领兵攻打寿春城，乘皮船进入城壕时，寿春城上的南唐士兵见有皮船接近，随即万箭齐发。与宋太祖同船的张琼以身体掩护宋太祖，结果被箭射中大腿，当即昏死过去。张琼醒来时，见箭镞自大腿入骨，无法拔出，就叫手下拿来酒杯一只，痛饮之后，凭借酒力拔箭破骨而出，伤口血流不止，而张琼神色自若，这使宋太祖又感激又钦佩。对于宋太祖来说，这是一幅记忆深刻的画面，而当他做了皇帝，对禁军进行人事调整时，就很自然地想起了张琼，于是他把自己的弟弟，原来担任殿前都虞侯的赵光义调任开封府尹，由张琼出任殿前都虞侯。宋太祖对朝臣说：“殿前卫士如虎狼者不下万人，非琼不能统制。”联想到张琼借酒拔箭之勇，这种评价是有根据的。
另一个重要的任命是对刘光义的任命，宋太祖让他出任侍卫马军都指挥使一职。刘光义也是宋太祖军中义社的十兄弟之一，原是后周郭威帐下的一名小卒，后周广顺初年，补内殿直押班，由于跟随后周世宗皇帝柴荣征战淮南有功，被升为禁军将校。及至宋朝建立之初，他已是龙捷右厢的中级军官。刘光义处事小心谨慎，颇为听命，因而受到宋太祖的赏识。再一个被重用的中级军官是崔彦进。他是河北人，宋太祖让他出任侍卫步军都指挥使一职。在后周时期，崔彦进也只是禁军东西班指挥使，到宋朝初年才被晋升为控鹤右厢指挥使。崔彦进是一员优秀的战将，作战英勇，足智多谋。他不但在后周时多立战功，而且在宋太祖平定李筠和李重进叛乱中也立下了汗马功劳。但他有一点不好——好财，喜敛珍宝。因此，宋太祖对他评价说：“彦进频立战功，然好聚财货，所至无善政。”禁军中的五个最高军职空缺，使禁军在体制上有了显著变化。由于剩下的殿前司、侍卫司各安排了两位新提拔的军官，这样禁军领导班子的实力就大为削弱。禁军是一支强大的军队，但除了宋太祖之外，没有一人能统率得了它。这样做的结果，并不仅仅在于宋太祖本人对军队取得了绝对的控制权，而在于它开创了一种体制，即从此使军权绝对集中于一人，即能够统率这支国家军队的只有专制独裁的封建皇帝，皇帝有指挥国家军队的绝对权。宋太祖的这一做法，表面上看来很软弱，实际上却是一种很强硬的手段。禁军的兵力、战斗力并没有因此降低和削弱，而只是除了皇帝外，其他人谁也不能再统率禁军了。战国时期的军事家孙子说过：“将帅好比是国家的辅车，将帅和国家的关系如同辅车相依，如果相依无间，国家一定强盛；相依有隙，国家一定衰弱。”其实，这里所说的将帅和国家的关系，是指将帅和君主的关系。在封建专制社会里，“朕即国家”，也就是说君主代表国家，军队关系到封建帝王权力的存亡，而作为中央军的禁军，自然必须牢牢控制在帝王手中，所以，宋太祖对禁军抓得很紧。把禁军的四位头领特别安排成自己信任的人，而且是最为听话的低级军官来担任，这样，他才能和禁军成为车辅关系。分禁军为三衙，由三人分享统帅权将原来的侍卫亲军司一分为二，分别是马军司和步军司，再加上殿前司，合称三司，又称三衙。三衙的长官分别统领所部，并直接听命于皇帝，这样，以前由一人统帅禁军的状况彻底结束，由三个人来分掌一个人的职权，就大大削弱了禁军将领的统兵权限。石守信等高级禁军将领被解职后，宋太祖乘机将此职位空置不设，或任用才德平庸之人暂时摄领。因此，禁军中的殿前都点检、副都点检被撤除，由韩重这个既无战功又无文才的把兄弟担任殿前都指挥使一职；侍卫亲军司的正、副马步军都指挥使长年空缺。后来，宋太祖又进一步加以改造，设立三司(或三衙)，即殿前司、侍卫马军司和侍卫步军司，三司由各自的都指挥使统领，互不联系，他们由皇帝一人统一指挥和辖制。三衙的统帅，只分管各司的训练，而没有指挥权和调度权。新设的枢密院，只拥有调兵权，而没有统兵权。遇有战事，朝廷另派将领临时担任统帅，指挥各军。这样，长期以来困扰统治者的军权症结就迎刃而解了。设枢密院掌控调兵权三衙统领禁军，只负责日常训练。枢密院作为新设机构，主要负责“天下兵籍、武官选授及军师卒戍之政令”，专门负责调兵。这样，即使派出一个士兵，也需要有枢密院的兵符作为凭证，然后三衙才能将士兵派出，而派出的士兵又由临时委派的将领统率出征。无论是将领还是掌握虎符的部门，都不可能拥兵自重，军事政变的基础和前提也从根本上被杜绝了。
