到了故乡，朱元璋的任务进展得非常顺利，不时有人来投奔，其中最为著名的就是徐达。徐达比朱元璋小3岁，身材高大，性格刚毅，与朱元璋十分默契，正所谓故人相见，他为日后的朱元璋成就大业，做出了杰出的贡献。朱元璋在当和尚时给他送信、拉他“下水”的汤和此时已经是义军中的一名军官了，但由于非常钦佩朱元璋，不久也投到他的门下。其他比较著名的还有周德兴、郭兴、郭英、张龙、张温、张兴、顾时、陈德、王志、唐胜宗、吴良、吴祯、费聚、唐铎、陆仲亨、郑遇春、曹震、张翼、丁德兴、孙兴祖、陈桓、孙恪、谢成、李新、何福、邵荣，以及耿君用和耿炳文父子、李梦庚、郁新、郭景祥、胡泉、詹永新等人，这些人后来也成了朱元璋淮西战将集团中的中坚力量，并且绝大多数都被封为公侯，名留青史。他在10天的时间募集到了700多人，这支队伍用《皇陵碑》的文字形容便是“赤旗蔽野而盈冈”。朱元璋圆满地完成了任务。然后就带领着这批军队回到了军营。正在为兵力不足而苦恼的郭子兴大喜，原本有些冷冷清清，现在又可以浩浩荡荡了。之后，郭子兴升朱元璋做了镇抚，并把这700多人让朱元璋统帅，这样，朱元璋终于算是有了自己的一支军队，虽然少，却是家乡子弟兵，忠心方面绝对不成问题。如邵荣，打起仗来英勇善战，和周德兴等人一直跟随朱元璋出生入死，冲锋陷阵。古时候的将领对子弟兵的信任是一种迷信式的，他们经常把自己的子弟兵视为骨干力量，把所有的好装备、武器、配发给他们，而且赏赐方面也有偏倾。这一点楚汉争霸时期项羽的例子就是明证，项羽带领着8000子弟兵，一度势力达到顶点，几乎伸手就可以做天下的皇帝。而且当项羽垓下被围的时候，跟随着他的依然是他的那些江东子弟。然而在此时，朱元璋所招回的子弟兵却没有那么风光，不仅不能得到相应的装备，还要时刻防备着元朝军队的来袭。正是由于这种险恶的局面，才锻炼了朱元璋临危不惧、应付各种复杂局面的能力。濠州城里的气氛实在太令人郁闷，统帅无大志，整日勾心斗角。朱元璋认为彭赵孙郭等六七名头领死捆在一起，固守濠州一地，而又全都浅视寡谋、尔虞我诈、互不相让，长此以往，前途渺茫。因此，朱元璋决定从新募的700人中挑选出24名精兵强将，如徐达、汤和、吴良、吴祯、花云、陈德、顾时、费聚、耿再成、耿炳文、唐胜宗、陆仲亨、华云龙、郭兴、郭英、周德兴等，独树旗帜，另谋发展，开辟新的根据地，其余的人全交由郭子兴驻守濠州。至正十四年(1354年)开春，朱元璋征得郭子兴同意，决定南取定远。他先招募了一批人马，在进军途中接连获得了一连串的胜利。但是天有不测风云，在去定远的途中，朱元璋患了一场大病，只得中途返回，在濠州养了半个月，才略有好转。有一天，朱元璋正躺在床上休息，听见门外有人在叹息，过了一会儿又走开了。朱元璋问夫人：“好像是元帅的声音，不知为何叹气？”夫人告诉他：“听说张家堡驴牌寨有三千兵马，孤立无援，想来投降，又有些犹豫。父帅与寨主相识，认为机会难得，可又找不到合适的人去劝降。估计父帅是在为这件事而发愁吧？”朱元璋听罢，心想：募兵的效果虽然很好，但也存在着不利的一面。这些来自四面八方的人到此来参军，各有各的目的、动机，这样便会对纪律严格的军营有着不同的理解。那些想建功立业的人想的自然是杀敌立功，晋升官职。而那些动机不纯的人则只会抱着当一天和尚撞一天钟的想法，这后一种人对于艰苦的训练有抵触情绪。而且这些人刚刚加入军队，管理得再好，或者训练虽然有助于提高他们的技能，但是他们没有经过实战的考验，一时半刻不会在战场上起到什么大的作用，所以这就得需要有一定战场经验的老兵掺夹其中，达到“带兵”的目的。应该说，招降也不失为一招妙棋，因为凡是被招降的军队一般都是些占山为王的“山大王”级别的人物，这些人的军队长期与官军作战，自然有着丰富的作战经验，他们之所以能够在元军的打击和义军的夹缝中生存下来，也自然都有一套保全自我的招数，这是募集的新兵所不具备的素质，因此张家堡驴牌寨这帮人马，不能放过。朱元璋急忙来到郭子兴处，说明此意。
郭子兴听完朱元璋的一番话后，说：“我也想过这事，只有你去最合适，可你的身体还没有完全康复，怎能担此大任呢？”朱元璋说：“机不可失，时不再来。要是被别人招降，到时后悔都来不及了。”郭子兴见他态度坚决，也就同意了。朱元璋带上10个人上路了。当时是天气炎热的六月，朱元璋大病初愈，身体还很虚弱，没走多远就晕倒了。手下人劝他回去，他执意不从。就这样，走走停停，赶了6天，才来到宝公河边。河的对面就是驴牌寨营地。朱元璋带领一行人马准备求见这个驴牌寨的寨主。刚走到边界，忽然间，驴牌寨营中便排列出军阵。朱元璋身后的几个步卒见状十分恐慌，打算掉头逃跑，朱元璋一声喝令，说道：彼众我寡，你能跑到哪里去？他们只要纵马而来，哪个也逃不掉。你们不要怕，都随我前去，听我命令，见机行事。几个人才镇静下来。这时营中走出两个将领问话。朱元璋高坐马上，命人回说：郭子兴命我从濠州来，与你们主帅议事！驴牌寨的将领只允许朱元璋带一名侍从入寨。朱元璋并没有畏惧，他让其他人留下待命，自己带了费聚前往。在大寨的正堂里，朱元璋见到了寨主，说：“我家元帅与将军是旧交，听说将军粮草不济，别人想趁机暗算将军，特派我前来相告。希望将军能随我一同到濠州与我家元帅共举大事。不然就移兵他处，躲避一下。”这些话说得是不卑不亢，开门见山地为驴牌寨的主帅分析了当时的情况，刚柔并进中带着威逼利诱。言下之意：如果你想要投奔郭公，我们非常欢迎，如果一时半会儿不想投奔，也要防备被别人趁机攻打。寨主请朱元璋留下信物，说收拾好行装，过几天即去归附，让朱元璋先回去复命。朱元璋留下费聚等三人，自己带了其他人回濠州去了。谁知3天之后，费聚突然驰马来报，说驴牌寨主变卦了，准备把队伍带到别的地方。朱元璋当机立断，带上三百人马赶到驴牌寨，对寨主说：“我家元帅听说你被别人欺侮，要去报仇，怕你人手不够，派我率三百人马助你一臂之力。报完此仇，我们再一同去濠州不迟。”寨主对他的话半信半疑。虽然把朱元璋的兵马留下来，但防范很严。朱元璋见此计不成，又施一计。第二天早上，他让一个胆大的士兵向寨主报告说，寨中有两个兄弟与朱总管发生争斗，出了人命，请寨主去处理一下。寨主不知是计，被诓了出来。等寨主一到，朱元璋立即命士兵把他绑了起来，强行押离营地。走出十几里后，又派一个人回兵营传达寨主的“命令”，说大帅已在前面布置营地、让大家立即转移。3000名士兵信以为真，竟放了一把火烧掉了营寨，跟随而来。驴牌赛主见事已至此，木已成舟，想不投降都不行了，于是便归顺了朱元璋。郭子兴见朱元璋立了大功，把这三千人马划归他指挥。凭借着这手中的三千多人马，朱元璋又说服了另一个姓秦的把头，把他手下屯驻于豁鼻山的800名“义兵”收归到了自己名下。这样，朱元璋已经拥有了4000多人的队伍。在尝到了招降的甜头之后，朱元璋进一步把战争与招降紧密地结合起来，停中有打，打中有停，最终逼其就范。在打的时候，一半是为了消灭对方，同时也是为了动摇对方，而一旦停止进攻，则随即进行心理攻势，使得对方打则溃不成军，停则不战而溃，最终投向自己的阵营中来。在朱元璋收归降军、扩大实力的初期阶段，最具代表性的例子就是与缪大亨的一战。红巾军起义后，元朝的军队镇压不力，一些地方的地主武装纷纷结寨自保，称为“义兵”。元廷见缪大亨这支力量可以利用，便封以官爵，使其为朝廷卖命。缪大亨是当地的地主，曾经组建了一只军队参与攻打濠洲的战役。元军撤退后，缪大亨带了两万人退驻横涧山，占山为王。元朝为了拉拢他，曾封他为义兵元帅，又特意给缪大亨派去一个监军，督促缪大亨与义军攻打濠州。
为了获得缪大亨这支部队，朱元璋对症下药，一开始采取打的策略，派花云为先锋，奇袭横涧山。花云身长面黑，绰号“黑先锋”。花云马到成功，一举击败了缪大亨，元朝监军落荒而逃。缪大亨收拾残卒，待天明时列阵准备再战。朱元璋部下有人与缪大亨是朋友，朱元璋就派他去劝缪大亨投降。缪大亨见大势已去，投降了朱元璋，其部下7万多军民也成了朱元璋的部下，朱元璋的势力迅速扩大。朱元璋收编了这么多的军队，并没有沿用其他一些起义军将领们的办法去治理军队，因为一些起义军的将领军事素养不高，根本不懂得将兵领军之道，使得士兵的成分极其复杂，军纪不严不说，起义军将领还经常纵容士兵抢掠百姓财物，这还只是生活作风问题。而关键是这些士兵行军打仗一旦遭受到了挫折，就会一哄而散。这是朱元璋嗤之以鼻的，朱元璋采用训练士兵的方法来约束士兵。朱元璋从缪大亨那些招降的士兵当中挑选出了2万精兵，加上自己原有的士兵，再加上地方小武装，接近3万之众，亲自训练。在训话的时候，朱元璋对这些士兵们说：“你们以前与别人作战，并不是人数上不占优势，而是由于军纪不整，民心不在你们一方，军心不稳定，训练不系统，所以交战，必然会败下阵来。现在我严格训练你们，就是为了作战的时候能够勇敢向前，像一个真正的男子汉。你们必须服从命令，努力训练，当兵打仗要有立功受赏之志，要有建功立业思想，所以要万众一心，严训练，严守纪，知进止，奋力杀敌。在我这里当兵，赏罚是一定兑现的，拼力受赏，不进受罚，如有违抗命令，就要杀头。”在朱元璋的精心训练下，这2万多人的部队训练结果卓见成效。时间不长，这支军队就成了一支能征善战的队伍，屡屡打败元朝的军队，而且军纪严明，很少有扰民之事。朱元璋从招降的部队中看到，招降的部队虽然作战勇敢，但是其长时间养成的习性一时难以彻底改正。这种习性经常在战场上或者战后复发，害苦了老百姓，现在经过从严训练，赏罚分明的管理，部队的懒散作风已经大为好转了。朱元璋此时的情况就好比在聚沙成塔，而严明的纪律就像粘合剂一样把这些人聚集到一块，形成一个整体。可以说正是有着严明的军纪才使朱元璋的战斗集团从原本一盘散沙的杂牌军变成了有效的、能够合力对付敌人的王牌劲旅。朱元璋在募集及招降之外，还用了另外的一种方法：鼓励贫穷的劳苦大众参军。这种现象早在他第一次募兵时就已经显现出来了。这是他最早尝到扩兵甜头的老办法，也是最有效的一种办法。招收贫苦人参军，具有很强的针对性、特殊性。这主要是由于贫苦农民的要求不高，他们往往是为了糊口才来参军的，所以只要能有一口饭吃，就不会有过多的要求，他们本身也是贫苦人家出身，对于同样穷苦的百姓也不会产生骚扰之心，因而与那些有刁蛮、贼盗之习的人相比，这种兵员是最好训练、最好管理的。同时，由于这些贫苦农民生活在元朝社会的最底层，受到了最不公平的待遇，因此他们与元政府的仇恨也是最深的，在与元朝军队作战的时候具有很强的战斗自觉性，不需要动员就会极为勇敢地去杀敌。尤其是在训练方面，相比起那些招降而来的“兵油子”而言，这一部分出身贫苦的士兵在训练时也格外卖力。如此一来，一支能吃苦、守纪律、善作战的部队很快就在朱元璋的作战序列中出现了。招降缪大亨这场胜利引起了四方极大的震动，其他的一些地方小武装因慑于朱元璋的声势，也纷纷引兵来投。这一时期来投奔的最为著名的地方武装头目有吴复、冯国用、冯国胜、丁德兴等人，这些人或能征善战，或长于出谋划策，成了朱元璋的左右手。譬如其中的丁德兴，他刚一投奔过来就随朱元璋参加了一次大会战，带领着他的子弟兵攻破了敌人的寨子，活捉了头领，并且还招降了几千兵马。
