其实，华野略作后撤，这是粟裕根据毛泽东的指示，将“打黄阻援”转为“围黄打援”，为了诱敌而消灭邱清泉和李弥，为了麻痹敌人而有意采取的一个手段。就是利用邱清泉和李弥一心想通过大许家一线靠近碾庄的心理，有意后退一点，放邱清泉和李弥向东深入至大许家一线。与此同时，将已被包围的四十四军、一○○军和二十五军先行歼灭，暂时留下敌兵团部和碾庄东南的六十四军。等到邱清泉和李弥到达大许家一线之后，由早已准备在徐州东南方侧翼的苏北兵团等5个纵队向北插入，切断邱清泉和李弥的后路，对其实施两面夹攻，让华东野战军将黄百韬、邱清泉、李弥这三个已经被我打残的兵团全部消灭。由于我苏北兵团已经在11月17日与敌七十四军在潘塘地区接战，而邱清泉和李弥在遭受我强有力的阻击之后，冒险前进的可能性已经不大，这个计划才未能实现。可是，无论是在徐州的刘峙和杜聿明，还是在前线的邱清泉和李弥，他们一直都未能发现我军差点就把他们的三个兵团一锅煮的这一计划。
就在徐州和南京吹吹打打“庆祝胜利”之时，11月19日上午10时，粟裕下令向黄百韬兵团发起总攻。在前线负责具体指挥的谭震林和王建安早已做好了部署，鉴于敌人的守卫范围已经很小，所以决定首先夺取碾庄敌人的兵团指挥部，把敌人完全打乱之后再行分割消灭敌二十五军和六十四军残部。谭震林和王建安命令八纵以一部钳制碾庄以东的六十四军，主力则由碾庄东南向西北方向进攻，直取碾庄的敌兵团司令部；九纵则由南边向北进攻，目标也是碾庄的敌兵团司令部；四纵则从碾庄西北边和西边向碾庄发起攻击；十三纵和六纵集结于碾庄西边和西南边，作为预备队。同时决定，各纵队的炮兵统归华野特种兵纵队司令陈锐霆统一指挥。
号令一下，我围攻碾庄的各纵队大炮一齐开火，对敌军实行了连续30分钟的猛烈轰击。为了在敌人高密度聚集的情况下尽可能多地杀伤敌人，为了减少我军发起进攻时的伤亡，几万发炮弹倾盆大雨一般落在敌人的阵地上。鉴于碾庄一带敌人已经修筑了相当坚固且形成体系的三道工事，我们的炮兵在经过周密的调查研究之后，也改变了过去分散配置、直接瞄准的方法，而是将火炮集中，进行纵深梯次配置：榴弹炮群专门破坏敌人的指挥系统和通信枢纽，压制敌人集结的有生力量；三八式野炮群专门破坏敌方的高物体目标和压制射击；山炮群直接摧毁敌人的各种明堡和暗堡；迫击炮摆在最前沿，专门压制敌人的散兵和后续梯队，消灭死角。在先进行破坏性射击之后，再进行逐次延伸，支援纵深部队战斗。
黄百韬的炮火被压住了，他只能请求徐州的空军立即出动。可是在碾庄地区方圆十公里之内，全部被地面炮火所形成的浓烟所笼罩，空中不可能看清楚地面的目标，只得凭过去飞行时的经验估计着向下投弹。
由于这时敌我双方的距离已经很近，所以国民党空军的轰炸既对我军造成伤亡，也对国民党军队造成伤亡。如果说这次规模不小的轰炸真正对我方造成了一些损失的话，应当是使我方的大量支前民工受到了一些伤亡。
在我军的猛烈攻击之下，黄百韬实在招架不住了，只得向徐州求援，电报中甚至说出了若无紧急援救，就只好“来生再见”之类的话来。刘峙和杜聿明得到黄百韬如此的求援电报之后，不得不采取最紧急的措施。鉴于从西向东援救黄百韬兵团的邱清泉和李弥兵团已经打了8个昼夜，第一线部队已经伤亡过半，根本没有什么突击力量了，只有把由徐州“剿总”直属的原来作为总预备队还能投入战斗的七十二军和有一定突击力量的战车团拉上去做一次试验，看能不能对援救黄百韬起一点作用。七十二军军长余锦源认为向前突破十几公里不会有多大困难，竟然夸下海口，表示“大许家离碾庄只有15公里，大炮炮火已能相接了，我可以一连打下几个村庄，打过大许家，单刀直入，解黄百韬之围”。战车团团长赵志华也认为他的装甲车对付解放军没有问题，竟说出了“如果步兵跟不上，我的战车团也能单独打到碾庄圩去”的狂言。
刘峙和杜聿明虽然知道这些豪言壮语只能先听了再说，但是抱着试一试的态度，还是以很诚恳的态度将这两个部下送上了战场。可是，这两个只能说大话的将军用尽全力打了一天之后就败下阵来，因为他们在空军的配合下，实行战车与步兵协同作战的结果，是连大许家也过不去，更不说接近碾庄了。
在大炮的轰击之后，华野指战员向顽抗在碾庄、小芽庄、尤家湖、吴庄、沙滩、王家庄、小院上、大院上等8个村庄中的敌人发起了冲锋。
八纵、九纵的目标是黄百韬的司令部所在地碾庄。战士们面前的障碍有地堡和鹿寨，有三道土墙，还有一排排用载重汽车组成的钢铁防线。最麻烦的是那围绕村庄的五六米宽的水濠。爆破组先上，浮桥组跟进，很多战士都是脱下棉衣棉裤蹚水过濠，过濠后就在寒风中向前冲，穿着湿漉漉的单衣和敌人拼刺刀，一步一步地前进，一间房一间房地争夺，我八纵和九纵终于拿下了碾庄。在我军进入碾庄之前，黄百韬在他多年的直属部队二十五军副军长兼碾庄警备司令杨廷宴等人的保护下逃到了大院上。在大院上，当黄百韬得知他的老部队二十五军军长陈士章竟然准备化装成老百姓逃跑，六十四军军长刘镇湘准备穿上将官大礼服、挂上勋章自杀“成仁”时，决定拼死一搏，拿出他的最后一张牌，让军队中最反动凶残的特务武装青年突击队组成敢死队向我军反扑。可是，在我军英勇无比的战士面前，青年突击队的反扑也被打垮了。
当碾庄被我军攻占之时，其他村庄也纷纷落入我军之手。最后，只剩下大院上和尤家湖两个村庄还在敌人手中。大院上是六十四军军部所在地，六十四军在负隅顽抗时曾经向我军使用催泪性毒气弹，等到我军指战员中毒倒地后再将我军指战员杀害。这种毒辣的犯罪手段在整个解放战争中都是少见的。
在黄百韬兵团即将覆灭的前夕，我军曾经向黄百韬发出最后通牒，要他放下武器，向人民投降。黄百韬拒绝了。21日黄昏，我军向大院上和尤家湖发起最后攻击。激战到次日凌晨，大院上、尤家湖的残敌全部被我消灭。
在黄百韬兵团即将覆灭的前夕，杜聿明在21日也曾给邱清泉和李弥下过死命令，要邱、李两兵团必须不惜一切代价，全线出击，越过大许家，救出黄百韬。可是，邱清泉和李弥这两个久经沙场的人心中都很清楚，几天的较量表明，他们不是华东野战军的对手，他们要想突破阻击线已经是不可能了。他们或许可能再往前推进一点，但如果继续亡命东进，距徐州太远，他们的后路就很可能被华野的苏北兵团抄后路，截断其退回徐州的后路，这就意味着他们也会被包围，成为黄百韬第二。所以，他们只是应付式地发动了几次实际上没有任何作用的进攻，只是让黄百韬多听了一些从西边传来的激烈枪炮声而已。
当我军发起攻击之后，敌六十四军军长刘镇湘劝当时左腿已经被我军的炮弹炸伤的黄百韬设法突围。据刘镇湘回忆，黄百韬对刘镇湘说了这样的一段话：“我老了，而且多病，做俘虏我走不动，而且难为情。
我牺牲以后，使别人还知道有忠心耿耿的国民党人，或可使那些醉生梦死的人醒悟过来，国民党或许还有希望。你年纪还轻，尚有可为，希望你能突围出去，再为党国做点事。”但是，求生的欲望仍然刺激着他。
