情势危急，需要赶快采取行动，此前一直忙于勘察上海附近地区地形的戈登上校此时奉命立即履职。戈登上任后，常胜军的好运气也似乎随之而来。戈登的第一战是进攻福山，在这里，“太平军的防守工事不太坚固，但后部和两翼的守军人数众多”。善于调兵遣将的戈登取得了完胜。防御工事被攻破了一个缺口，常胜军的袭击非常有序，守卫的太平军的抵抗微不足道，福山被戈登攻占。此役之后，李鸿章向清朝皇帝上奏推荐戈登，后者因此被任命为总兵清代的总兵官阶正二品，受提督统辖，掌理本镇军务，又称“总镇”。——编注，李鸿章此时已欣然认同了新任常胜军统领戈登的杰出军事才干。在向戈登少校通报升迁的信中，李鸿章写道：我已于4月12日自上海大营发出一份奏折，报请朝廷授予英国军官戈登以中国总兵的临时军阶，令戈登统领常胜军。我现已接到兵部的快报回函，称已将报请任命的奏折转呈恭亲王和军机处；5月9日，我收到了自恭亲王和军机处转递的如下委任令：
“戈登自接任常胜军统领以来，在多次战役中表现出智勇双全的才干，如今又奋勇其精神，力克福山。故此命戈登即日起为中国总兵，并由李鸿章向他宣布这项正式任命。希望戈登再接再厉，整肃已陷于涣散的常胜军军纪，戒除军中的种种不端行为，对此戈登要铭记于心。”
现转交上述任命，并要求即将履新的军官戈登恭领这道委任状。与此同时，被罢免的前任常胜军统领白齐文也没闲着。他去了北京并赢得了英国驻华公使弗雷德里克·卜鲁斯爵士的赏识，爵士向恭亲王再三举荐白齐文，建议让其官复原职。李鸿章得到消息后，也立即向总理衙门和恭亲王充分表达了他的意见。恭亲王随即婉言拒绝了卜鲁斯爵士的建议，称自己无权干涉地方事务，这完全是在李鸿章职权范围内的事情。对此，白齐文再次提出了抗议，他认定既然他的任命是由中央政府下达的，那么他只能由同一机构罢免。他还宣称，有关他与杨坊会面的消息完全是不实之词，并详细描述了这次会谈的细节。他写道：“我立即赶赴上海，但是，在我抵达上海后的第二天早上，我接到了一个冷冰冰的消息，杨坊不仅否认有过支付军费的承诺，而且仍旧坚持拒付军费。我随即赶到他的宅邸，随行的只有我的亲身护卫。虽然杨坊手下的买办转移了军费，但是我没有带兵强行闯入，也没有引起混乱，我的卫兵一直在待命。虽然我很清楚我将要对自己当时的举动负责，但在松江严重告急的情势下，我认为我的行动是正当的。我没有时间深思熟虑：军费就意味着常胜军的生存和欧洲军官们的性命。我已将从杨坊处得到的款项全部用做了军费，并且是在该款项到达松江后就立即这样做了。我唯一后悔的是，”白齐文补充道，“我不应该攻击杨坊。”
但正如前文所言，李鸿章想罢免白齐文的真正原因是他对于这个冒险家的怀疑。在李鸿章驻防上海期间，他有机会较多地了解外国人，这段经历使他善于分辨外国人的品行。他对白齐文并不信任，但在与士迪佛立将军和英国领事麦华佗爵士交谈之后，他相信经他们推荐的这位英国军官能够与他和谐共事并值得他充分信任。显而易见的是，在李鸿章结识戈登之后，他更加倾向于任命这名英国军官为常胜军统领。虽然在他们的毕生交往中，双方也曾发生过激烈的争执，然而，李鸿章一直以一种尊重而友善的态度来对待戈登。攻克福山、收复常熟令李鸿章更加相信戈登是一位才干出众的指挥官。因此，李鸿章更加强烈地反对白齐文复职。当英国副领事马安(Vice consul Markham)通知李鸿章白齐文已经得到了在北平的英国驻华公使的支持，并将在一名总理衙门特使的陪同下重返上海时，李给副领事回函道：现任常胜军首领戈登在上任后就立即向福山进发，他夜以继日地与其他军官一同为攻克福山而勤奋工作，他不惮风险，并亲临前线统军，一举攻克了壁垒森严的福山；在收复了常熟之后，又旋即回防松江，为彻底铲除叛军而辛勤备战；戈登以此证明了他的勇敢、干练和忠诚。我对此倍觉欣慰，并欲将他纳入自己麾下，为此我已上疏皇上，请求授予他总兵之衔。
我的奏折是阴历二月二十五发出的，三月初五我就接到了总理衙门的回复，称白齐文二月间在北京秘密接触美国公使团；他们在调查白齐文事件期间，接到美国公使的多封书信，说明白齐文已对自己的行为表示悔悟。他们也接到了英国公使强烈维护白齐文的来函，然而，他们仍然认为白齐文应该为袭击清政府官员并劫掠官银而接受大清律法的审判；考虑到英美公使都出面为白齐文担保，而白齐文本人也公开悔悟，他将被遣送回沪，接受上海最高军政官员的裁决，他们建议，对白齐文法外施恩，免究责任。总理衙门为此委派专员遣白返沪，但如何处理白齐文，最终将由江苏巡抚全权裁定。如果白齐文确实归沪，并表现出真诚的悔过，抚台大人也可能从轻处理。
若是大清子民犯下白齐文这样的罪行，他早就被逮捕了，并会被处以严厉的刑罚；但由于白齐文是外国人，考虑到他可能对清朝的律令不太了解，而且他曾为大清效力而负伤，我们如今对他予以宽大处理。白齐文在京辩诉期间，多国公使为他辩护，总理衙门授权我全权处理此事，但并没有直接命令我让白齐文官复原职，以上几点，加之白本人也承认了他的过错，使我重新审视对他的看法，并决定给他一个弥补过错的机会。
在白齐文指挥常胜军期间，军费开始从未稳定在一个定数上；白齐文统带的军队纪律涣散，拒不服从军令，扰乱一方治安，为祸百姓；杨坊曾为白齐文远征南京筹措了9万余两白银，然而白齐文草率地花掉了所有这些军费；他谎称杨坊仍然亏欠他军费3万两白银，使得布政司吴煦和上海道台杨坊因此受到牵连而降级。鉴于白齐文以上的种种行为，我无法让他官复原职，否则我将再度面临无意义的高额军费以及潜在的危机。
戈登少校上任后，立即投入精力整顿军纪，尽管只有一个月的时间，但他成功地让常胜军重新建立了严整的军纪。地方官员和百姓都感谢他，这支重获战斗力的军队就是他给予朝廷的回报。常胜军现在拥有合理的编制，勤奋操练；特别值得一提的是，我确信，戈登所做的一切努力都从节省军费出发，很显然，他充分理解目前的局势；他已做好远征的准备，他的属下乐于服从他的命令，并保持严明的纪律。因此，我不能无故免除戈登的职务。
此外，我担心白齐文将返沪复职的消息一旦公开，军政各级官员都将感到被辱，不会安心，因此我认为最好是将总理衙门的信和我对白齐文的处理意见一起公布，这样有助于安抚戈登，让他继续尽心尽力为朝廷效力，其他官员也不会过多关注这个消息。
因此，这封信附上我上疏朝廷的奏折复件，并请转告戈登，他可以一如既往地与中国同僚通力合作，等候我的进攻命令，不必理会谣言，不要懈怠；白齐文任职期间有些军官已被遣散，他们在松江散布流言，在上海激起种种怀疑和抗命行为，为此我已致信士迪佛立将军，一经查实，这些军官将被逮捕和驱逐，以此严明军纪。总理衙门出于对外国侨民的尊重，已将白齐文一案转交我处理。我会秉公审理，不会因为个人意见而偏袒任何一方，我办案首先要考虑如何做对常胜军是最好的，如何处理才能不损害国家的利益。戈登如今尽忠职守，我无法罢免他；若他今后不再忠诚地为朝廷效力，我会再另择其人。现在，我已下定决心任命戈登为常胜军首领并将此决定禀报给总理衙门及皇上，并告知戈登少校；现在我专门致信通知你，相信你也会向戈登传达我的决定。
在回函中，李鸿章强调了以下事实：戈登继任后立即致力于收复福山，并能与中国将领和谐相处，共同为朝廷效力。这些事实以及来自京城方面的有力支持坚定了李鸿章的决心。毫无疑问，李鸿章的意见是正确的，接下来发生的事情再次验证了他的决定有多明智。李鸿章认为这个阶段的主要军事目标是从太平军手中收复苏州，然而，在此之前，他们有必要先攻克太平军防守森严的昆山。昆山扼守太仓到苏州的干道，具有重要的战略地位，戈登与李鸿章协商，决定要首先攻克昆山。但在行军途中，一个突发事件迫使戈登转而向太仓进发。此前李鸿章一直在与太仓城中的一些太平军将领秘密接触，并以为他们答应献城归降。因此，李鸿章派遣他的兄弟率领一支2000人的淮军前去接应。为了完成诱降，李曾多次与这些有意归降的将领秘谈，与他们互赠了很多贵重的礼物，并承诺他们归降后将加官晋爵。
在约定好的日子(4月26日)，这些太平军将领打开城门，放入1500名清兵。然而，他们入城后就没能再前进半步，而是被关在狭小的空间内成了俘虏，1500名清军中有300名被当场斩首示众。戈登听到这个消息后立即向太仓进军，对昆山的进攻被暂时搁置。常胜军不会忘记不久前在太仓遭遇的惨败，如今太平军使出的这条诈降的诡计更激发了常胜军争取胜利、一雪前耻的渴望。在炮兵的配合下，戈登带领着2800名步兵成功地破坏了一段城墙，但守军仍然顽强抵抗，戈登的兵士一度被击退。戈登很快下达了第二次进攻的命令，这次的攻击更有效，入夜后戈登率领的常胜军已攻入太仓城。
攻克了这个战略要地之后，欧洲士兵们和中国军队并肩作战时不可避免的一幕发生了。守卫太仓城的7名声名狼藉的叛军首领被俘，戈登将他们转交给一位中国将领处置。我们不清楚这名将领是否向李鸿章请示过如何处置这些战俘，但是，很显然这几名战俘随后所遭受的极不人道的待遇是在李鸿章的默许下实施的。东西方在惩罚这一问题上的观念差异是如此之大，以至于人们几乎无法在同一个价值体系中对此加以评判。
下面的酷刑在中国并不罕见：清军将领下令将俘虏绑在柱子上，把一支支箭插入他们的身体，从他们身体的各处剥下他们身上的皮，让他们以这种状态示众至太阳落山，然后砍掉他们的头。清军将领严酷的命令被一丝不苟地执行了，其野蛮程度引起了在华欧洲人极大的反感。维多利亚大主教(Bishop of Victoria)号召约翰·罗素伯爵谴责这一暴行，上海的多家外文报纸也详细描述了这一残酷的刑罚到底有多么野蛮和恐怖。有些描述可能略有言过其实之处，但无法否认的是清军方面现场目击者的证词是多么不可信：他说虽然每个俘虏手臂上的皮都被剥了下来，身体的不同部位又插着箭，然而这些受刑者“看起来并不怎么痛苦”。
所有这些指责没有对李鸿章产生实际影响。他很难理解怎么会有人关心被俘叛军所遭受的痛苦。这些严酷的刑罚在他看来是天经地义的，符合传统的道德规范。我们无法就此断定李鸿章天性冷酷；尽管对于他和多数中国人而言，生命本身的尊严似乎没有多少实际意义。据说，在他担任直隶总督期间，有一个受指控损坏了电报线的犯人被带到他的面前。犯人痛哭流涕，再三保证不会再犯。“别着急，”李鸿章说道，“我保证你不会有机会再犯了。”然后，他转头向狱卒下了一道简短的命令：“砍了他的头。”在处置战俘这件事上，李鸿章表现出丝毫不在乎叛军命运的冷酷，接替士迪佛立将军指挥英国驻上海军队的伯朗将军就此专门到李鸿章的大营提出过抗议，并直接表明如此不人道的事件若再次发生，他将不得不撤回所有在清军帐营中效力的英国军官和士兵。
