桓温又继续辩白道：“晚辈确实没有造反的意思，全是被朝廷逼的，就是想动作一下，让朝廷看一看！”
叶枫继续骂他：“身为都督六州军事，活了这把岁数，梨树下别摘帽，瓜地里别提鞋，这个道理还不懂吗？你以为是好心，好心不一定办好事，别人还以为这是造反呢？”
桓温听到这里，只好说：“晚辈错了，晚辈错了还不行吗，这就退兵回江陵。”
恰在这时，会稽王司马昱也给桓温来信。信上说：“北伐还不到时候，应该‘思宁国而后图外’，你现在好好地管理着国内的事情，至于北伐的军事，朝廷自有安排。现在没有朝廷的允许，你就调兵到武昌，容易引起别人的非议。望将军深思熟虑，切不要做出于国家不利的事情。”
桓温好好安排送书人，并且即刻回信一封，信上说：“桓温是东晋的臣子，当然坚决服从朝廷的旨令，王爷的话更是要听。臣下此次率军东来，主要是北伐扫灭后赵和大魏，历年来多次要求北伐都是为国家着想，自己并无私心。领兵东下，臣下实在有些鲁莽，这就率军回到江陵。”
于是，桓温逆水而上，从哪里来的，又回哪里去了。
朝廷还是实行了“巴掌加甜枣”的策略，给桓温升了官，提升到太尉。但是桓温本没有想到要做多大的官，他的志向仍然是北伐。
这下子，终于解除了桓温率军东到武昌的危机，殷浩赢得了本应该属于桓温的北伐机会。永和八年（352年），殷浩自寿春（今安徽寿县）率晋军北伐。这时候的他，统率着八万之众，志满意得，傲视天下，全身披挂，好不威风。谁想到，刚刚骑上马，就从马上摔了下来。
人有失言，马有失蹄，这也没有什么。殷浩刚刚被侍卫扶上了马，战马颠了两步，他又从马上坠落下来。官兵们这才知道，原来堂堂的都督五州军事大元帅，竟然连马都不会骑。
这在冷兵器时代，是多么的可怕，一个连马都不会骑的主帅，还怎么领着将士冲锋陷阵，与敌人厮杀？这个消息传遍了全军，人人的心里像被泼了一盆凉水，心里冰凉冰凉的。
殷浩的目标是进攻许昌、洛阳，虽然他自己不能冲锋陷阵，但是可以动嘴，命令淮南太守陈逵、兖州刺史蔡裔为前锋，向许昌发起进攻。在东晋将士的勇猛进攻下，后赵的张遇终于在许昌被迫投降。
但是殷浩看不起张遇，说话多有冒犯，军事上也没有把张遇及时地从许昌调出。张遇一看，殷浩原来是这么个人呀，又反悔了，在许昌据城叛变。
殷浩没有办法，只好带领降将姚襄一块儿向许昌进攻。谁想到，带兵打仗和卖嘴皮子完全是两码事，竟然被张遇打得大败，只得退回淮南。
这个姚襄本来是个羌人，有很高的名望，后赵灭亡以后，是随着父亲姚弋仲来投降东晋的。对待这样的人，非得万般小心才是，但是殷浩哪懂得这些，高高在上，趾高气昂，说话行动多有得罪。光骂骂人也就算了，殷浩还派刺客刺杀姚襄，说来搞笑，刺客没有刺杀成功，还向人家吐露真情。姚襄也算个奇人，不但不记仇，还待他如朋友。
一看刺杀不成功，殷浩又派将军魏憬率五千多人去袭击姚襄，搞窝里斗。又出现了戏剧的一幕，魏憬没在袭击成功姚襄，却让姚襄杀了自己，并吞并了所带的军队。
殷浩一看横竖是治不了姚襄，又出一计，原来姚襄镇守谯郡，殷浩又臭嘴一张，要把姚襄赶出谯郡，迁到梁州（陕西汉中），后来姚襄苦苦哀求，才没有迁成。
再加上魏憬的子弟常在姚襄跟前转悠，这叫姚襄心里更是害怕，以为是来复仇的。姚襄有些部下，也不想跟着他干了，想归顺殷浩。而姚襄听说，干脆杀了他们，使两边的矛盾越闹越大。
永和九年（353年）冬天，殷浩率领七万大军，再次大举北伐。在没有处理好和姚襄的矛盾时，还把姚襄派为前锋。姚襄兵权在握，正好反叛，于是反戈一击，向着殷浩大军杀来。这让毫无准备的晋军一下子面对如此凶悍早有准备的叛军，顿时大乱，很快崩溃。
殷浩胆怯，丢下辎重，退守谯郡，器械军粮尽为姚襄所夺。士卒死伤、叛变投降者不计其数。殷浩又派多员大将攻打姚襄，没有杀掉人家，反而被姚襄所杀。这下子不禁让所有人糊涂了，究竟是殷浩北伐，还是自家人讨伐自家人。
这下子殷浩终于知道什么是“羞耻”二字，灰溜溜地下不来台。同样下不来台的，还有东晋的那个朝廷，忙活了多少年的事情，用了这么一个人，落得个人财两空的境地。
桓温看到这是个机会，如果不扳倒殷浩，自己永远没有北伐的机会，于是上奏疏道：“自羯胡衰亡以来，中原大地，群凶残杀不休，百姓涂炭，人人企盼官军去拯救他们。殷浩受命北伐，却无报仇雪耻之志，树立朋党，制造事端，终使仇敌大肆杀戮，奸逆蜂拥而起，华夏大地纷扰动乱，百姓困苦不堪。
“殷浩驻兵寿阳，却长期按兵不动，竭尽国库的资财、五州的人力，纠合无赖之徒，以求自强，封赏无定规，猜疑陷害无所顾忌。羌帅姚襄率部归顺朝廷，将母弟送入京城做人质，殷浩不但不予以安抚，使之为朝廷效忠，反而设计陷害，两次派刺客行刺姚襄，被姚襄发觉。姚襄迫于无奈背叛朝廷。
“祸乱丛生，自殷浩开始。又不能乘势扫荡敌寇，放纵无能小人，施行残害奸计，致使朝廷大军惨败于梁国，自身狼狈于山桑，舟车焚烧，辎重丢弃一空，三军粮草，反而资助了敌寇，精甲利器，更是武装了盗贼。天怒人怨，成为大众所唾弃的对象，所带来的灾祸，将危及国家社稷，这正是臣之所以起居失措、惶恐不安的缘故。
“只有主持正义，才能训导人民，只有赏罚分明，才能众心同一。臣恭请陛下上追尧舜时代放逐的法典，下鉴春秋时代目中无君的事例。倘若陛下宽宏大量，不忍心诛杀殷浩，也应将他放逐到边远荒芜之地。这样做虽抵消不了殷浩弥天的罪责，但可以使后人引以为诫。”
