当时人们都认为，谢琰在此，必能安定地方。谁知谢琰到了会稽任职后，既不安抚士民，也不整顿军备。当时将领劝他说：“强贼在海上，已经在整顿军备，修整战船，说不定什么时候就要进攻我们。我们也应该好好准备了。”
谢琰却不以为然地说：“苻坚有百万之众，尚且被我们杀败在淝水，何况仓皇逃到海上的孙恩呢！如果孙恩再回来，正是天不容国贼，送死而已。”
隆安四年（400年）五月，孙恩率军突袭浃口（今浙江省镇海东南），一举登陆成功，直指余姚，攻破上虞，进至距山阴县以北仅35里的邢浦（今浙江绍兴市东北）。谢琰派军队出战，义军失利。数日后，义军再攻邢浦，打败晋军，乘胜向山阴进军。
谢琰只好亲自出战，被孙恩引诱到狭隘的山路，使官军不得不鱼贯而进，难以发挥步骑优势。而孙恩则发挥出他的军事才能，让水军沿着钱塘江逆水而上，在兵舰上猛烈射箭，大量地杀伤着晋朝官兵，水陆联合攻击晋军。
结果官军大败，谢琰和他的两个儿子均死于阵中。山阴之战的胜利，使义军士气大振，而官军则士气低落。朝廷陆续派晋将对孙恩的军队围攻堵截，使两军相持不下，不分胜负。十一月，义军终于战胜晋军，使朝廷军队连连后退。
朝廷没有办法，只得再派刘牢之都督会稽五郡诸军事，接替谢琰的位置，组织对孙恩的抵抗。
这个时候，叶枫领着叶武、叶虫和几个叶家军将领，前来会稽郡拜访刘牢之。
听到国宝级的人物来到，刘牢之亲自领着诸将前来迎接。老远就对叶枫拱着手说：“叶太尉啊，不知您老人家怎么来了？末将敢不诚惶诚恐，要来早来个信啊，我好到五里地之外迎接。”
叶枫和刘牢之早在淝水之战中结识，对他还是颇为熟悉的，对他的所作所为，有的认可，有的不认可。叶枫板着个脸，既不亲热，也不冷淡，一副不阴不阳的样子：“刘都督啊，还记得老夫。老夫却有些不认得你了……”
一听叶枫的话里有刺，刘牢之眨巴了一下眼睛，紧紧地拉着叶枫的手说：“不知哪里得罪叶太尉了，还请从实说来。”
叶枫带搭不理地说：“我吗，倒是没有得罪，得罪我倒也是个小事。倒是……倒是……得罪的人不少呀！把老百姓得罪了。”
刘牢之已经明白叶枫话里的意思，并不反驳，小心翼翼地牵着叶枫的手，把他拉到了会稽郡守大堂内，非要把叶枫让到郡守的座位上。叶枫虽在他的职位之上，却是不敢坐上这个座位，手一摆说：“你的座位，就要坐牢。老夫只是闲来无事，拉些私事儿。”
刘牢之还是挺会来事儿，叫手下搬来一张椅子，让叶枫坐在自己的旁边，这才坐在自己的座位上，对叶枫谦恭地说道：“我暂时坐在这个座位上，有叶太尉给我把着舵，心里踏实多了。”
他见叶枫板着个脸，并不说话，先给叶枫解释一下得罪老百姓的事儿：“叶太尉啊，有些事实属无奈，朝廷拨下的军费没有多少，所以有些时候不得不睁着一只眼，闭着一只眼，如果什么事都认真，当兵的谁还替你卖命。”
叶枫鼻子哼了一下：“所以就纵兵抢劫对不对？老百姓是什么，老百姓是水，我们是鱼，如果鱼离开水，哪里还能生存。要是这些关系理不清，哪里还能带兵打仗，就算暂时胜利了，民心失去，胜利也不会长久。”
刘牢之却是不以为然，头晃了晃，显然有些不服气的样子：“孙恩凶悍，我们必须比他更凶、更强，才能打败他。谢将军已经失败了，我不能学着他的样子，留有妇人之仁，再败在他的手下。”
叶枫也针锋相对：“谢将军之所以失败，不是因为妇人之仁，而是因为骄傲自满，不修军备，才导致了大败。你的这些分析错了。”
两人的意见相左，为着这些事争吵起来，虽然争吵，但也有说有笑，亦真亦假。叶武、叶虫都替长辈着急，但是自己的地位不到，乱帮腔，怕把事情搞砸。这个时候，刘牢之的部下有一员将领说道：“刘都督，我能不能说几句话？”
此话一出，刘牢之愣了一下，心话，我们两个人在说笑此事，你一个手下部将乱掺和什么，弄不好掺和瞎了。虽然心里有些生气，但是看到这是手下爱将刘裕，也就只好忍了，说道：“刘将军啊，有什么事你就说吧？”
叶枫看到此人，有三十六七岁，气度宏大、相貌奇伟，声若洪钟，一身正气，身高有七尺六七寸，感觉到此人必定是个人物。果然，他一说话就不同凡响：“刘都督啊，我觉得叶太尉说得极是。我们的军纪是松弛了些，这样不利于我军的声誉，怕是对以后战事有影响。”
刘牢之听了心里十分腻歪，你这个刘裕算哪头的啊！明明是我的将领，吃我的饭，却帮着叶枫说话，真是白养活你了。但是看在以前的战功上，只是对他白冷了一下眼睛，叹了口气，却没有说什么。
叶枫听了却十分高兴，自己明明和刘牢之争论问题，却得到了刘裕的支持，看来这个刘裕还行，不算个糊涂虫。而叶武和叶虫听了也是高兴，这个刘裕一句话，比自己说十句话都强，因为这是刘牢之的部下啊，是那一伙的。
不过这个刘牢之，脑子也算来得快，叶太尉不敢得罪，对这个刘裕，也是不敢交恶，毕竟是手下的一员猛将，还有许多地方要让他卖命呢！于是刘牢之嘿嘿一笑：“怨我糊涂，怨我糊涂好吗，以后还请叶太尉好好监督着末将，如果有什么地方做得过份，还请警告一下，末将一定改正。”
既然他认错了，叶枫也不好再说什么，这才说到了正题。问刘牢之：“刘都督啊，我们和孙恩的战争打了也一年多了，胜胜败败，却始终不能把他拿下，这是为什么？”
