这个时候，叶枫又来到了桓玄的宫中。
时间已经小晌午了，马上就要到中午，而桓玄还没有起床，搂着两个嫔妃睡觉。而就在他的宫外，还有三个嫔妃在等待着宠幸。叶枫见了连连摇头：“色是刮骨的钢刀，就算桓玄才三十五六岁，也搁不住这样折腾。要知道这小子不成器，还不如当初不救他，叫他早早地死在前燕苏山手里。”
再后悔也晚了，叶枫只得耐心等待。
直到过了中午，桓玄才揉着睡眼惺忪的眼睛起床，见到叶枫，尽管自己是皇上，也得敬着叶枫三分，赶紧恭敬地说：“叶老来了，请赐座，上茶！”
叶枫就算是他的爷爷，皇太爷的义父，那也得下跪，行君臣之礼。叶枫赶紧跪下，连呼三声：“万岁！万岁！万万岁！”才说：“打搅陛下好梦了，请恕罪！”
桓玄也大度地说：“朕不怪你，快快请起！叶老，不知见朕有何事，但说无妨！”
叶枫只得说：“臣在看书，忽然看到一段，蛮有意思的，就到陛下跟前来卖弄一番。”
桓玄看到叶枫挺高兴的，而自己搂着嫔妃睡觉也厌倦了，笑了笑说道：“就请叶老讲一讲，我也好分享一下。”
叶枫就把商纣王荒淫无道，终于使商朝灭亡的故事讲了一遍。
桓玄挺精的，笑了笑说道：“叶老不是说我就是商纣王吧，把桓楚大好的天下给葬送了。”
叶枫摇了摇头说：“不敢，不敢，老夫只是讲个故事。其实商朝灭亡，也不能光怨纣王，皇宫那么大的大染缸，别说纣王只是个一般人，就是二般人也受不了啊！至于陛下怎么认为，那就是陛下的事情了。”
桓玄想了想，问道：“叶老啊，不知道天下是怎么说我的，都有些什么动静？”
叶枫反问他：“看在先父的面子上，我才来走一趟。陛下愿意听真话呢，还是喜欢听假话？”
“朕当然愿意听真话。”
叶枫就把当前的危急形势讲了一遍。桓玄问：“有没有什么破解的办法？”
叶枫说：“冰冻三尺，非一日之寒，当事者迷，旁观者清。这个世界上，只能自己救自己，指望别人是解决不了问题的。”
叶枫说完了这些事，打了一个哈欠：“老夫困了，要回去睡觉。还请陛下继续享乐吧！”
说完话，匆匆而去。
桓玄琢磨了一番叶枫的话，叹了一口气：“不当皇帝的时候，想着当皇帝，可当上了皇帝，天下的人几乎都在骂我。皇帝难当啊，真还不如不当。事已至此，不管南北与西东，还是由它去吧！”
永始元年（404年）二月二十七日，刘裕等人正式举兵起义，顺利地夺取了京口和广陵，镇守两地的将领皆被起义军杀死。广陵离着建康也就有80公里，京口离着建康也就有60公里，算是建康的东大门，转眼之间就杀到了竹里。
桓玄一看刘裕打到了家门口，大惊，急忙派桓谦为征讨都督，率大军迎敌。桓谦对桓玄说：“我众敌寡，应该主动出击，请陛下派军队，狠狠地冲击他们一下。”
而桓玄却说：“别看刘裕的兵少，却全是北府兵，久经战事，硬打怕是占不到便宜。我看不如在覆舟山列阵，这个地方北依玄武湖，东有钟山，后有坚城，依靠良好的地形，避其锋芒，以守为攻。时间一长，刘裕占不到便宜，自然会退兵。”
不过，桓谦却要坚持出战，对桓玄说：“如果我们被动防守，刘裕的人和朝廷上下就会认为我们怕他，人心涣散。只有我们主动出击，才能打垮他，重新显示朝廷的力量，聚拢起全国的军心、民心。”
桓玄还是有点怕桓谦的，因为他是自己的叔叔桓冲的次子，于是只好点头同意，派了顿丘太守吴甫之和右卫将军皇甫敷主动出击。不过，二人率领的军队和刘裕的兵马一接触，即被刘裕打败，二人皆战死。
首战不利，桓玄大惧，没有办法，只好在覆舟山列阵坚守，当时的兵马共有二万，远远超过刘裕的兵马。刘裕蛮精的，命令弱兵登山，持着旗帜从多路行进，营造四周皆有士兵的假象，让官军总认为义军比朝廷的兵马多出不少。
桓玄得到不真实的情报后，急忙令后方率军增援。然而，刘裕的兵马大多是北府兵出身，戎马半生，能征惯战，而桓玄的军队大多也是北府兵出身，面对同是北府兵的刘裕没有斗志。刘裕的战术则是灵活多变，又是疑兵，又是火攻，始终没占下风，竟然以少胜多，最终击溃了桓谦的军队。
在桓玄派桓谦抵抗刘裕的时候，他已产生了逃跑的念头，命部下准备船只，西逃到江州、荆州老窝。看到桓谦已败，再也不愿意待在建康这个地方，于三月二日与亲信西走。
桓玄当天没有吃饭，随行侍卫端着糙米饭给桓玄，作为皇帝的万乘之尊哪能吃得下。年幼的儿子桓升抱着他，小的安慰着老的，更让桓玄的心里无比凄凉。实在没有想到，真让叶枫说准了，当皇帝才四个月，怎么就成了这个样子，难道说，自己真没有当皇帝的命？
桓玄一行一直逃到寻阳，得到当地官员供给物资和军队，才勉强驻扎下来。又挟持晋安帝到江陵，在江陵设置百官，组成了和建康对立的小政府。又大修水军，不到一个月就有兵二万，楼船和兵器都显得很强盛的样子。
不过，桓玄就这个水平，人心失去了，很难再恢复过来。再加上他又急躁，法令实行不下去，就乱杀人，使人心更加浮动。
而这时的刘裕却依靠京城充足的人力和物力，以何无忌为主帅，率领水军逆水而上，攻陷湓口（江西省九江市），进占寻阳，然后与刘毅等一起西进。桓玄也从江陵率军迎击，两军于五月十七日在峥嵘洲（湖北武汉的新洲双柳地）相遇。
