后来，拒绝应召的谢安干脆隐居到东山，与王羲之、许询、支道林等一些名士名僧频繁交游，出则渔弋山水，入则吟咏诗文，挟妓优游山林，就是不愿意当官。世界就是这样，越不愿意当官越能引起人们的好奇，尤其是士族之间，更是这样。
当官多好呀，好处大大的，这个人不是“另类”又是啥？
当时，担任扬州刺史的庚冰也同样仰慕谢安的名声，他采用轮番轰炸的办法，让谢安不胜其扰，终于忍受不了精神上的折磨而做了官，但是仅仅隔了一个月就辞职回到了会稽。后来，朝廷又多次征召，谢安仍然予以回绝。
终于，朝廷也发怒了，对谢安做出禁锢终身的决定，后来经皇帝下诏才赦免。他的妻子刘氏眼看着谢氏家族的子弟一个个出将入相，光宗耀祖，只有谢安隐退不出，自然对丈夫的状态表示担心，劝谢安说：“大丈夫不应该如此。”
而谢安却掩着鼻子说：“不愿意沾染大粪。”
然而谢万的北伐失败，被贬为庶民，让谢家这个名门望族一下子丢掉了自己应该享有的威望抬不起头来。要是谢安再不出来，谢家就会大权旁落，从此再也无缘于权力的中央。
恰巧在升平四年（360年），桓温趁着谢家失势，邀请谢安担任自己帐下的司马，谢安面对着自己族群的失利，再也没有办法推辞这样的请求了。于是，谢安从东山走了出来，从此开始了他名扬天下的仕途道路，有人把这叫做“东山再起”。
由于谢安在桓温帐下当司马，自然而然地经常接触到叶枫，两人一小一老，年纪相差很多。然而叶枫很愿意和这个年轻人拉呱，愿意和他交朋友，二人又成了忘年之交。
就在谢安东山再起的第二年，升平五年（361年）六月，穆帝病死，年仅19岁，这不得不说是一个王朝行将末路的征兆。由于皇帝死时过于年轻，还没有后代来继承他的皇位，皇太后褚蒜子说，司马丕早就该登基为帝，他是皇室正统，没有人比他更适合当皇帝，于是司马丕登基为帝，是为晋哀帝。
这个司马丕原是成帝司马衍的长子，成帝去世后，本应司马丕登基，但中书令庚冰害怕其登基后失去权势，遂以司马丕年幼为理由反对，于是司马丕叔父司马岳登基。
司马丕登基的时候，已经20岁，按说已经到了成人的年纪。朝内重臣都对他寄以厚望，认为总比前几个皇帝尚未成年，就坐上龙椅强吧！不久，司马丕就单独将叶枫召进宫去，说有要事相商。
接到皇帝的召唤，叶枫急忙进入建康宫。苏峻之乱后，原来宫室皆焚毁，只能重修宫殿，建成的新宫叫“建康宫”。宫有五门，南面正中为大司马门，正对大城宣阳门，两门之间为御道，即全城的中轴线。
建康宫外围还有一名苑城，亦称台城，京都如有乱，则以台城为防御工事。台城内建有华林园，位于北部，风景如画十分优美，宫内王孙贵妃常到那里游玩。叶枫进了建康宫，在小太监的引领下，一直进入了华林园，华林园里有一座素净的小院，叶枫就被领到了那里。
叶枫心存疑虑，走在路上还想着，这个哀帝搞得什么把戏，要是军国大事的话，在宫里讨论就可以，何必偷偷摸摸？通过一条幽静的小径，旁边绿树成荫，芳草菲菲，白花盛开，争奇斗艳。进入了一间简单的庙室，叶枫一看，就见晋哀帝坐在一张红木椅上，闭着眼睛，面色苍白，昏昏沉沉。
叶枫一见大惊，皇帝这般年轻，按说不应该这个精神面貌啊。虽然自己年纪比他老爷爷还要大，但是君臣之礼不可荒废，急忙跪下叩头。“小臣叩拜陛下——”
见到叶太尉来了，司马丕顿时来了精神，一招手说：“叶太尉不必客气，免礼，免礼。”
叶枫是什么人啊，早就透过阴阳眼，看到司马丕似乎有病。心里不禁叹了一口气，司马家族，除了元帝司马睿活了47岁以外，下面的明帝、成帝、康帝、穆帝哪个年纪也不大，莫非这个哀帝又是个病秧子。
果然，没等叶枫问话，哀帝司马丕就说：“叶爱卿呀，听说，你已经活了107岁高龄，比元帝的年龄还要大，有没有什么长寿之法？说来听听。”
叶枫听了心里叹气，皇上贵为一国之君，难道把我叫了来，就是拉这些闲呱的。你有这份闲情逸致，我却没有赏花心情，稍微拉了几句养生之道，接着问道：“臣下看陛下精神不好，是不是这两天不大舒服？”
司马丕点了点头：“太尉好眼力，这几天，朕正在辟谷。”
叶枫一听，大吃一惊，所谓辟谷，又叫断谷，就是不吃粮食，这是道家的养生长寿术。但是叶枫是后代人，绝对不信这些东西，只得说：“陛下的建康关系到东晋的社稷安定，切不可以听信道人谣言。汉初张良体弱多病，便学古代仙人，在山中辟谷不见客，吕后嫌他自找苦吃，逼他吃饭，才帮助刘邦打下天下。
“再说陛下见辟谷能长寿的，世上又有几人？从生理学上讲，人的小肠里需要营养储存，才能供给身体各个器官的需要，如果没有各种食物的补充，那身体的各个器官会迅速衰竭。饿久了叫营养不良，要是再治这个病，难了，弄不好要死人的。”
司马丕反驳叶枫说：“虽然人不吃饭不能活，但是有一物能代替，那就是食月之精，可以长生，食星之精，上升太清。”
叶枫心里好笑，问道：“陛下吞食日月星辰之精华，解饿吧？”
司马丕说：“先上来不管事，但是后来好多了，已经感觉不到饥饿。”
叶枫纠正他说：“那不是好多了，实在是严重了，饿到一定时候，已经感觉不到饥饿，根本体会不到食物的鲜美。”
