反右之后，过了好些时间，陈今言的情绪才慢慢地有所恢复。日子进入了相对平静的一段时期。俩人在自己报社更是兢兢业业地工作，对政治问题再不敢发表什么意见，谈什么看法。在生活上和工作上因政治压力较大而显得胆小谨慎，事事拘束。有一次，方成出版的画册《王小青》获“中国人民保卫儿童全国委员会”一项二等奖，由宋庆龄副主席授奖。当他接到获奖通知后，去向华君武请假去领奖。他问华君武：“可以去吗？”华君武口气平淡地回答：“你随便。”就因为领导的答复只有这么简单的几个字，他就有点不知所措似的，没去领奖，而是请袁水拍顺便替他代领回来。并且在其后的一段日子里，内心都还忐忑不安的。其实当时华君武的答复并无任何倾向性，仅只是一句平常的简单的答复罢了。
方成在报社的工作量很大，他没有任何怨言。从1959年冬天到1966年夏天“文化大革命”发动之前，他的工作是很辛苦的。这段时间他改做前夜班，要紧跟新闻，每天创作一幅漫画。上班时间是从下午两点直到午夜。一上班，就查看国际新闻，包括看《参考消息》和《参考资料》，看新华社连续传来的新闻稿。到了晚上9点钟，便去国际部夜班编辑室参加编前会。待会上决定漫画题材后，他立即回办公室动笔创作，12点钟一定要送稿给领导审。审定之后，马上送去制版，第二日与新闻同时见报。
他后来说起这段时间的艰辛：“每天只用3个小时画一幅漫画，那是很紧张的。有时构思不成熟，急得头脑发胀，就跑到冷水管下冲洗一阵。用这种创作方式干了几年，也就习惯了。”
60年代初期，三年自然灾害把全国人民的日子都搞得很艰难，方成一家也一样，夫妇俩常为几个孩子的营养不足而发愁。不过，这毕竟只是物质上的困难，比起反右运动时那种精神上的压力，方成和妻子都觉得这已经不算什么大问题了。他俩积极工作，任劳任怨，再没有出什么差错，日子虽然非常忙碌，但一家人和和美美，总算过了几年平静的日子。
可是，树欲静而风不止，刚进入1966年初夏，方成家的平静日子就被彻底打乱了。
随着中共中央“5·16通知”的正式发表，史无前例的“文化大革命”在全国轰轰烈烈地展开了。《人民日报》、《北京日报》这样的意识形态的重要阵地，自然是要狠狠绷紧阶级斗争这根“弦”的，要“横扫一切牛鬼蛇神”的！此时，方成在《人民日报》的部门领导已不是华君武。华君武早几年就已调离报社，去中国美术家协会担任秘书长了。现在《人民日报》美术组的新组长是一个初学漫画的年轻共产党员，二十几岁年纪。组内其他同事也都是同样年轻的党、团员。这一年方成48岁，尽管从事漫画创作已多年，行政级别和工资也比他们都高，但因为他是一个非党员，自此，就像有“原罪”一样，他又坠入了被“造反派”实行“无产阶级专政”的深渊。
“文化大革命”开始不久，这些年轻的同事从1957年的报纸上查到方成发表的那篇杂文《过堂》，欣喜不已！这不是整方成的很硬的材料吗？于是这些被“革命无罪、造反有理”口号煽动起来的年轻人，马上采取“革命行动”，给方成扣上了“漏网右派”、“反动文人”的罪名，把他打成了“牛鬼蛇神”。那个年轻的组长带着一帮“造反”的人闯到方成的宿舍，瞪着大眼，狠狠地对方成说：“我们来抄家！”接着就闯进内室去翻箱倒柜，抄出一些书刊信件带走。然后就对方成开展多次批斗，把他押进专门关押“牛鬼蛇神”的“牛棚”里监督劳动，要他坦白交代“反党罪行”。
方成在反右运动中好不容易躲过的灾难，此刻，在“史无前例的文化大革命”中，终究还是没能躲过去。方成在反右运动中由于有“贵人相助”，幸运地逃过一劫，没有受太大的折腾。但这次“文化大革命”，他就没有那么幸运了。他再也没有什么“贵人相助”，就连“贵人”们也都被打倒在地，还踏上了一只脚。方成终于在劫难逃。
他的《过堂》那篇杂文被“造反派”从旧报中刨了出来，有此“反动”罪证，何须“过堂”？立即“判决”，先抄家，再批斗关押。转眼间，方成就成为了“阶下囚”，在北京郊区的“牛棚”里开始了被强迫劳动的日子。他在“牛棚”里天天劳动，一个月仅发15块钱的饭钱，没烟抽，有时他甚至捡地下人家扔掉的烟头来吸两口。方成的50岁生日都是在“牛棚”里过的。生日这天，也没有人来看他，他连一碗寿面都没有吃上，更不要说想有口酒喝了。
妻子陈今言也同样没有逃脱屡屡被批斗、辱骂的命运，还有一些人贴大字报诬陷她，攻击她，造她的谣，有些话说得很恶毒。随着以前解决她入党问题时帮助过她的北京市委副书记刘仁的被打倒，她也遭到了猛烈的攻击与批判，并被开除了党籍。接着，她也被押进北京日报社的“牛棚”监督劳动。
夫妻俩都被关进了“牛棚”，不准回家。有什么办法呢？方成那时候的心情是很颓丧，但还没有完全绝望，他想着还有希望能出去，所以就权当是“住监狱”吧。他们夫妻二人在各自单位搞的“牛棚”里，互相根本都见不着面。家里原来请的保姆在“文革”开初就为“革命形势”所逼，不得不辞退了。在“牛棚”里，方成格外惦记孩子，也惦记妻子，可是真没什么办法，只能徒然在心里惦记。妻子当然也一样，格外惦记孩子，又惦记方成。夫妻俩在“牛棚”里面都是天天劳动。方成还算个强劳力，种地、管水、砸夯、挑土、苫被呀，什么都要干。啥叫“苫被”？就是盖房子的时候要给那个房顶上先铺草，铺完草还要在草上压很多湿泥。那可绝对是要强劳力才能干的活，湿泥和草都要站在地面扔上屋顶去，那可真是要有一把力气才扔得上去的。他们“牛棚”里只有四个人有本事能干这活，被大家戏称为“四条汉子”。方成是这“四条汉子”之一。他后来说：“那个时候我也想开了，反正已经到这个地步了，你再想什么也没用了，所以我根本不管他三七二十一了，我就告诉我自己，去劳动，把身体练好！所以经过‘文化大革命’以后，我身体明显比较好。”
方成在“牛棚”里，天天要背毛主席著作“老三篇”和《南京政府向何处去》等文章，他能把它们背得滚瓜烂熟。他也坐得住“冷板凳”，他在牛棚里细读《鲁迅全集》，还作了一个供自己个人检索的《鲁迅全集》索引。在“牛棚”时方成还被封为“牛长”，后来他幽默地说，自己此生没有当官的命，这是他当过的最大的“官”了，因为他手下的“牛鬼蛇神”里，还有职位高至副部级的。后来，方成是最后一名走出人民日报社“牛棚”的。造反派戏称他是“老运动员”了。
父母都关在“牛棚”里，家里没有大人管，可苦了几个年幼的孩子了。小名叫“七一”的老大，刚上初一，就被当成“黑崽子”遭到批斗。老二小名叫“小牛”，念小学一年级。最小的弟弟叫晓纲，才四五岁，在报社幼儿园。1968年底，初中都还没毕业的“七一”，被下放到内蒙古“接受贫下中农再教育”去了，就只剩下了小牛和晓纲独立生活。四五岁的晓纲由七八岁的小牛照料着，小牛这么小，生活自理都还困难，连脸都还不会洗，他怎么会照料弟弟呀？两个孩子，可怜兮兮的。这是让陈今言最揪心、也最难过的事。她在“牛棚”里每天牵肠挂肚，可有什么办法呢！自己又不得回家，方成也不得回家。多亏幼儿园食堂里那位心地善良的张师傅，怜悯这两个无父母照料的孩子，每天管着两个孩子的饭，这两个孩子才没有饿死。这样维持了一年左右，当夫妻俩从“牛棚”里放出来，回到家里看到灰头土脸、一身脏兮兮的两个孩子时，陈今言伤心得泪流满面，心疼不已。
方成看到结束了“牛棚”生活的陈今言，“憔悴多了，性格也变了，变得整天闷着头干活，有时甚至整天不说话。她想不通，世道为什么变成这模样，更想不通人们为什么要这样对待她。”此时，陈今言才40岁过一点。
1970年，又一次风暴迅猛刮来，将他们一家人“驱逐出京”，“发配”到河南。
当时，毛泽东关于人民日报社有个“要实行三、三制”的批示，大意是：三分之一的人办报，三分之一的人搞调查研究，三分之一的人到农村改造。原则上报社的人都要去，实行轮换。
一天，造反派把方成找去，声色俱厉地说：“为了纯洁红色首都，你必须离开北京，到河南的‘五七干校’去改造思想，去脱胎换骨。”方成不能有任何反对，只能答应去，而且还要把户口也迁走。
回到家里，他一脸悲怆的神情，把自己将要被“发配”到河南的事告诉陈今言，然后问她：“我户口已经要迁走了，你看你是怎么弄呢？继续待在北京还是怎样？”听方成说罢，陈今言很干脆地说了一句话——“没关系，你上哪儿我上哪儿！”
这句话让方成感动不已，刻骨铭心地记了一辈子。
当时，陈今言所在的《北京日报》并没有强迫她离开北京，两个孩子也还年幼，她可以不去干校。但陈今言不愿让方成一人孤孤单单地在那儿受苦，她毅然决然地带上两个孩子，跟着方成一起来到人民日报社设在河南叶县刘店的干校，那个地方是一个非常穷的地方。
看到陈今言这样坚决的态度，方成终于下了决心：全家迁了户口到河南去！报社下放到干校的职工中，只有三家人是把全家户口迁走的。
下放到干校“边劳动边接受思想改造”，成了当时惩罚所谓“臭老九”的一种手段。方成一家到了干校后，也许是看着方成年纪偏大，又有点瘦弱，负责人便把他安排在干校食堂里劳动。方成在干校比较活跃，除完成好本职工作外，还开动脑筋，发明了一种用于除草的“中耕器”和放在屏幕上会动的幻灯。方成8岁的三儿在村子里上小学，15岁的二儿进了县中学，放假时也在干校参加一些劳动，反正不劳动也没有其他事可以做。
陈今言呢，则被分派去干农田里的活计，她干什么都特认真，在干校干农田的活儿也一点不含糊，从不挑肥拣瘦。她努力改造自己，向贫下中农学习，不仅劳动表现相当出色，而且与乡亲们处得很融洽，常常与农民大嫂们谈天说笑。
