1874年，日本派兵登陆台湾企图将它占据，清兵以仅有的战船赶赴台湾将日本舰船驱逐出去。这次事件引起了朝野的警惕，恭亲王提出了“练兵、简器、造船、筹饷、用人、持久”的紧急机宜。原江苏巡抚丁日昌提出《拟海洋水师》章程入奏，建议建立三洋海军。李鸿章则提出“暂弃关外、专顾海防”。在洋务派的一致努力下，清政府决心加快建设海军。
1875年5月30日，朝廷下令由沈葆祯和李鸿章分别担任南、北洋大臣，加速建设南、北洋水师，并决定每年从海关和厘金收入内提取四百万两白银作为海军军费（实际用在购置军舰款项只为每一百万两），由二洋分解使用。
南洋大臣沈葆祯认为应先重点建立北洋水师，北洋水师建成后再建立其他水师，这样中国很快就会拥有一支水师队伍。清政府考虑到中国当时的主要假想敌是日本，而北洋水师又负责守卫京师，遂采纳沈葆祯的建议，先创设北洋水师，等北洋水师实力雄厚后，再“以一化三，变为三洋水师”，这三洋分别为：北洋水师，负责山东及以北之黄海；南洋水师，负责山东以南及长江以外之东海；福建水师，负责福建、南海。
清政府要筹建海防，由于经费有限，只好决定裁撤陆军，节约兵饷。丁汝昌的上司欲裁减他的三营马队，在“兵为将有”的年代，丁汝昌自然不会答应。由于丁汝昌当时在别的军营里，遂上书与上司进行争辩，他耿直不媚的性格触怒了他的上司，这位上司是个心胸狭窄的人，他看丁汝昌不像其他人那样巴结他反而敢与他据理力争，就对丁汝昌恨之入骨。
一天，这位上司设计要加害丁汝昌。他命令士兵去召丁汝昌来见他，准备在丁汝昌来的途中把他杀掉，没想到这些士兵平时都很敬重丁汝昌。他们不忍心看到丁大人遭此横祸，便把消息透露给了丁汝昌。
士兵非常着急地说：“总兵大人，您还是快些逃走吧。”
丁汝昌不相信会有这种事。他说：“我上没有冒犯皇帝陛下，下没有违法犯纪，他为什么要对我下毒手？我不信。”
“大人，您还是走吧，他的为人您是知道的。他对您一直怀恨在心，这次是非要除掉您不可了，命送在这种人手里不值得！”
丁汝昌一想，这位上司的确十分阴险，平时要是对谁看不上眼，就会千方百计去陷害别人，所以这种事他能做得出来。想到这里，丁汝昌点了点头，说道：“不错，如今我领兵打仗是为保卫朝廷，报效国家，没有必要与这种人争斗，只可惜我壮志未酬却受小人排挤。汝昌多谢各位相救之恩，相信我们后会有期，告辞。”说完他跨上士兵送来的快马，弃官回到安徽老家。
可以和妻儿团聚共享天伦之乐，过着悠闲的田园生活，他觉得很幸福。但是一想到国家正当多事之秋，外国侵略者正虎视眈眈地妄想侵吞中国，而自己身为将帅却不能投身军旅捍卫疆土，他又禁不住国仇家恨一齐涌上心头，暗自叹息起来。
丁汝昌的妻子魏氏是个知书达理，有见识的女子。他明白丈夫的心思，便安慰地说：“为国立功是大丈夫的志向。夫君既然有这个愿望，就自会有机会的，暂且耐心等待时机吧！”
妻子的话语使他逐渐平息了下来，安心在家里过起了闲散生活。然而，二十多年的从军生涯，使丁汝昌再也无法安心从事田间农业生产劳动，几年下来，他坐吃山空，多年的积蓄渐渐耗尽，家里的境况越来越窘迫，他再也闲居不下去了，决定离开家乡，设法重新回到能够施展才能的军队中。
1877年秋天，丁汝昌离开家乡，来到北京，活动于兵部上下，谋获差使。由于当年在镇压太平天国作战中的功绩，京城上下许多部门都知道丁汝昌的名字，连慈禧太后也知道丁汝昌英勇善战，是个可用之才，对他倍加看重。一天，慈禧太后发诏传丁汝昌入宫接受召见，丁汝昌大喜所望，连忙启程进宫，心想：这次可以如愿以偿了。但召见后，丁汝昌又立刻失望了，原来慈禧太后为他安排的差使是赴甘肃听候差遣。丁汝昌不想前往荒凉的西部，特意看望上司李鸿章，希望能为自己找条更好的出路。
那时朝廷决定加强海防，兴建北洋水师。直隶总督兼北洋大臣李鸿章正奉命筹建北洋水师，布置海防。李鸿章见到丁汝昌后非常高兴。他说：“汝昌，你来得正好。我知道你一向勇猛威武，很有才略，只是不知你对海军可否精通？”
丁汝昌谦虚地说：“中堂大人过奖，汝昌能力浅薄。对于海军，汝昌谈不上精通，不过在长江水域时倒曾管带过水兵，对此略知一二。”
李鸿章一听喜出望外：“太好了！不瞒你说，我眼下正在筹备建立北洋水师，只是缺乏这方面的统领。我早有此意，打算让你辅助我兴建北洋水师。原来还担心你没有经验，现在看来此项重任是非你莫属了。”
“多谢大人信任，辅助大人兴建海军，汝昌愿效犬马之劳。”终于找到了报效国家的机会，丁汝昌感到十分激动。他暗暗下决心：我一定不辜负大人对我的期望，一定要把北洋水师建好。”
就这样，丁汝昌开始了他的海军生涯。从此，他的命运便与北洋舰队紧紧在一起了。
