1839年，曾纪泽出生于湖南湘乡，他的父亲就是清朝军事家、理学家，曾残酷镇压太平军起义的曾国藩。
曾国藩，字伯涵，谥文正，晚清重臣，湘军的创立者和统帅，官至两江总督、直隶总督、武英殿大学士，封一等毅勇侯。他倡导洋务运动，创立湘军，在治家、治军、治国、教育等方面都有重大建树。
孩提时代的曾纪泽聪明伶俐，勤奋好学，对中国传统的文化知识如诗书典章等反复练习、诵读，练就了过硬的文化基础本领，为以后从事外交工作打下了坚实的基础。
为了教育后代，曾国藩将其湖南双峰县荷叶镇所建的住宅命名为“富厚堂”，宅内有一“八本堂”，厅内悬挂曾国藩所书“八本堂”黑地金字匾额，字下是曾纪泽用隶书所写其父的“八本”家训：“读古书以训诂为本，作诗文以声调为本，事亲以得欢心为本，养生以少恼怒为本，立身以不妄语为本，居家以不晏起为本，居官以不要钱为本，行军以不扰民为本。”这“八本”体现了曾氏为人、教子的核心思想。
在持家教子方面，曾国藩主张勤俭持家，努力治学，睦邻友好，读书明理。他希望后代兢兢业业，努力治学。他常对子女说，只要有学问，就不怕没饭吃。
一次，曾纪泽因看到和自己年龄相仿的小伙伴们先后几年间都通过科举而当了官，就给在外任职的父亲写信，征求他的意见，问自己是否也该报考科举以谋求一官半职。
曾国藩在回信中，却再三告诫曾纪泽及其他兄弟，说：“一般的人都希望自己的子女成为大官，而我却不这样，我希望我的孩子都成为读书明理的君子，勤劳俭朴，能吃苦。由于银钱田产，最容易使人生长骄奢之气，所以，我不希望你们过早地走上仕途。你们只有和寒士一样衣食起居，才可以成为有用的人才，断不可以沾染上富贵习气。”曾纪泽牢记着父亲的教诲，一直潜心学习，直到父亲去世后才继承爵位步入仕途。
1840年鸦片战争以后，中国的大门被打开了，随着外国侵略的深入，西方文化也被大量地传到了中国。当时一些有思想有见识的中国官僚主张向西方学习，“师夷之长技以制夷”，到了19世纪六七十年代，洋务运动在曾国藩等大官僚的倡导下，在一些地方创办起来，被当时人们称为“西学”的西方文化也随之被广泛地应用。
在曾国藩的书房里，有很多关于西学的书籍，曾纪泽总是向父亲借来阅读，这样，由于受到父亲的影响，到了青年时代，曾纪泽就已经学习了近代数学、热学、光学、化学和机械学，并且初步进行了一些研究。
在曾纪泽26岁那年，伟烈亚力和李善兰继续利玛窦和徐光启的事业，把数学家欧几里德写的《几何原理》一书全部翻译成中文。这对中西文化交流有重要的意义。曾国藩为这部译著校刊。为了检测一下曾纪泽学习西学的成绩，曾国藩决定让曾纪泽用自己的名义给这本书写序。
一天清晨，曾国藩差人把曾纪泽叫到自己的书房，对他说：“泽儿，你对数学有了一些了解了吧？”
曾纪泽回答说：“只是略知一些皮毛，今后还得再努力研究。”
“我这里有一部关于数学方面的译著，我想让你用我的名义写一序，你看怎么样？”曾国藩说完，就把《几何原理》递给了他。曾纪泽接过书，用征询的眼光看着父亲，说：“我能行吗？”“我看你试试吧，不试，怎么能知道自己不行呢？”父亲鼓励他说。曾纪泽回到自己的房里后，仔细地研究了译著以及和中国数学相比的优长和缺点，很快地写出了序，并在序中实事求是地指出了欧洲数学比中国古代算法的长处。曾国藩看了这篇序文后，很满意，并在文后写了批语，称之为“文气清劲，笔亦足达难显之情”。不难看出曾纪泽在“西学”方面有一定的研究。随着年龄的增长，所学的知识越来越丰富，在曾纪泽的心目中，对西学产生了浓厚的兴趣。凡是西学中比较先进的东西，只要听说了，就要设法去了解它，研究它。
有一回，父亲从两江总督府回家后，对孩子们说：“你们有没有听说过地球仪？”孩子们都摇摇头。
父亲又说：“今天，制造局的人制造了一个大地球仪，安放在两江总督府的大厅里，你们不想去见见吗？”曾纪泽一听，马上说：“我们以前没有看过地球仪，它到底是什么样子，我真想见一见。”
小妹妹纪芬立即嚷嚷起来：“我也去，我也去。”
父亲接着说：“今天府衙已经关门了，明天我带你们去。”兄妹俩听后乐得合不拢嘴。
第二天，小纪芬早早地梳洗完毕去找哥哥，然后两人随着父亲一起去两江总督府。
到了府衙大厅以后，只见正中放着一个直径两米左右的大地球仪，球面上有花花点点的图案，曾纪泽凭着自己以往所学的地理知识，给小妹妹讲解。
小纪芬老是不停地问：“这是哪儿呀？离我们这里远不远呀？那么远我们怎么去呀？”
曾纪泽仔细地看着地球仪，生怕漏掉一个小岛屿。他边看边对坐在一边的父亲说：
“父亲，如果可能的话，我将来要到地球的另一边去，到那里，为自己的国家效力。”
小妹妹纪芬一听，眼睛瞪得好大，瞅着哥哥说：“地球的那一边离我们这么远，怎么能为国家效力呢？”
曾纪泽笑着对小妹妹说：“当驻外大使啊！在国际上为国家争得权益，那岂不是更有意义吗？”
父亲听了儿子的话，赞许地点了点头，对他说：“只是外交官的路可不是那么好走的。俗话说，‘弱国无外交’。如今我们大清朝虽说看上去很强大，可实际上是处处受制于外国列强，圣上和皇太后就怕与外国开战，一开战，肯定又是屈辱的割地、赔款。没有强大的后盾，外交官在前方争国格、争权益又谈何容易。”
听了父亲的话，曾纪泽更激动了，用手抚摸着地球仪上中国的版图，说：“正是因为外国列强欺侮我们，我才要去做一名外交官，在谈判桌上为国家争权益，如今我们国家真正的外交官太少了。”
“我很赞同你的这个想法，不过，要当外交官，光有热情不行，还必须要学好外国语，这就等于当兵的上战场打仗一样，没有枪怎么去打仗呢？”父亲说。
“父亲所言极是，我一定会把外语学好的。”曾纪泽说着暗暗下定了决心。1872年，年迈的曾国藩因病去世了，曾纪泽悲痛万分，他把父亲的灵柩护送到老家湖南安葬，并在那里为父亲守墓。在那悲痛的日子里，曾纪泽思绪万千。他想，既然自己已定下了将来的理想，又得到了父亲的同意，为何不利用守墓三年的时间来学习英文呢？在当时，西方国家语言传到中国来被利用得最多的就是英语了。
主意一定，曾纪泽马上行动起来，出去找外语书和会外语的人。可是找了几天，才在附近一个教堂里找到了一部英文字典和一本英汉对照的《圣经》，连一个懂外语的人也没有。当时中国人对西方社会了解很少，通晓西方语言的人更是寥寥无几，处理外交事务大多要借助于通商口岸的买办以及北京同文馆和上海同文馆出身的翻译，或者各国在华传教士。曾纪泽在当时是“以世家大员子弟而存志学习西方语言的第一人”。
曾国藩故居占地六十余亩，建筑面积一万余平方米。它由思云馆、毅勇侯第前门、宅东门、宅西门、全宅围墙、宅南藏书楼、宅北芳记书楼、八本堂、缉园十景等组成富厚堂建筑群，当地百姓称之为“宰相府”。
曾纪泽学习英语的环境很不好，那时湖南境内精通英语的人才很少，曾纪泽只能采取自学的方式，手中常备英文字典，每天常读不懈。因为大多数士大夫，只知道读中国传统的儒家经典著作，根本不晓得还有别的什么书籍，谁要是说洋话，写“旁行斜上”的洋文，就要被认为是大逆不道，是儒学的耻辱。尽管如此，曾纪泽可不在乎什么“大逆不道”，虽然这一年他已过了而立之年，已33岁了，但他要学习英文，决心要掌握研究西学、走向世界的语言工具。
没有教师、没有教材，没有能够帮助他的人，这一切都没有难倒曾纪泽，他为自己制定了详细的学习计划，每天早晨天刚一亮就起床，夜里直到半夜才休息，每天都是把自己关在书房里，靠着一部英文字典和一本英汉对照的《圣经》，将汉语的“双声、叠韵、音和”等的形声训诂之学和“泰西字母切音之法”互相比较，进行研究，慢慢地，就能够理解英国的语言文字了。
学习入了门，可是人也累瘦了，他的夫人看着他整天学呀学的，口里不停地叨咕，以为他学得入了魔，就劝他：“你都三十多岁的人了，还费这个脑筋干啥？不如求个一官半职算了。”曾纪泽笑了笑，说：“人活着，多大岁数都要学习，累掉一点肉不算什么，还可以再长嘛，可是，夫人哪，如今我们大清朝缺少外交人才，在与外国人打交道时总是吃亏，不会说人家的话又怎么能和人家打交道呢？”
他的夫人心疼地说：“我知道你有远大的抱负。可是身体垮了，你也将一事无成啊！看你，都累成这个样子了，也不知道爱惜身体。”
他感激地看着夫人，想到她为了自己，经常陪读到深夜，还不时送来一杯醒神茶，心里十分感激，躬身施礼道：“多谢夫人，以后我一定注意就是了。”
有时，为了能熟练掌握一个句子或单词，曾纪泽反复琢磨推敲，甚至要耗费几天的时间。就这样，寒来暑往，曾纪泽以惊人的毅力和勤奋，用5年的时间基本掌握了这门外语。
曾纪泽从小国学基础打得好，长大后又广泛涉及西方文化，精通外语，是清朝少有的学贯中西之人，他对如何认识中国文化与西学有着独到的见解。他认为学外文必须先“通华文”，只有精通中国的文化，才能掌握中华民族博大精深的优秀文化，才能成为有民族气节、利于国家的人才，如果“专攻西学，不通华文，鉴其貌则华产也，察其学术情性，无异于西洋之人，则其无益于国事”。对于有学识有民族气节的人不学外文，他认为也不应该，那样一旦朝廷有事，得不到有学问品德好的、能够在谈判中制服对方的人才，就会寻找那些庸俗的只会做买卖的人，这样的人不懂礼仪诗书，惟利是图，极不利于国家外交事务。从这些话里我们可以看到曾纪泽的一片爱国之心。
1877年，曾纪泽以长子的身份承袭了曾国藩的侯爵爵位，并进京觐见皇上谢恩。在北京期间，他所下榻的旅馆和西方各国驻京使馆相邻，英国驻京使臣听说曾纪泽在湖南湘乡自学英语达到通晓的程度，不相信是真的，说：“世界上哪能有这样的事情，没有人教、没有教材竟可以学会一种语言？”于是他抱着怀疑和好奇的心理，到曾纪泽住的旅馆拜访，以试探曾纪泽的英文水平；曾纪泽也是第一次用英语同别人讲话。当英国使臣到来时，曾纪泽竟能很流利地用英语向他们问好，并同他们交谈。英国使臣眼见为实，说道：“世界上真有这样的奇人呀！”纷纷竖起了大拇指，称赞曾纪泽英语说得好！
此后，同文馆（清朝第一所外国语学校）内英、美籍教师丁韪良、艾约瑟、医生德约翰等人都成了曾纪泽住处的常客，他们很快成了朋友。交谈中，曾纪泽的英语水平得到了进一步的提高。现在，在英国伦敦博物馆中保存着一把曾纪泽自作自写中、西诗文的“中西合璧诗扇”，这是他赠给外国朋友的礼物，由此，可以看出他的英文水平是很高的。曾纪泽会讲英语，很快就在京城传开了，尤其当皇上和皇太后听说后，更是非常高兴。当时正值中国边疆出现危机之时，朝廷正愁没有合适的人选派为公使。朝廷派出的第一任驻英法公使郭嵩焘已经年迈，身体又不好，虽有很强的爱国心，但实在是力不从心了。在这种情况下，朝廷决定派曾纪泽作为清政府第二任公使出使英、法两国。
