传统中国政府由于其天下观的缘故，没有现代的世界意识，因为政府没有外交概念，自然也就不会设置办理外交的部门。清朝对于朝贡各国，限定在广州一城，由两广总督负责接待，然后由两广总督派人护送到礼部，再由礼部负责招待，安排朝觐之事。朝觐完之后，再原路返回。只有朝鲜一国，可以从东北进京，直接到礼部。西北方面，则由理藩院直接负责接待。所有礼部和理藩院接待的国家使节，都必须承认一个前提，就是清朝皇帝是天下共主，因此朝觐的时候，所有使节都必须向皇帝行三跪九叩的大礼。只有俄罗斯例外。礼部负责对外事务其实是一个象征，就是说，在对外关系上，中国维持的是一个礼制体系，凡是遵王化的人（接受教化）才能进入到这个体系来，否则就不要来，眼不见为净。早在18世纪末，英国马戛尔尼使团来华，要求建立平等的通商外交关系，虽然由于特殊原因，乾隆还是接见了不肯下跪的英国人，但是依然要求人家自行纳入朝贡体系，决不肯建立平等的外交和商务关系，结果双方不欢而散。在西方强行打开中国大门之前，西方国家只有葡萄牙的使节按照藩属之礼见过中国皇帝，其他国家派来广州的代表，由于不肯对两广总督施礼，实际上大多数来往文书都由十三行代为递交。对外贸易，只限定于特定的港口，最终只有广州一口开放。但所有贸易都必须通过官方指定的商行（人称十三行）进行。
鸦片战争之后，中国已经开始了被西方强行纳入资本主义世界体系的过程，但吃了败仗签了城下之盟的清政府，却硬是不肯承认这个已经压到头上的世界体系。虽然开放了五口通商，却明里暗里通过地方官对通商设置障碍，不许民众购买西方货物；在体制上，依然把与西方的关系，限制在地方层面上，坚持让两广总督负责五口通商事宜（后改为两江总督），而且没有外交意识，硬是将与外国的关系定在通商上，对国门开放以来到来的诸多问题视而不见。第二次鸦片战争，英国和法国联手，再一次强迫清政府进一步开放国土。这一次，他们安心要让中国人不仅从实质而且从形式上也必须承认这个世界体系。但是，清朝的咸丰皇帝宁肯多赔款，多开放口岸，也不肯让外国使节驻节北京。他可以容忍英国人占领广州，并在广州建立一个傀儡政府，实际控制广州许多年，但却无法容忍在北京城里有一个不向他下跪的人存在。由于咸丰的执拗，战争升级了，北京被英法联军占领，清朝皇帝的别墅圆明园被抢掠焚毁。
在接下来的谈判和妥协中，外国使节驻京的条件清朝不得不接受。由于英国人和法国人坚持不肯跟礼部和理藩院打交道，一个全然不同于以往政府部门的机构诞生了，这就是“总理各国事务衙门”，简称总理衙门或者总署。在外国人眼里，这个机构就是中国的外交部，然而，在中国人自己的想象中，它只是一个临时机关，一旦有可能，就把它撤销，而且，在衙门的名称上，还保留着文化上的自大，貌似“总理”人家各国的事务，以此求得心理平衡。
由于开始设置的时候就有临时的打算，所以，总理衙门的机构和人员安排，模仿军机处，设总理大臣和总理章京，所有人员均从各个部门临时抽调，让他们做兼职。总理大臣分为三等，首席曰管理大臣，由王大臣兼任；其次曰大臣，以军机大臣兼任；再次曰大臣上行走。内阁大学士和六部堂官，甚至地方大员都可以兼任总理大臣，有到任视事的，也有挂名的。总理大臣没有定员，多的时候有十几个。总理章京也分等级，有总办章京、帮办章京、章京、额外章京，额外章京中有8人是由军机处章京兼的。
虽然在清朝政府视线里，总理衙门是个临时机构，但自总理衙门成立（1861年1月）之日起，跟洋人打交道就成为中国政治的主题之一。随着中国卷入世界体系的程度日益加深，总理衙门不但没有撤销的可能，反而管理的事务越来越多，机构越来越庞大。凡诸外交、通商贸易、海关税收、国防、海防、航运、铁路、邮电、开矿以及涉及西方的宗教事务等等都归总理衙门管，就是说，凡是沾点洋人、洋务边儿的事情，都归总理衙门负责管理。总理衙门很快就超越六部之上，变成了另一个军机处。事实上，如果军机大臣不兼任总理大臣，那么等于权力小了一多半。在总理衙门存在的多数时间里，总理衙门最高负责人管理大臣，都是由军机处首席军机大臣奕沂兼任的，其他军机大臣一般也兼总理衙门大臣。总理衙门还有两个有业务关系的大臣，即直隶总督兼任的北洋通商大臣和两江总督兼任的南洋通商大臣，都是地方大员。
英国公使威妥玛曾在使华日记中对总理衙门办交涉有如下记述：
中国总理衙门其规矩与欧洲各国之外交部迥然不同，凡各国使臣至总理衙门，必具酒果，王大臣以次陪客同坐，一若以饮食为交涉之要务也者。又中国虽事权不归一，然大臣仍不敢各抒己见，每使臣发一议论，则各人以目相视，大臣视亲王、新入署之大臣又视旧在署之大臣，若王一发言，则各人轰然响应，亦莫非是言。若亲王不言，诸大臣必不敢先言也。一日余至署，诸人相顾无敢先发一语，余不复能耐，乃先发言日：“今日天气甚好。”而诸人尚不敢言，惟沈君某者，似觉不可复默，乃首答曰：“今日天气果好。”于是王大臣莫不日：“今日天气果好。”不啻如犬之吠影吠声云。
总理衙门下设各个股，分管外交和洋务等事项。其中英国股负责英国和奥斯马加（奥地利）两国的交涉事务，还负责掌管与各国的通商关税事务。法国股负责法国、荷兰、日斯巴尼亚（西班牙）、巴西等国的交涉事务，兼管在华基督教和招募华工事宜。俄国股负责俄罗斯、日本两国的交涉事务，并管理陆路的通商、边防和划界等事宜。美国股负责美国、德国、秘鲁、意大利、瑞典、挪威、比利时、丹麦、葡萄牙等国的交涉事务，并兼管参加各国公会，如博览会、保护华工等事宜。除了以上类似外国外交部的职能部门外，总理衙门还设有海防股，所管的事务包罗万象，所有的洋务事业均由其管理。附属机构有负责杂务的司务厅和清档房、电报处。此外，总理衙门还有一个重要职能，就是选派驻外使节。自1875年起，中国开始陆续向与中国有外交关系的国家派出常驻使节，一般是侍郎衔，而且待遇十分优厚，虽然开始的时候往往几个国家派一个使节，但毕竟标志着中国政府走向了世界，认同了世界体系。
当清朝政府决定要向西方派遣常驻使节的时候，在满朝文武中，居然找不到一个乐意出国的人。尽管使节的官衔相当高，待遇也十分优厚，几乎可以随意报销自己的开支。最后还是代理过广东巡抚的郭嵩焘出头，才解决了这个问题。然而，朝廷却对这个以讲洋务闻名的官员放心不下，于是另派一个级别低得多，主要是为了捞点好处的顽固派官僚刘锡鸿做郭的副使，到了英国之后，刘的使命就是天天就郭的行踪向朝廷打小报告。连郭参观英国炮台，因风大披了一件英国人大衣，都被视为有失国体。最后，深受西方尊敬的郭嵩焘被迫卸职回国，从此赋闲在家。回乡的时候，家乡湖南到处有人张贴揭贴，骂郭是卖国贼。
总理衙门虽然是一个新机构，办理的是外交和洋务事业，但很快就染上了旧机构办事拖沓、推诿和暮气沉沉的陋习，跟旧机构一样缺乏效率。
张元济先生曾经做过总理衙门章京。在戊戌维新期间，有一天他到总理衙门的事务厅办事，偶尔翻了一下文件，发现有一封俄皇尼古拉二世给光绪皇帝的电报，已经在事务厅里搁了两天，既没有人翻译，也没有人汇报。最后还是张元济找人翻译了，上报上去。
总理衙门的附属机构比较著名的有同文馆。这是一个清政府办的语言学校，专门学习外语，为政府提供外语人才。同文馆由总理大臣中的一人代管，主要事务由提调和帮提调办理，提调和帮提调由总署中的资深章京选充。同文馆下设英、法、俄、德四馆，开始只教外语，后来添设西方科学及法政方面的课程。同文馆学制分为三年和五年两种，大部分教师从国外聘请。同文馆开始招生时对象只限于满人，而且希望举人进士进馆学习，但是，由于顽固派阻挠和反对，加上京城风气不开，结果是举人进士根本没有来报考的，只有那些实在贫穷的满人子弟才乐意进来学习。他们主要是冲着馆内优厚的津贴和吃住待遇来的，加上学校开办后，由于清廷的官僚作风，几乎没有请到什么像样的外国教师，学务管理也一塌糊涂，结果这个学校几乎没有出过什么像样的人才。
跟总理衙门相关的，还有一个机构必须提到，那就是总税务司。中国原来只有广州一地可以进出口，所以只设粤海关一个小机构，由内务府直接管理，收入归皇家。五口通商之后，海关税收被提上日程，但当时中国对通行于西方的关税制度和征收方式不了解。几经周折之后，咸丰四年（1854年），在上海成立江汉关，中国人担任司税，请西方人帮同办理。咸丰八年（1858年）该机构扩大为税务司，直接让西方人担任正副税务司。接下来，总理衙门成立后设立总税务司，算是总理衙门的附属机构。最初设在上海，在第一任总税务司李泰国去职后不久（1865年），迁到了北京。
总税务司负责全国的海关税收和海关的行政事务。设正副总税务司各一人，均由英国人担任。正副总税务司之下，设税务司4人，副税务司6人。其组织结构分为五科三处，即总务、机要、统计、汉文、铨叙五科。铨叙相当于人事科，负责内部的人员升迁，汉文科负责草拟对清政府的报告，处理与政府的往来文书。三处是内债基金处、造册处和设于伦敦的驻外办事处。
总税务司下辖各个海关，每个海关设税务司和副税务司，机构有总务、秘书、会计、监察、查验五科。在习惯上分为内班、外班和海班，分管征税业务、检查和缉私。
总税务司和各个海关，科处主任以上的官员均由洋员担任，汉人最高只能当到帮办（类似于主管），各个海关虽然也设有汉人的税务监督，但往往无事可做。总税务司的人员升迁、组织调整，清政府一般不能过问，基本上是一个国中之国。
英国人赫德担任总税务司达40多年，跟朝中诸多大员，如奕诉、文祥、李鸿章等人关系甚深。他不仅负责总税务司工作，还经常参与中国的洋务和海防事业，实际上等于是清朝政府的外籍顾问。总税务司虽然等于是一个承包给西方人的政府机构，尽管有很多的问题，但成立以来的成就还是非常可观的。此前，中国的财政收入主要是田赋，海关税收只是一个微不足道的数目，然而，到了1885年，海关关税收入已经达到1450万两，占政府的财政收入的20%强。许多中国的新兴事业，诸如海军的兴办、新式教育和洋务工业都得到关税的支持。（参见［美］费正清编：《剑桥中国晚清史》，553～554页。）
总的说来，虽然总理衙门是中国第一个新式的行政机构，但旧式的官场陋习很快就浸润其中，办事拖沓、推诿的毛病日见其重，只是因为总是要跟洋人打交道，在外国人的逼迫和催促下，往往不得不提高一点效率。
