一九一一年十一月，孙中山当选中华民国临时大总统。十二月在上海，旅沪香山同乡会欢宴孙中山，时年二十四岁的王云五作为宴会主席，向孙中山致辞。孙中山很赏识王云五，当即邀请他出任临时大总统府秘书。翌年一月，王云五去南京临时大总统府赴任。没想到半个月后，王云五又接到当时的教育总长蔡元培来信，邀请他去教育部工作。
原来王云五在接受孙中山邀请之前，曾经给蔡元培写过一封信，提出对当前教育的一些建议，但并无求职之意。他信中提出三点建议：一是提高中等学校程度，废止各省所设高等学堂，在大学校附设一二年的预科，考选中等学校毕业生或相当程度者入学。预科毕业者升入大学。二是大学不限于国立，应准许私立，国立者不限于北平原设之一所。全国暂行分区各设一所，并主张除北京原设之京师大学堂外，南京、广州、汉口应尽先各设一所。三是各省得视需要，设专门学校，其修业年期较大学为短，注重实用。蔡元培见到此信后，在毫不相识的情况下，当即邀请王云五来教育部工作，任专门教育司第一科科长。对于一个二十五岁的青年来说，这样的知遇之恩是终生难忘的。由此蔡王之间，也建立了一生的友谊。
一九三七年十月王云五来到香港，发展商务印书馆在香港的事业。翌年蔡元培也来到香港，他原来准备取道去西南，但因路途艰难，且已七十一岁的蔡先生身体不好，只好找到王云五，来到商务印书馆在香港的临时宿舍，与王云五同住，生活由王云五照料。蔡先生喜欢喝酒，伤害了身体，王云五按照嘱托，每天晚上给蔡先生喝一大杯绍酒。后来王云五夫人来港，知道蔡先生善饮，每天中午给蔡先生一大杯绍酒。王云五不知情况，晚上还奉上一大杯绍酒，蔡先生来者不拒，只管饮用，并不说明。
直到蔡夫人来港，他们另租房搬出去住，王云五每周要跨海探望一次，还为蔡先生提供一些大字本的书来看。一九三八年一月十八日，蔡元培给王云五的信中写道：“云五先生大鉴：承赐借游志汇编二十册，字大，于晚间浏览，不感困难，今日读毕，奉还，谢谢。此书体例甚特别，无卷第，无序目，每篇自记页数，极似现代教科书中之活页文选，未知各种目录书中曾著录否。如尊处尚有其他大字之书，仍请便中检书一二部赐借为荷。专此敬颂，著绥 弟元培敬启。”
一九四〇年二月，旧历春节之前，蔡元培生活极度拮据，向王云五求助；王云五在二月十一日（旧历大年初四）请蔡先生在香港仔庐山酒店吃饭，并游览浅水湾。没想到三月三日，蔡先生在寓所不慎失足扑地，三月五日去世。蔡先生逝世后，所有丧葬费均由王云五支付。王云五致送挽联写着：“百世导师精神不死，半生知己印象永留”。后人王寿南评价：“民国元年，蔡以教育总长而引王云五入教育部服务，王感蔡赏识之恩，故诚心报效。蔡晚年困居香港，王尽心协助，从王之对待蔡元培，可见其为人。”
一九六八年一月，在蔡元培百年诞辰之际，台湾中央研究院为蔡先生塑铜像纪念。此时八十一岁的王云五，还在主持台湾商务印书馆，他也在当年三月出版了《蔡元培全集》。并为之作序曰：“蔡先生初时是我的长官，后来是与我往来最密的朋友，最后有如兄弟的关系。”
