他血气方刚，口吐“狂言”，大有干出一番事业的雄心壮志。于是立即走马上任，全身心地投入到他所喜爱的专业工作中去。然而他错了，很快他发现公司的环境和研究条件与匹兹堡大学简直是天地之别，英雄无用武之地。这时，先前达到沸点的他一下子降到了冰点，他彻底失望了。作为长兄，陈果夫看了出来，及时进行点拨。这时，陈果夫又与蒋介石通了信，要求蒋三叔出面做工作十有九成。当时蒋介石求才若渴，非常之高兴，他也正要培植自己的势力。陈立夫是自己盟兄之侄，又是高才生。于是蒋介石直接给陈立夫去电，希望他速来广州供职。
陈立夫接电后，对蒋三叔欣赏自己是个人才，颇感高兴。但是他觉得自己从中学到大学所学的是矿冶专业。考虑再三，陈立夫以措辞婉转的口气，回电谢绝了蒋三叔。
蒋介石看了回电，哈哈笑了：“别人找工作，都是人求我，这次却是我求人。”于是他再次发了封急电：“现在是需要你革命的时候，还开什么矿？要开矿，可开采革命之矿！”
这次陈立夫不敢轻易回绝了。对于蒋介石对自己如此信任，很是感动，再加上在中兴煤矿工作也不尽如人意，而哥哥陈果夫从中敲边鼓，陈立夫动摇了。年底，陈立夫拿着陈果夫写给蒋介石的信，离开上海去广州投靠蒋介石。
此时蒋介石已身居要职。他是广东国民政府军事委员会的八名委员之一，同时又被任命为国民革命军第一军军长、黄埔陆军军官学校校长、广州市卫戍司令、长洲要塞司令长官。大权在握，蒋介石日益加紧了对国民政府领导权的篡夺。他悉心培植自己的私人势力，把一切忠于他的人都网罗在其周围，逐渐形成以他为中心的右派力量。陈立夫的到来，令蒋介石喜出望外，他手下需要陈立夫这样出洋镀金的青年。
在随便问了陈立夫一些国外留学的情况后，蒋介石问起了他到广州来的打算。陈立夫说：“我没有学过军事，不能投身行伍，只是希望做点儿文职工作。”
蒋介石满口答应了他的请求，当即安排他为黄埔军校校长办公室机要秘书，跟随蒋介石的身边，参与机密事宜。
陈立夫刚来一个月，蒋介石已看出了喝过洋墨水的人就是不一样，他悟性高，环境适应得快，情况来得及时，提出的建议也与众不同。此时，坐在轿车后方的陈立夫，想对蒋介石劝说点儿什么，一看到坐在前排的蒋介石双目紧闭，在思索着什么，欲言又止。
陈立夫望望窗外，过了珠宝金店，就要到码头了，如果再不说就没有时间了。陈立夫便打破沉默，试探性地问蒋介石：“看来非要去上海不成吗？”
蒋介石是一脸的深沉，听到陈立夫的问话，反问道：“啊，你有什么高见？”
陈立夫不紧不慢地打开了话匣子，娓娓道来：
“校长，我认为离开广州去上海不妥。为什么要避开呢？国民政府的八个军中，第一军有三个师，实力最强，掌握在校长手中。其他各军虽对校长有些怨言，但谅他们也不敢轻举妄动。更何况校长兼任广州卫戍司令，守卫广州的部队还掌握在手中，为什么要放弃呢？
“汪（精卫）主席虽然也想整整校长，但他有点儿书生气，胆子不够大。汪主席不是想用王懋功师长来推倒校长吗？可前些日子，校长以‘图谋不轨’的罪名，撤掉其师长职务，并将他押送上海，汪主席不也是无话可说吗？还有，苏联顾问也不可怕，那个季山嘉总顾问不是不同意校长的北伐策略吗？可校长向汪精卫提出免去季山嘉总顾问的职务，季山嘉不也是表示愿意辞职吗？
“共产党人虽然唱高调，颇能煽动民心。但他们那个总书记陈独秀却很好对付，只要控制他，共产党就好应付了。
“校长，你不要太心慈手软了。我们有兵为什么不干呢？为什么要成他人俎上之鱼肉呢？”
陈立夫的一番话，句句都点在了蒋介石的心坎上。是啊，蒋介石又何尝想离开广州呢？但是不离开广州，又该怎样动手呢？蒋介石又陷入了沉思之中。
陈立夫见蒋介石并无什么话要说，心中很有点儿不安，看来蒋介石并没有听从自己的劝告。难道他真的下定了决心要离开广州吗？陈立夫也在思考着。
“嘎——”的一声，车停在了码头上。蒋介石的侍卫官从外面打开了车门，请蒋介石下车。谁知蒋介石仍坐着不动，侍卫官不知怎么回事，一路沉默的蒋介石忽然开了腔，命令司机调头往回开。开出了一站地，蒋介石长叹一声，又嘱咐司机返回码头。陈立夫一听急了，顾不得自己的身份，放大嗓门儿说道：“我们走了，总理交给校长的任务将由谁来承担呢？”
蒋介石听罢想了又想，终于下定决心，对司机说：“开回东山公馆！”
到了公馆，蒋介石独自上楼，将自己关在屋里，过了好长一段时间，才听里面传出重物砸在地板上的声音，紧接着蒋介石一声大喝：“干了！”这时，守候在楼下的陈立夫一阵轻松，心里说不出的痛快，倏地想起京剧《甘露寺》里的一段唱词：“劝千岁杀字休出口”，我这次可是“劝千岁杀字要出口了”。许多年以后，每每回顾起这段往事，陈立夫总觉得自己在关键时刻，帮助蒋介石完成了一次历史性的选择，他说：“如今回想起来，蒋公当时考虑走与不走，可说各居一半，当其踌躇犹豫间，经我一问，乃使其不走之决心，顿形加强。”这件事，乍看虽小，但影响却极深远，由此“种下了杀机”，否则“民国十五年以后我国历史岂不将要重写？”引自陈立夫：《北伐前余曾协助蒋公作了一次历史性的重要决定》，见《传记文学》第四十一卷第三期，第32页。
蒋介石要动手了。
接着蒋介石找到其心腹王柏龄，策划于暗室，又多次纠集党徒召开秘密会议，陈立夫作为机要秘书也参加了会议。
为了替自己的反革命行动找到借口，蒋介石指示手下四处造谣：
“共产党要暴动，推翻国民政府，组织工农政府。”
“汪精卫、王懋功都加入了共产党，共产党准备倒蒋，正在黄埔军校查账，说蒋介石贪污。”
“有人要把蒋介石、陈立夫等劫往海参崴，为他们二人前往苏联的护照都准备好了。”
“国民政府准备宣布共产，所有私人财产都要没收。”
诸如此类的谣言使得广州市民人心惶惶。
一切准备完毕之后，蒋介石决定从“中山舰”动手。
为什么要从“中山舰”动手？这有一段缘由。原来“中山舰”舰长李之龙是共产党员。他在任海军局政治部主任期间，曾查处过蒋介石的盟兄弟、虎门要塞司令陈肇英走私的活动，颇伤蒋介石的面子。更何况，李之龙后又被提拔为海军局代理局长，不论从哪一方面来看，打击李之龙都有利于蒋介石的野心的膨胀。
3月18日，蒋介石指使其亲信、黄埔军校驻省办事处主任欧阳格传达他的命令：
“着即通知海军局速派得力兵舰二艘，开赴黄埔，听候差遣。”
李之龙接到命令后，遂用笔写了两张命令，分别交宝璧舰舰长、中山舰代理舰长，命令即将舰只开赴黄埔，听候蒋校长调遣。
19日上午，宝璧舰、中山舰先后抵达黄埔。当中山舰开到黄埔之时，蒋介石即大耍无赖，矢口否认，声称：“并无调遣该舰之命令”，中山舰“无故移动”，是“不法行动”，“显然是共党阴谋暴动”。
这天晚上，蒋介石又召开紧急会议，商量办法。陈立夫参加了这个秘密会议，极力鼓动蒋介石不要错失良机，应立即采取行动，对共产党实行突然袭击。有人怕舆论谴责，陈立夫立即驳斥，认为不必顾忌。在陈立夫的鼓动下，蒋介石再次痛下决心，“今日若无决心，岂能挽救本党？”
20日凌晨，蒋介石派人抓走仍在睡梦之中的李之龙。随后又调动大批军队和警察，断绝广州市内交通，实行戒严，扣留中山舰及其他海军舰只，包围苏联顾问的办事处及住所，监视苏联顾问。拘捕黄埔军校及第一军第二师中的共产党员四十多人。同时蒋介石还密令何应钦将驻防潮汕的第一军中的共产党员全部逮捕，并取消第一军的党代表制度，汪精卫的住宅也被蒋介石派兵“保护”起来。
由于共产国际指示的错误，由于陈独秀的右倾思想，“中山舰事件”之后，蒋介石很快达到了自己的目的：国民党中央政治会议作出查办李之龙、季山嘉等苏联顾问回国、共产党员撤出第一军的决议。汪精卫也声称病了，赴外地求医。
中山舰事件，陈立夫自始至终都参与了此事，并在其中担任了极不光彩的角色。如果不是陈立夫劝说蒋介石不要离开广州，断不会有之后的中山舰事件。周恩来后来指出：“张静江、陈立夫都于1926年1月2日回到广州市，同蒋介石进行勾结，挑拨国共关系。这就是3月20日中山舰事变的原因，也是3月28日事变以前的政治形势。”
在这件事上陈立夫所表现出来的对蒋介石的忠心，对共产党极端仇视的心理和顽固的反共态度以及在复杂事变中的机警沉着和诡计多端，都深深获得了蒋介石的赞赏。为此蒋介石在日记中写道：“今日方知孤臣孽子操心之危，处境之苦，若非亲历其境者决非想象所能及其万一也。”北伐开始后，陈立夫被提拔为国民革命军总司令部秘书处秘书兼机要科长。他工作认真负责，凡是蒋介石签发的文件，他总是逐字逐句地从头至尾阅读一遍，然后交监印员盖上大印。他对下属科员管束甚严，每到一地，他总要召集部下训话，要求机要科员精心保管好印章、文件等物品，以免战乱中受损。
陈立夫的工作作风和态度，令蒋介石刮目相看。不久，蒋介石让他主管整个秘书处的工作，成为蒋介石的贴身心腹。这为陈立夫日后飞黄腾达奠定了基础。引自李西岳、苏学文著：《陈氏家族全传》，中国文史出版社2001年版，第112—113页。
果夫的“三把火”
“中山舰”事件，彻底将蒋介石反共反人民的嘴脸暴露无遗。早在事件前的两个月，周恩来已看出了蒋的反动本质，曾与两广区委书记陈延年一起找鲍罗廷商量，打算将全部共产党员撤出蒋介石的第一军，联合其他非蒋系部队与汪精卫联合成立国共合作的军队，以孤立和打击蒋介石。蒋介石对此当然不会不知道。所以他先下手为强，发动“中山舰事件”，既整肃了他的第一军，又将他的首要政敌汪精卫驱逐出了广州。随后，他装着一副亲苏、联共的嘴脸，为获得苏联顾问和中国共产党的谅解，不立即导致国共分裂的局面，以负荆请罪的姿态，说什么“此事起于仓猝，其处置非常，事前未及报告，专擅之罪诚不敢辞”为由，“自请从重处分，以示惩戒而肃纪律”。在这里足可以看出他两面派的嘴脸。
且说蒋介石虽然爬到了中央执行委员会常务委员、国民革命军总司令的位置，在党内一跃仅次于汪精卫的第二号人物。这时他也清楚地知道，孙中山去世后，党内党外群龙无首，党内有党，党外有派，表面上你好我好，其实这中间到处有激流险滩。如果他的野心稍稍有所表示，那将是众矢之的。蒋介石明白自己资历浅，当朝元老很多，论地位，他得往后排，这也是人贵有自知之明，蒋介石的聪明也就在这里。所以他采取掩护的手段，把其“右派”的嘴脸、“野心”的尾巴好好地掩护一番。一时间，蒋介石的行为迷惑了不少人。包括共产党的高级干部们。以至于后来在国民党中执委第二次全会上，蒋介石抛出了他精心策划的《整理党务案》时，共产党员还为其美言，热烈鼓掌。殊不知这个《整理党务案》的核心之核心，就是以“纯洁组织”为名，达到排斥共产党之实。由于蒋介石事先准备得充分，又有一个冠冕堂皇的说法，提案是在“一切革命势力合作原则万岁”的口号下发布的。它有很大的欺骗性。
“二次全会”开了八天，蒋介石不仅仅是通过了他的《整理党务案》，而且又使他成为了国共两党联席会议的代表，免去了谭平山、林祖涵、毛泽东、刘芬的代表职务。同时免去了毛泽东国民党中央宣传部（代）部长，任命顾孟余任宣传部长，任命蒋介石为中央组织部长。这也是蒋介石最大的收获。全会以后，他更是青云直上，当上了统帅三军的总司令不讲，接着中执委临时全会选举，他又爬上了中央常务委员会主席的宝座。蒋介石借助中山舰事件和整理党务案，一下子权倾朝野。按照蒋介石的话说，他只不过使了个小小的心计而已，结果收获大大，特别是中央组织部长的要职，更令他欣喜若狂。
中央组织部是他培植自己势力的园地，一个好汉三个帮，因此他想到了再找一个好帮手。蒋介石首先想到了陈果夫。
组织部人员更换，历来敏感，备受关注和非难。好在陈果夫刚从上海初来乍到，跟谁都不大熟悉，没有派性，再加上他头上有“陈其美亲侄”的光环，就轻而易举地得到了大家的认可，到了中央组织部做了秘书工作。其实他是“部长第二”，或者说是“二部长”。据陈果夫在《十五年至十七年间从事党务工作之回忆》：
