蒋介石有一句口头禅：“中正不可一日无辞修。”中正是他自己，而这个辞修，指的就是陈诚。这句话足可见蒋介石对陈诚的信任和倚重。陈诚崛起于黄埔后，30多年跟随蒋介石出生入死，无怨无悔，特别是他对蒋介石忠心耿耿，使其成为蒋介石最重要、最可靠的亲信。在国民党军队撤退到台湾的岁月里，他亦是少有的、最能获得蒋介石信任的人之一。
陈诚曾被美国记者誉为“气质人物”，但他的身高（一米六）实在算不上超群。当年他报考保定军校时，就因为个子偏矮，差一点被拒之门外。
到黄埔军校后，他决心干出一番事业来。他很想表现自己，但由于身材矮小，其貌不扬，起初并没有进入蒋介石的视线。一个偶然的机会改变了陈诚的命运。一天晚上，蒋介石查哨，看见一房间里有微弱灯光，以为是学生兵不按照作息时间作息，非常生气，立即开门，却见一个人点着蜡烛，借助微弱的光正在看书。蒋介石起先以为他看的是小说，拿起来一看，原来是《三民主义》一书，立即转怒为喜。蒋再看看此人，虽然其貌不扬，但眉宇之中透出一股灵气。蒋问：“你叫什么名字，哪里人？”此人一看是蒋校长，随即立正回答：“我是学生陈诚，浙江人。”随后蒋介石连问：“孙总理倡导的三民主义是什么？”“你记得本校开学时总理对本校师生的训词吗？”陈诚逐一作答。蒋介石听了连连点头，拍拍其肩：“好的！好的！诗曰：风雨如晦，鸡鸣不已，你努力吧！”次日清晨，早操完毕，蒋介石就宣布：提升陈诚为少校炮兵队长，以资鼓励。
1925年元旦，黄埔军校成立炮兵营。陈诚被蒋介石任命为第一连连长。2月，陈诚参加第一次东征，讨伐陈炯明。在棉湖之战中，陈诚三炮定江山，一举奠定了他日后擢升和发展的基石。
棉湖战役是蒋介石一生之中最值得夸耀的三大战役之一。此战不仅影响到蒋介石主持黄埔军校以来第一次出征之战的胜败，还直接关系到他能否得到执掌国民党最高军事指挥权的问题。此战以黄埔军校教导第一团为主力，当时教导第一团只有1000人，而敌军达到了它的10倍，战斗从拂晓持续到下午4时，全团官兵伤亡近三分之一，教导第一团还能否承受巨大的压力，让蒋介石心急如焚。在这关键时刻，右臂已经受了伤的陈诚，一咬牙走上炮台，将炮口瞄向敌方指挥所，连发三炮，发发炮弹都在敌方大本营中开花。这三炮鼓舞了士气，全连炮兵个个精神抖擞，敌军被炮火轰散，四处奔逃。最终东征军取得棉湖战役的胜利。
其后陈诚凭借在黄埔的师生关系，在国民党军组建了“土木系”（因其起家部队是国民党军的第十一师和第十八军，该部因“土”拆开为“十一”、“木”拆开为“十八”，故而得名）。其所部在抗战中多次与日军有过恶战，这也使得“土木系”部队的名号更加响亮，到抗战结束时，已被视为国军的五大主力之一。“土木系”先后产生了四个一级上将、三个参谋总长、两任海军总司令、一个空军总司令、一个联勤总司令、二十多位军长以及数以百计的师长、团长。
蒋介石总是在最关键的时刻把最重要的任务交给陈诚。究竟是什么原因使他受到蒋的如此信任？据说蒋介石提拔人的时候有三条不成文的规定，一是重用黄埔系出身的军人，因为蒋是靠黄埔系起家的。其次是重用同乡。第三是重用对蒋介石个人十分忠诚的人。同时兼备这三个条件的，唯有陈诚。除了这三个条件，陈诚还和蒋介石有着另外一层特殊的关系。1931年12月，蒋介石和宋美龄亲自做媒，把蒋介石的干女儿、宋美龄留美时的同学谭祥，介绍给了陈诚。陈谭结合，使陈蒋之间不仅有同乡、黄埔的关系，又多了一层翁婿的关系。
陈诚死后，蒋曾题挽联：
光复志节已至最后奋斗关头，那堪吊此国殇，果有数耶
革命事业尚在共同完成阶段，竟忍夺我元辅，岂无天乎
