1914年夏末，张自忠和几个同乡结伴投奔在第二十师第八十七团任团长的临清同乡车震。车震的家馆先生刘冠千也是临清同乡，到了新民府以后，刘先生即把他们介绍给车震，车团长安排他们当了副兵。从此，张自忠开始了戎马生涯。
军营生活十分艰苦，除训练之外，还有繁重的体力劳动，伙食又很差，与他同去的几个伙伴不堪其苦，都陆陆续续回了老家，只有张自忠不改初衷，坚持了下来。他给家里写信，介绍军营的情况，但自己所受的苦从不让家人知道。在致七弟自明的一封信中，他述说了从军几个月来艰辛备尝的情形：
兄自济南到新民屯业经数月，所有军中一切情形，均已尝着。同来者六人，因吃不下苦头，均已回乡，惟兄一人硬着头皮干下去。当兄来新之始，车公几次劝兄回家求学，言外膏粱子弟，如何能吃此苦，勉强一时，决不能坚持到底，故不如早去为善也。塞外奇寒，值此严冬，每日下操，手足皮肤均已冻僵，操毕回营，须先立户外，稍缓须臾方可入室；否则冷热相激，骨节溶化，手指耳鼻即脱落矣。除下操外，扛米抬炭、掘壕堆土，终日工作，休息时间甚少。以故肩肿肤裂，筋骨酸痛，其苦况实有不堪言状者。当兄创重时，肩臂肿溃，不能荷物，同棚中好友，代兄工作，以兄替其写家信也。家中一切请弟代劳，并请禀告母亲，待我有成就后，再回家叩见，祝母亲玉体金安！
在张自忠的信念里，当兵就要吃苦，吃得苦中苦，方为人上人，这是千古颠仆不变的真理。
车震的部队后来由奉天移驻绥远丰镇。1916年，车震升任暂编第一师师长兼长沙岳阳镇守使，部队开到湖南，几千里路全是步行，其艰辛是可以想见的。这时张自忠任师部参谋。部队开抵长沙后不久，发生了一个大变化：赵恒惕率部进攻长沙，车震战败，部队溃散。车震本人解甲归田，回了临清。张自忠身无分文，流浪着往家走，幸好在汉口遇到一个好心的同乡，送给他一身便衣和一笔盘缠，这才回到了家。
