於扶罗死后，其弟呼厨泉接手其事业，刘渊的父亲刘豹任职左贤王。正当呼厨泉部如日中天快速发展的时候，曹操掌握了汉廷实权。聪明的曹操，看出呼厨泉单于虽然表面谦恭，但野心勃勃，怕是日后成为中原大患，于是采取了分兵之计，把呼厨泉所部分成了左右南北中5部，刘豹任左部帅，率军万余。
小小的计谋，使呼厨泉再有野心，也是力量分散，难成大事。
呼厨泉部有士卒三万余人，而刘豹所部是其最大的一支。刘渊这时候，以人质的身份留在洛阳，刘豹虽有大志，却也不敢轻举妄动。
刘渊此人，颇有几分传奇色彩，刘渊的母亲呼延氏曾入龙门庙求子，在龙门见到一条长有两角的奇异大鱼跃龙门。夜里，呼延氏梦到大鱼幻化为人形，左手持一物似卵，非常好看，听那人说：“此是日精，服后生贵子。”
呼延氏非常高兴，当时就把那个日精吃了。
13个月后，呼延氏生一孩子，一出生左手上就写着元海二字，以这二字为名，就是刘渊。刘渊生于中原，深受汉文化的影响，少年时代就刻苦学习，熟读《诗经》《尚书》《周易》等儒家经典，对《史记》《汉书》，中原诸子，无不熟悉，更有名师崔游指导。
做为一个匈奴人，刘渊文能成章，武更不在话下。刘渊出身武学世家，对领兵打仗，无师自通，又爱研习兵书，是一个文武全才。
成年的刘渊，已是一个体貌伟岸的男子汉，身长八尺四寸（三国的一尺，等于现在的24.2厘米），相当于现在的二米，胡子长三尺余，当中有赤毫三根，长三尺六寸。
刘渊在洛阳当质子时，深受晋文帝赏识。晋文帝说他，不但长得好，而且文化水平也高。然而，晋文帝深切在感受到，非我族类，其心必异，对刘渊心存警惕，当然刘渊也不敢掉以轻心。晋武帝时，鲜卑族秃发树机能在凉州起兵，王浑建议，可封刘渊为大将军，意图凭借匈奴之力而平定凉州。
这一提议，立刻遭到许多大臣的反对，叶枫对司马炎说道：“元海要是能平定凉州，斩秃发树机能，则凉州真的有难了。这个元海就是条蛟龙，不是池中之物，如果让他出去，必是如鱼得水，没有人能管得了。”
齐王司马攸更是力劝晋武帝：“不除掉刘元海，怕是并州得不到安宁。”
王浑又进言道：“刘渊是长者，我王浑替刘渊担保此事。大晋朝不是正要向少数民族表明以诚相待，用德政使远方人归附吗？怎么能凭借一点儿没谱的事，而杀害送来的人质呢？”
晋武帝同意王浑的话，最终没有杀刘渊。
而刘渊也没有坐上大将军的宝座，但他的才华与霸气和潜在的威胁，却已经通过别人之口，让人们看得一览无余了。
刘豹死后，刘渊终于结束了质子生活，回到并州继承他父亲的事业。执掌父亲职务后，刘渊兢兢业业，暗中积蓄力量。太康末年（289年），晋武帝任刘渊为北部都尉。晋惠帝登位，杨骏辅政时，刘渊领建威将军、武部大都督职务。
官越做越大，刘渊却越来越谦恭，不但轻财乐施，更是结交名士，俊杰之士多有不远千里前来投奔他的。一时间，刘渊名气大振，为他以后的发达一步步铺好了垫脚石。
什么叫成府？这就叫城府。不管雄心再大，武力再强，不到时机，是虎也得趴着，是龙也得蜷着。
然而天有不测风云，人有旦夕祸福，元康末年（300年），刘渊所部因有内部的人叛逃出塞，晋惠帝把他贬官，刘渊又成了普通人一个。这时候，成都王司马颖镇守邺城，刘渊就去投奔他，司马颖早就知道刘渊的才能，你惠帝不用他，我用他，叫刘渊担任守朔将军，监五部军事。
八王之乱的战争席卷中原，天下大乱，有不少汉人避乱南迁，使汉人在中原的势力有所减少，这正好给匈奴人以可乘之机。左国城内（今山西吕梁北），众匈奴贵族密谋造反，认为兴邦复业的大好时机已经成熟，准备起兵，坐收渔翁之利。
起兵之事既定，推选一个有胆略的领导者是必不可少的，刘渊脱颖而出，成为众贵族眼中的不二人选。他们联合起来，推选刘宣到邺城去联系刘渊，希望让他回来领导匈奴贵族起事。
刘宣到了邺城，是这样对刘渊说的：
“过去我们先人和汉人同为兄弟，福患同当。自汉亡以来，魏晋代之，我单于虽有虚号，却没有尺寸之地，各诸侯王，实际上降为一般百姓。现在司马氏骨肉相残，四海沸腾，兴邦复业，此正是大好时机。你气质不凡，才能卓越，老天这是给我们恢复国家的大好时机，请你带领我们创业，才不虚此生。”
刘渊岂不知道，造反可不是儿戏，一旦走出这一步，再也没法回头，对刘宣说：“还是请贤者为之吧！这样的大事，我岂能担当。”
刘宣再劝：“只有像您这样的左贤王，才能担当起恢复匈奴，立邦建业的大事。”
刘渊再次推辞：“虽然司马氏骨肉相残，搞的天下大乱，但是瘦死的骆驼比马大，我们小小的匈奴，怎么能推翻这座大象。”
刘宣再问：“怎样才能掀翻这座大象？”
刘渊说道：“强大的晋朝为什么四分王裂，就是因为兄弟不团结，才搞得大晋如此贫弱。我们要想推翻这座大象，只有把我们小小的匈奴团结一致，变成一个人一样，才能成就大业。可是这样的大事，实在难啊！”
尽管这样，刘渊还是想到尽快回左城，脱离开司马颖的束缚为好，就给司马颖说，大爷死了，我要回去奔丧。司马颖挺精的，也怕刘渊回去再也不回来了，哪里肯放行？刘渊没办法，只好叫刘宣先回去，召集五部之众，会同宜阳诸多胡人，准备造反。
