永安元年（304年），司马颖击败司马乂，成为皇太弟，任命刘渊为屯骑校尉。不久东海王司马越等与晋惠帝征讨司马颖，驻扎在荡阴，司马颖任命刘渊为代理辅国将军，负责北城防守诸事务。
等到晋惠帝六军战败时，司马颖又任命刘渊为荡冠将军，封为卢奴伯。不久，安北将军王浚，起兵讨伐司马颖，刘渊劝司马颖说：“现在王浚的人骄横、强暴，兵众十万，恐怕不是宿卫军以及都城附近的兵士所能抵抗得了的，我请求回去为殿下您劝说五部的人马来赴国难。”
司马颖有些不放心，问：“五部的人马可以担保前来吗？即使能够前来参战，鲜卑、乌丸之人强劲、快捷如同风云，是那么容易抵挡的吗？我想护送皇上回洛阳，以避开他们的锋芒，接着再慢慢地告示天下，以叛乱的名义，名正言顺地制服他们。您认为怎样？”
刘渊回答说：“殿下是武帝之子，对王室有突出的功劳，有威望、恩泽广，天下人都钦佩您的风范，谁不想为殿下您赴汤蹈火、献出生命呢？这种情况下，征发士兵有什么困难呢？王浚是个小人，他哪能与殿下您抗衡！殿下您如果一离开邺宫，就等于向他人示弱，这样，洛阳能到达吗？
“纵然到了洛阳，恐怕威望、权力就不在殿下您的手里。一纸檄文，一尺书信，有谁肯去为他人尊奉这些！况且东胡的强悍不能超过五部之人，希望殿下您鼓励、安抚兵众，平定混乱，镇守住邺城。我当为殿下您以五胡的兵力斩杀王浚，这个小人的首级指日就可悬挂在邺城城头。”
在刘渊的巧舌如簧下，司马颖非常高兴，于是任命刘渊为北部单于、参丞相军事。刘渊回到左国城（今山西离石）后，无异于放虎归山，蛟龙入水，终于不受司马颖控制。众贵族商量一番，刘宣再对刘渊提议道：“我们诸位王爷愿意上下同心，推举你为大单于，在您的领导下，坚决服从您的意志，谁要是有三心二意，我们共除之！”
“口说无凭，我们何以上下同心？”刘渊再次激励众位王爷。
于是大家杀白马，歃血为盟，喝了血酒，刘宣等人便为刘渊上大单于的称号，二十日之间就聚众五万，定都离石。
后来王浚派将军祁弘率领鲜卑兵众进攻邺城，司马颖战败，于是，挟持天子向洛阳落荒而逃。刘渊感恩于司马颖对他的知遇之恩，和众贵族商议说：“司马颖不听我的话，向相反的方向溃逃，真是奴才。然而我与他有言在先，不能不去救他。”
于是，命令右于陆王刘景、左独鹿王刘延年等人率领步兵骑兵二万，将去讨伐鲜卑和乌桓。
刘宣和众贵族商量一番，出来坚决劝阻，对刘渊说：“晋朝昏庸无道，他们像对待奴隶一样对待我们，所以鲜卑和乌桓人非常愤怒，承受不了心中怨恨，想有所作为。现在，司马氏父子兄弟互相残杀，这是上天厌恶晋朝的德行，将天下授予我们。
“单于积德在身，连晋人都佩服，鲜卑、乌桓可以作为我们的援助力量，怎么可以阻挡他们而去拯救仇敌呢！上天赐予了而不接受，反过来就会受到上天的责备。希望单于不要出兵去打击鲜卑和乌桓。”
刘渊想了想，刘宣说得也对，这也叫坐山观虎斗，不战而屈人之兵，点了点头说道：“说得对！应该做高山峻岭，怎么能甘心做低矮的小土丘呢！天下的帝王也不是一承不变的，大禹出自西戎，周文王出生在东夷，谁该做帝王，只能按德行的高低授予。
“现在，我们有兵十多万，而每个人都相当于晋朝十个人，如果我们击鼓进军、摧垮晋朝，必将如同摧枯拉朽。我又是汉朝刘氏的外甥，我们的祖先曾与汉朝相约为兄弟，兄长灭亡了，弟弟来继承，不也是应该的吗？”
永兴元年（304年），刘渊在南郊筑坛设祭，自称汉王，建年号为元熙，追尊刘禅为孝怀皇帝，建造汉高祖以下三祖五宗的神位进行祭祀。署置百官，任命刘宣为丞相，崔游为御史大夫，其余的人授官各有位置，国号为汉（史称汉赵、前赵）。
刘渊的崛起，当时的并州刺史司马腾不干了，卧榻之旁，岂容他人鼾睡，我的地盘，怎么能容许匈奴造反。离石就在并州的西边偏南150公里，可以说抬抬脚就到了。
司马腾立刻派聂玄率领5万大军讨伐刘渊，双方在大陵（今山西文水）展开大战，一向孱弱的晋朝军队，怎么能打过如狼似虎的汉赵军队，聂玄军大败。司马腾害怕，于是率领并州二万多户百姓逃到山东，到处侵犯、骚扰百姓。刘渊军队则乘胜进军，接连攻下并州等地。
司马腾又派司马瑜、周良、石鲜等人率军再次讨伐刘渊，他们驻扎在离石的汾城一带。刘渊则派刘钦等人率军迎战司马瑜。双方几次交战，司马瑜都没有占着便宜。
真是一波未平，一波又起，摁下葫芦瓢起来，正当叶枫雄卧冀州，虎视眈眈地注意着西边离石一带匈奴大单于刘渊的时候，天下又有一支乱军出来了，那就是历阳（今安徽和县、金山县）的陈敏。
陈敏，今安徽舒城人氏，齐王司马冏起兵讨伐赵王司马伦的时候，陈敏任广陵（扬州）度支（管财务的，也管后勤），因工作突出，被提拔为广陵相。任职为广陵相的陈敏，拥兵自重，又自恃有些胆略，不免飘飘然，野心膨胀，做起了割据的美梦。
时逢天下大乱，我不出头谁出头。
当陈敏的父亲知道陈敏的野心后，大怒道：“孩不嫌娘丑，狗不嫌家贫，你怎么可以有此叛国之心呢？灭我家族的，一定是你这小子。”
陈敏的父亲死后，陈敏自动离职，东海王司马越准备西去迎接晋惠帝，起用陈敏为右将军、假节、前锋都督。当时司马越正在讨伐豫州刺史刘乔，陈敏带兵与司马越会合，跟司马越一起作战，在军事上暂时失利。
陈敏对司马越说：“我请求回到东边，收集兵卒据守历阳。待稍微有了起色，再来支援你。”
