五胡通常是指匈奴、羯、鲜卑、氐、羌五个边疆民族。羯是匈奴别种，鲜卑一般认为属东胡。氐跟羌自东汉末年到三国时代，逐渐和汉人混居在一起，从事农业跟畜牧。直到西晋的时候，氐跟羌都还没有成为一个凶暴的集团。当时为害中原最厉害的是入居河北、山西，以及陕西北部的北方民族，尤其是匈奴和羯。
当汉朝国力强大的时候，匈奴大都住在长城以北，过着游牧生活。东汉末年起，才有一部分的匈奴人移住到长城以内，或在汉人统治下工作，或形成部落定居下来，从事农耕生活。这些匈奴人在战乱或凶年的时候，有的投靠晋朝的地方将领，充当士兵；有的成为豪族的农奴或奴隶。尤其在晋武帝的时候，太始元年（公元265年）有两万多人来归，太康五年（公元284年）有两万九千人来归，太康八年（公元287年）有十多万人来归，武帝允许他们住在山西跟陕西一带。最值得注意的是，晋武帝太康元年（公元280年）灭吴以后，把地方上的军力缩小了，以致无法控制大量南下的匈奴族。
胡人和汉人混居在一块，加上它的势力一天比一天强大，使得当时的政府官员很害怕。于是，有人向晋武帝建议，把胡人强制遣回北方原住地，避免以后发生问题。晋武帝不听。武帝死后，晋惠帝即位，守护朝廷的八王互相争夺政权，引起了历史上的“八王之乱”。战乱地区从洛阳扩大到中原一带。这一带的居民，由于战争、歉收、掠夺，一直过着流亡生活。
晋惠帝元康六年（公元296年）、七年（公元297年），关中一带连续大饥荒，加上瘟疫流行，米一石高涨到一万钱，还常常买不到。直到元康八年，饥荒才好不容易停止，但是别的地方又发生了大水灾。在这样的情况下，战争、抢掠和杀人还到处发生，持续不断。于是那些早先受雇于汉人，过着农耕生活的胡人，就无法住在荒芜战乱的地区，开始流窜寻食，有的成为盗贼，有的组成军队，到处抢劫骚扰。这些胡人（尤其是匈奴）慢慢地团结成一个强大的武力集团，而后从这集团中产生出足以服众的领袖人物。
晋怀帝永嘉四年（公元310年），华北一带发生大蝗灾，一村移向一村，草木都被蝗虫吃光，甚至连牛马的毛都保不住，瘟疫跟着也发生。襄阳地方因为发生瘟疫，有三千多人丧失了生命。在瘟疫发生的前几年，匈奴人刘渊统一了山西地方的匈奴人，自立为汉王，接着称帝，建都平阳（今山西临汾）。刘渊死后，子刘聪杀兄继位，开始派遣部下将领到各地袭击晋军，又命令刘曜攻击洛阳。晋军与匈奴军队经过前后十二次的攻防之战，洛阳终于陷落。匈奴军队烧了洛阳各处的衙门，杀了太子、王公、大臣跟老百姓达三万多人，皇帝陵墓也被挖开。怀帝被俘虏，送到平阳，过不久就被杀害。这就是历史上所说的“永嘉之乱”。
怀帝被杀以后，愍帝在长安即位。愍帝建兴四年（公元316年），刘曜又进围长安，愍帝投降，西晋灭亡。此后，黄河流域一带就成为五胡互相争夺霸权的地方。
