劉淵媽媽呼延氏，在曹魏嘉平中去龍門求子，看到黃河中躍出一條頂上有兩隻角的大魚，在祭品放置的地方徘徊很久才走。晚上的時候，呼延氏做了一個夢，夢見白天見到的那條大魚變成了一個人，左手拿了一個半個雞蛋大的東西，對自己說：“這是太陽之精，服之生貴子。”從此以後，過了13個月，生下了劉淵，劉淵的左手上有個“淵”字，所以，取了這個名字。——此種帝王神話，我們屢見不鮮了，姑妄聽之也罷。
不過，劉淵單就相貌上說，就不同凡響。據史書記載，劉淵“姿儀魁偉，身長八尺四寸，須長三尺餘，當心有赤毫毛三根，長三尺六寸。”按照現在的標準，身高將近2米，70多厘米長的胡子，心口窩出還有3根7、80厘米長的紅毫毛！不僅如此，而且還能文能武，臂力過人，射箭百發百中。
年幼的時候，劉淵跟著上黨學者崔遊學習，學習《毛詩》、《京氏易》、《馬氏尚書》，特別喜歡讀《春秋左氏傳》和《孫吳兵法》，幾乎能把這兩部書背誦下來，其他的書，比如，《史記》、《漢書》、諸子百家的文章，也都遍讀。他曾經對自己的同學朱紀、範隆說：“我每每讀《漢書》列傳的時候，常常鄙視隨何、陸賈沒有武藝，而周勃、灌嬰沒有文采。開創大業，全靠人來做，哪怕有一樣東西如果不明白的話，那就是君子的恥辱。隨何、陸賈遇到漢高祖而不能建立封侯之業，周勃、灌嬰身處漢文帝的和平年代又不能使文化繁榮，真是可惜的啊！”有的術士看到劉淵，都十分驚詫，以為此人的相貌見所未見。太原王家，從王渾的爸爸王昶開始就一直善待劉淵，直到王濟都和他交好。
還是在司馬昭當政的時候，劉淵就作為人質待在洛陽，等到司馬炎即位以後，王渾曾經向司馬炎推薦劉淵，司馬炎見到劉淵以後，很高興，對王濟說：“劉淵這個人從容貌上，還是從見識上，即使由餘（秦穆公的上卿）和金日磾（匈奴休屠王太子，輔佐漢武帝，忠心耿耿，武帝死後和霍光一起被任命為輔政大臣。）也比不過啊！”當時，司馬炎正為平吳的事情操心，王濟趁機進言說：“劉淵的容貌見識，確實和你說的一樣，但是，他的文武才幹卻比那二人要強很多的，如果您讓劉淵去平定東南，肯定沒問題。”司馬炎點頭稱善。但是，孔恂、楊珧告誡司馬炎說：“劉淵的才能，當今恐怕無人能比，陛下您如果給他的人手少了，不足成事；給的人多了，平定了吳國以後，恐怕他就不會回來了。非我族類，其心必異。讓他統領他自己的部眾，我就已經替陛下寒心了，如果您再讓他擁有長江天險的話，那不是太不應該了嗎！”聽到這裏，司馬炎不說話了。
到禿發樹機能鬧騰最歡的時候，司馬炎問還能派誰去當將帥。
這次，王渾家不再出頭了，同是並州人的李憙建議說：“陛下如果能把匈奴五部之眾征集起來，加劉淵一將軍之號，讓他帶兵西去，禿發樹機能一定能很快被平定。”
孔恂又一次在旁邊潑涼水：“李公您說的，恐怕是沒有把滅寇的道理參透啊。”
李憙勃然大怒說：“以匈奴兵的強悍，加上劉淵又明習兵法，怎麼能不成功！”
孔恂淡淡地說：“劉淵如果能平了涼州，斬了樹機能，無恐怕涼州的災難才剛剛開始啊。劉淵就象是蛟龍，一旦得雲雨，就不再是池塘中的玩物了。”
劉淵聽說以後，正巧王頎（曾受毌丘儉之命平滅高句麗）的孫子大俠王彌從洛陽往東回老家，劉淵設宴送別。宴席上，劉淵哭著對王彌說：“王渾、李憙因為是老鄉是我的知己，每每向皇帝推薦，可是讒言也隨之而來，這真不是我願意看到的啊。這樣下去不僅對我沒什麼好處，反而有害。無本來就不想當官，這一點隻有你知道，恐怕以後我要死在洛陽了啊，從此和您永別了。”當時，情緒激動，揚聲長嘯，眾人為之流淚。當時齊王司馬攸也在附近喝酒，聽到這邊喧嘩，派人來看，見劉淵在這裏聚眾，回去以後，對司馬炎說：“陛下不除掉劉淵，臣恐怕並州不得長久的安寧。”王渾勸司馬炎說：“劉淵是個厚道人，我王渾可以擔保。並且，現在我們要對少數民族顯示寬大，怎麼能殺了人家的人質呢？”
司馬炎同意了王渾的意見。
正巧劉淵的爸爸劉豹死了，司馬炎不僅沒有殺掉劉淵，而且還以劉淵代替他爸爸為匈奴左部帥。
作為安撫胡人的一項措施，同時也是對自己後事的一項安排，司馬炎除了拜慕容廆為鮮卑都尉以外，在太康10年，他把劉淵也拜為匈奴的北部都尉，確立了劉淵在北部匈奴各部的最高統治權。劉淵上任以後，開始進一步加強對5部的控製和拉攏，不僅匈奴部落的貴族都聚集到門下，而且，河北等地的人士也紛紛投靠。等到司馬炎死後，楊駿輔政，為了拉攏劉淵，更加劉淵為建威將軍、五部大都督，封漢光鄉侯，從而明確了劉淵在整個匈奴部落的統治權。