李渊出身于北周关陇的贵族家庭，是十六国时期西凉开国君主李暠的后裔，世代显贵。李渊的祖父李虎，西魏时期太尉，联合丞相宇文泰及太保李弼、大司马独孤信等同保魏室，是西魏八柱国之一，赐姓大野氏。

北周受禅之后，追封李虎为唐国公。唐朝的国号，溯源于此。杨坚成为北周静帝大丞相之后，还本姓。李渊父亲李昞，北周御史大夫、安州总管、柱国大将军，袭封唐国公。

李渊七岁时，其父亲李昞去世，李渊袭封为唐国公。开皇元年（581年），隋文帝受北周静帝禅让，建立隋朝。隋文帝任命李渊为千牛备身（皇帝的禁卫武官）。

李渊在隋炀帝即位之初先后做了荥阳（今河南省荥阳市）、楼烦（今山西省静乐县）两个郡的太守，后来又被任命为殿内少监、卫尉少卿。

隋炀帝大业十三年（617年），李渊正式任太原留守、晋阳宫监，成为这一地区最高军政长官。李渊奉命率兵征讨历山飞贼甄翟儿，与甄翟儿遭遇在河西郡（今山西省汾阳市）的雀鼠谷，李渊大获全胜。

在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。李渊之子李世民知隋必亡，暗中结交豪杰，招纳逃亡之人，网罗各种人才。

大业十三年（617年）七月，李渊率军三万誓师，以“废昏立明，拥立代王，匡复隋室”的名义正式起兵直趋关中。在发布的檄文里他斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾。誓师后，李渊与长子建成、次子世民挥师南下，先后破守霍邑（今山西省霍县）的隋鹰牙郎将宋老生、渡黄河，对守河东的隋将屈突通围而不攻。迅速向西南挺进。当时，隋炀帝远在江都（今江苏扬州），关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父子进军神速。

大业十三年（617年）十一月九日，李渊父子攻入长安。李氏父子完全控制了关中局势。

义宁二年（618年），徙封李世民为赵国公，三月，隋炀帝在江都被禁军将领兵变杀死，五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。

唐朝建立之初，疆土只限于关中和河东一带，尚未完全统治全国，因此，李渊经常派遣儿子李世民、李建成、李元吉出征，逐步消灭各地割据势力。最终，于武德七年（624年），终于实现天下统一。

但父子之间却出现了嫌隙，武德九年六月四日（626年7月2日），李世民在帝都长安城宫城玄武门附近射杀皇太子李建成、齐王李元吉，史称“玄武门之变”。事后，李世民杀李建成、李元吉诸子，并将他们从宗籍中除名，李渊让出军政大权给予秦王李世民。六月七日，李世民被立为皇太子，李渊下诏说：“自今以后军国事务，无论大小悉数委任太子处决，然后奏闻皇帝。”

武德九年（626年）八月九日，李渊退位称太上皇，禅位于李世民。李世民登基，是为唐太宗，次年改元贞观。贞观九年（635年）五月六日，李渊因病驾崩于垂拱前殿，年七十岁。