大业十一年(615),隋炀帝派遣唐国公李渊为并州、河东抚慰大使,镇压毋端儿和历山飞等农民起义军。李渊因此有机会与武士彟建立联系,并经常“休止其家”。大业十三年(617)初,李渊、李世民父子决定乘乱起兵,夺取天下。武士彟被李渊命为大将军府司铠参军,并随唐军西行入长安。
唐朝建立后,武士彟被封为二级功臣,并赐于铁券,给予他以死罪免死的优待。
武士彟元配夫人相里氏和其中的一个儿子相继死去,留下武元庆和武元爽两个男孩在世。于是,高祖李渊知道后,亲自为武士彟张罗婚事,高祖为武士彟选中了隋朝贵族杨达的女儿,婚礼费用全部由国库支付。武士彟与杨氏婚后共生了三个女孩,次女武则天。
太宗贞观元年(627)十二月, 李世民命武士彟任利州(今四川广元市)都督。贞观六年(632),改任荆州(今湖北荆门市、当阳市以南、枝江市、松滋市以东及潜江市、石首市以西地区)都督。武士彟在荆州任上出击重拳打击豪强,积极发展农业生产,唐太宗手敕他“善政”。