唐朝初定天下，定都长安后，朝廷对这些部队重礼优待，大部分被赐予关中地区的肥沃粮田，解甲归田了。
一小部分则编成了唐天子手中的近卫部队，号称“元从禁军”，并屯驻于宫城北玄武门外，此后即子承父业、代代相传，成为“父子兵”。
李世民即位之后的第一件事就是从“元从禁军”中选取善骑射的卫士百人，后来的规模越来越大，甚至是独立成军，不过还是分两番轮流在宫城北门玄武门宿卫，并且穿虎皮衣、骑属于皇家闲厩的六色驳马，跟从李世民田猎、演武，并赐以军号“百骑”。这支部队长期屯驻在北门，不同于轮流番上的外地府兵，因此也被称为“北门（玄武门）长上”（“长上”对应于“番上”，是长期宿卫而不是轮流宿卫）。
而此时禁卫军的首脑，玄武门长上正是张士贵。