隋末唐初，突厥趁天下大乱之际，频频越过西陉关（古雁门关）侵扰关内之地。西陉关成为抗击突厥的最后一道防线，雁门县做为西陉关的后援和指挥中心，战略地位日趋重要。交战双方在这里展开了激烈的争夺战，互有胜负。

大业十三年（公元617年），隋朝叛将马邑校尉刘武周依附突厥，率兵攻打雁门县，城内将士坚守百余日，最终弓尽粮绝，城破失守（见《资治通鉴·卷一百八十三》）。

武德三年（公元620年），刘武周被秦王李世民打败后，他统治下的北方军民虽然归顺了大唐，却担心朝廷清算他们以前追随刘武周的行为，个个惶恐不安。鉴于这一情况，唐高祖李渊于武德四年二月二十九日颁布了《赦代州总管府内诏》，对代州总管府内石岭关以北的军民百姓施以恩德，无论他们在诏书颁布前有什么样的过错，犯下多么严重的罪行，一律宽恕赦免，不再追究。这一诏书的颁布施行，安抚了边关民心，保证了北部重镇代州的社会稳定。

武德四年（公元621年）四月，突厥颉利可汗率骑兵一万余人侵袭雁门县，被代州总管李大恩击败。

武德五年（公元622年）四月，代州总管李大恩孤军出雁门，谋取马邑（今山西朔州），战败身亡。八月，突厥颉利可汗率十五万骑兵入雁门，攻并州。

面对边关的严峻形势，唐王朝在雁门县先后设立了代州总管府、代州都督府，统领边关各州、县军队，合力抵御突厥的侵扰。

《旧唐书·卷三十九·志第十九·地理二》记载：“武德元年，置代州总管，管代、忻、蔚三州。代州领雁门、繁畤、崞、五台四县。五年，废总管。六年，又置，管代、蔚、忻、朔四州。

《唐会要·卷六十八》记载：“武德七年二月十二日，改大总管府为大都督府。管十州以上，为上都督府，不满十州，只为都督府。”

武德七年是公元624年，这就说明，代州总管府改为代州都督府的日期当为公元624年的农历二月十二日，代州都督府当时管辖代、蔚、忻、朔四州，不满十州，所以不是上都督府。