回朝之後，唐高宗親眼見證這場絕境翻盤，對黑齒常之讚歎不已，破格提拔他為左武衛將軍、檢校左羽林軍，賞賜黃金五百兩、絹五百匹，兼任河源軍副使，駐守青海核心防禦據點河源，專門對抗吐蕃主力。
河源是河西通往西域的咽喉，吐蕃想要東進中原，必先拿下此地，戰略地位至關重要，卻常年補給困難，糧草轉運損耗巨大，駐軍時常缺糧。黑齒常之上任之後，沒有一味被動防守，推出一套兼顧戰備、屯田的治理方案，在河源駐守七年，徹底扭轉西線被動局面。
第一，修築防禦體系。沿青海沿線設立七十餘座烽燧戍堡，高低錯落，相互呼應，吐蕃騎兵只要出動，烽煙半日就能傳遍整條防線，唐軍有充足時間集結佈防，杜絕敵軍偷襲。
第二，大規模軍屯墾荒。帶領士兵開墾荒地五千餘頃，每年收穫糧食百萬石，軍糧完全自給自足，不再依靠內地長途轉運，減輕朝廷財政壓力。史料記載，他是有史可查，首位在青海大規模屯田的異族將領。
第三，改良步兵、騎兵協同戰術，打造剋制吐蕃重騎的拒馬槍陣，訓練夜襲、奔襲特種小隊，常年保持部隊高強度操練。
永隆二年，西元680年，吐蕃大將論贊婆、素和貴率領三萬大軍進犯良非川，氣焰囂張。黑齒常之手中僅有三千可調動兵力，敵我兵力懸殊十倍，換作普通將領只會固守堡壘，絕不主動出戰。但黑齒常之另闢蹊徑，白天佈置疑兵，讓士兵在馬尾捆綁樹枝，騎馬來回奔跑，揚起漫天塵土，製造數萬大軍駐紮的假象，迷惑吐蕃斥候；深夜親率主力突襲吐蕃主營，斬殺兩千餘名敵軍，焚燬吐蕃囤積多年的糧倉，繳獲大量牛馬軍械，論贊婆倉皇敗退，數年不敢再踏入河源地界。
駐守河源七年間，吐蕃數次大規模入侵，全部被黑齒常之擊退，西線邊境難得迎來長久安寧，吐蕃內部流傳傳言：“河源有黑齒將軍，不可東進半步。”憑藉西線赫赫戰功，黑齒常之不斷升遷，爵位穩步提升，距離大唐頂級武官僅一步之遙。
武則天掌權後，後突厥汗國在阿史那骨篤祿帶領下迅速崛起，頻繁南下劫掠幷州、昌平、朔州等地，北方邊境戰火再起，朝廷屢次派兵征討，大多損兵折將，難以遏制突厥騎兵。垂拱二年，朝廷調黑齒常之北上，主持北方邊防。
剛抵達兩井地界，黑齒常之就遭遇三千突厥騎兵。當時突厥士兵正下馬卸下盔甲休整，毫無防備，戰機轉瞬即逝。他沒有絲毫猶豫，親自帶領兩百精銳騎兵直衝敵陣，突厥人來不及披甲上馬，丟盔棄甲四散奔逃，大量兵器、牛羊輜重盡數被唐軍繳獲，初次交手便大獲全勝。
垂拱三年，突厥可汗骨篤祿、元珍大舉進犯朔州，朝廷正式任命黑齒常之為燕然道大總管，李多祚擔任副將，統領北方全部守軍北上迎敵。兩軍在黃花堆展開決戰，黑齒常之排兵佈陣沉穩老練，先用步兵穩固中路，兩翼騎兵迂迴包抄，突厥騎兵擅長野戰，卻被分割包圍，全線潰敗。唐軍一路追擊四十餘里，突厥殘部四散逃往大漠以北，很長一段時間不敢南下劫掠中原州縣。
黃花堆大捷之後，朝中中郎將爨寶璧心生嫉妒，認為黑齒常之搶走全部功勞，主動上書武則天，請求獨自領兵深入漠北，徹底剿滅突厥主力。武則天下令，讓爨寶璧與黑齒常之兩軍聯合進軍。
爨寶璧貪功冒進，根本不聽黑齒常之勸阻，不等主力匯合，獨自帶領一萬三千輕騎孤軍深入大漠，中了突厥埋伏，全軍覆沒，僅有少數殘兵逃回。戰敗訊息傳回洛陽，朝廷追責，爨寶璧下獄處死，黑齒常之雖全力勸阻，卻因協同作戰失利，受到牽連，沒有得到任何封賞，還被調任懷遠軍經略大使，變相削去兵權。
這件事足以看出黑齒常之為人處世的短板：性格耿直，不擅長朝堂鑽營，不懂討好權貴，只埋頭治軍打仗，沒有朝中重臣為他說話，一旦戰事出現紕漏，所有非議都會壓在他身上。同期不少文武官員依附武氏宗親、酷吏集團，只有黑齒常之一心守邊，從不參與朝堂黨爭，也拒絕賄賂權貴，漸漸被朝堂高層疏遠。
除對抗吐蕃、突厥兩大強敵外，黑齒常之還參與平定徐敬業揚州叛亂。嗣聖元年，李敬業起兵討伐武則天，東南震動，黑齒常之領兵南下平叛，配合主力迅速擊潰叛軍，穩定江南局勢，憑藉南北西線一連串戰功，進封燕國公，食邑三千戶，官至左武威大將軍、檢校左羽林軍，手握皇宮禁軍與邊防重兵，是武周時期為數不多兼具對外作戰、宿衛京城雙重職權的大將。
身居國公、大將軍高位，黑齒常之依舊保持樸素作風。不置辦豪宅良田，不蓄養歌姬，所得俸祿、賞賜盡數分給麾下將士；對待士兵親如子弟，麾下戰馬被小兵騎乘致死，他也不曾責罰士兵；軍中將士負傷，他親自調配藥材，軍中無人不感念恩德。新舊唐書評價：“常之御下有恩，士皆樂為之死。”
可越是深受軍心愛戴，手握重兵、出身異族，在多疑的武則天與酷吏眼中，越是潛藏巨大威脅。朝堂暗流湧動，針對他的羅織構陷，正在悄然醞釀。
永昌元年，西元689年，酷吏周興掀起新一輪清算浪潮，大肆誣陷文武大臣謀反，靠捏造口供、酷刑逼供剷除異己。周興素來嫉妒黑齒常之軍功顯赫、深受士兵擁護，又知曉他出身百濟異族，最容易引發君主猜忌，便憑空捏造罪名，誣告黑齒常之與右鷹揚將軍趙懷節暗中勾結，密謀起兵謀反。
謀反是武周時期最重罪名，武則天本就對手握重兵的外姓、異族將領心存戒備，看到周興呈上的誣告訴狀，未加仔細核查，直接下旨將黑齒常之抓捕，打入詔獄審訊。
詔獄由酷吏全權掌控，裡面酷刑數不勝數，但凡被關押之人，極少能清白走出。周興親自提審黑齒常之，逼迫他承認謀反，動用各種酷刑摧殘，史料記載審訊時甚至敲碎他的牙齒，百般折磨。
面對酷刑，黑齒常之自始至終不肯承認莫須有的謀反罪名。他細數自己歸唐二十六年全部功績：平定百濟殘餘、千里馳援救下李敬玄十萬大軍、鎮守河源七年壓制吐蕃、黃花堆大破突厥、南下平定徐敬業叛亂，一生為大唐浴血奮戰，從未有半分異心，麾下數萬將士均可作證。
可酷吏辦案從不在乎真相，只要拿到認罪口供便可結案邀功。周興不斷加重刑罰，日夜輪番審訊，不讓他休息，妄圖消磨他的意志。黑齒常之清楚，酷吏刻意羅織罪名，武則天先入為主認定他有罪，自己即便耗盡口舌，也難以洗清冤屈，繼續關押只會遭受無盡折磨，甚至牽連家中兒子黑齒俊。
永昌元年十月初九，西元689年11月26日，年僅六十歲的黑齒常之，在陰暗潮溼的詔獄之中，解下衣帶自縊身亡。一代橫掃吐蕃、威震漠北的不敗名將，沒有戰死沙場，沒有安享國公尊榮，最終慘死在酷吏構陷的冤獄之中，訊息傳到邊關，全軍將士痛哭失聲，邊境軍民無不惋惜悲嘆。
黑齒常之離世後，家中僅留有一子黑齒俊。其子承襲父親忠勇品性，從軍立功，官至游擊將軍、右豹韜衛翊府左郎將、上柱國，可惜英年早逝，三十一歲便病逝。父子二人墓誌相繼在洛陽出土，完整填補了兩唐書簡略記載的史料空白，讓後人看清黑齒常之完整一生。
黑齒常之的冤案，整整沉寂九年，直到聖曆元年，武則天逐步看清酷吏周興、來俊臣一夥殘害忠良的真相，開始清算酷吏、平反冤假錯案。朝廷重新核查黑齒常之案件，確認他從頭到尾沒有任何謀反實據，完全是遭人誣告陷害，武則天專門下發平反詔書，原文記載：“故左武威衛大將軍、檢校左羽林衛、上柱國、燕國公黑齒常之，早襲衣冠，各經驅策，亟總師律，載宣績效，往遘飛言，爰從訊獄，幽憤殞命。比加檢察，曾無反狀。言念非辜，良深嗟憫，宜從雪免，庶慰塋魂，增以寵章，式光泉壤。可贈左玉鈐衛大將軍，勳封如故。”
朝廷追贈左玉鈐衛大將軍，恢復燕國公全部勳位封地，以國公禮儀重新改葬，徹底洗刷二十六年忠勇大將身上的汙名。
只是這份遲到九年的清白，再也換不回那個駐守邊關、善待士卒、百戰無敗的異族名將。
