姚崇心思縝密，深諳帝王心術，很快抓住機會，尋得由頭彈劾張說結黨弄權，玄宗本就因之前阻撓之事心存芥蒂，順勢免去張說中書令職務，外放相州刺史，不久再貶嶽州刺史。
嶽州地處洞庭湖畔，風光秀麗，卻屬於貶官安置之地。接連兩次拜相，又接連跌落，張說心中滿是失意苦悶，昔日朝堂宰輔，如今困守江南小城，身邊無舊部同僚，只能寄情山水詩文。
後世評價張說詩文，公認“貶謫嶽州之後，詩益悽婉，人謂得江山助”。洞庭煙波、遠山孤舟，盡數融入他的筆墨之中，文字褪去宮廷應制文的華麗堆砌，多了真摯沉鬱的人生感慨。《同趙侍御望歸舟》一詩，以江樹、歸鳥、遠行客船寫盡離別孤寂，成為唐代貶謫詩的代表之作。
他在嶽州任職期間，行事收斂鋒芒，勤勉處理地方民政，興修水利開墾屯田，安撫境內百姓，政績可圈可點。當時同為朝廷重臣的許國公蘇頲深受玄宗信任，張說寫下懇切書信，傾訴自身境遇，蘇頲深知張說才幹，多次在玄宗面前為他美言，稱讚其文武兼備、忠於皇室，玄宗怒氣漸漸消解，將張說調任荊州長史，處境稍有緩和。
開元七年，朝廷北疆邊防頻頻告急，突厥、契丹各部矛盾頻發，急需兼具謀略、膽識，又通曉異族事務的大臣坐鎮，玄宗想起久歷風波、處事成熟的張說，下詔任命他檢校幷州大都督長史、天兵軍大使，兼任御史大夫，同時依舊保留修國史的職權，奔赴太原統籌北方軍政。
剛到幷州，邊境便爆發大規模叛亂，突厥降戶康待賓聚眾起兵，劫掠州縣，朝廷派兵鎮壓屢屢受挫，戰局僵持。玄宗下詔命張說統籌平叛軍務，他親率一萬步騎出合河關突襲叛軍，一路追擊至駱駝堰，擊潰康待賓主力。
戰亂平定後，隨軍將領阿史那獻認為党項部族反覆無常，此次叛亂黨項人暗中附和，請求將所有党項降眾全部誅殺，永絕後患。張說堅決反對濫殺，直言：“治國之道，在於包容安撫，若是盡數屠戮，有違天道，邊疆異族只會徹底敵視大唐，戰亂永無寧日。”他主動上書朝廷，請求新設麟州，劃分土地安置党項殘餘部眾，推行懷柔政策，邊境族群矛盾大幅緩和。
次年，突厥九姓部落人心浮動，暗中滋生反叛苗頭，軍中眾將全都勸張說多帶兵馬，謹慎前往安撫，避免遭遇埋伏。張說只挑選二十名騎兵，持朝廷符節直接進入異族首領牙帳，當晚留宿部落大營，毫無防備。
副使李憲萬分擔憂，接連送信勸阻，害怕胡人趁機加害，張說回信坦然：“我的肉不是黃羊肉，不必擔心胡人拿來果腹；我的血不是野馬血，不必畏懼他們刺殺。身為朝廷臣子，危難之時捨身報國，正是我分內之事。”
他在營帳中和各部首領推心置腹，分析戰亂帶來的流離之苦，宣講大唐安撫優待的政策，各部首領被他坦蕩無畏的氣度折服，紛紛放下戒備，宣誓效忠大唐，一場一觸即發的大規模叛亂，僅憑一席談話消弭於無形，真正做到兵不血刃安定北疆。
開元十年，康待賓餘黨康願子再度自立可汗，劫掠牧馬，渡黃河逃竄，張說再度率軍平定叛亂。連續兩場平叛、數次安撫異族之後，他看清大唐府兵制度的巨大弊端：常年駐守北疆的鎮軍數十萬，老弱混雜，空耗國庫錢糧，百姓苦於輪番兵役，耕地荒蕪，府兵逃亡現象越來越嚴重。
回到太原之後，張說呈上長篇奏疏，提出兩項影響整個盛唐的軍事改革舉措：其一，裁撤邊境冗餘鎮兵二十萬，讓士兵解甲歸田，恢復農耕，減輕國家軍費負擔；其二，廢除老舊府兵輪番戍邊制度，推行招募青壯年壯士充任常備宿衛，也就是後世所說的募兵制。
這項改革初期遭到大批守舊武將反對，認為裁軍會削弱邊防力量，張說反覆向玄宗論證利弊，對比府兵、募兵的優劣，細數冗兵帶來的財政拖累，玄宗最終全盤採納他的提議。
募兵制的推行，徹底改變初唐以來沿用百年的兵農合一體系，士兵專職戍守邊疆、護衛京師，作戰能力大幅提升，國庫開支得到最佳化，開元盛世穩定的邊防根基，大半出自張說此次上書獻策。
北疆任職數年，張說文武雙全的才能徹底展露，玄宗極為滿意，下旨將他召回京城，拜兵部尚書、同中書門下三品，第三次踏入宰相行列，人生第三次迎來權力巔峰。
重回中樞之後，張說最重要的兩項功績，一是完善大唐禮制，二是主持開元十三年泰山封禪大典。
開元年間天下太平，五穀豐登，四夷臣服，文武百官屢次上書，請玄宗前往泰山封禪，祭祀天地，彰顯大唐盛世功業。玄宗心中有意，卻顧慮封禪流程繁雜、禮制缺失，無人能夠統籌全域性，張說主動牽頭，全面修訂封禪全套禮儀、流程、祭品、官員班次，耗費數年打磨完整禮制方案。
整套封禪大典規制典雅大氣，兼顧古禮與當代國情，玄宗看過方案十分滿意，直接任命張說為封禪使，全權統籌泰山所有事務。
封禪大典舉行期間，朝中官員按照品級隨行，張說藉著總負責人的職權，暗中提拔自家女婿鄭鎰。鄭鎰原本只是九品小官，大典結束之後，直接越級提拔至五品，驟然升遷太過突兀，滿朝官員議論紛紛。
宴席之上，玄宗察覺到鄭鎰官職變動異常，隨口詢問緣由，宮廷優人黃幡綽當場一句戲謔應答：“此乃泰山之力也。”
一句話一語雙關，既指鄭鎰依靠泰山封禪大典升官，又暗指他藉著岳父張說的權勢平步青雲，自此之後，“泰山”便成為岳父的代名詞，流傳千年，這個家喻戶曉的典故，便出自張說主持的封禪大典。
這件事也側面印證張說性格中的短板：偏愛提攜親眷，看重人情私利，行事不夠公允，為他日後遭人彈劾埋下隱患。
封禪歸來，玄宗晉升張說為中書令，加封右丞相，兼任集賢院學士，總領天下文教學術。當時朝廷打算授予他“集賢院大學士”頭銜，張說主動推辭，直言：“自古以來學士從未加‘大’字，臣不敢破壞舊制，妄自尊大。”這份自知分寸的清醒，讓玄宗愈發敬重。
在集賢院主事期間，張說大力扶持文壇後進，廣納有才之士入館修書、授課，賀知章、王翰、張九齡、孫逖等一大批盛唐文人都受過他的舉薦與提攜。他主張“文以經國”，反對南朝遺留下來空洞浮華、脫離現實的駢文，倡導文章兼具氣勢、內涵與教化作用，一手扭轉初唐末年萎靡文風，奠定盛唐詩文開闊雄渾的核心基調。
他本人文筆冠絕一朝，朝廷重要制誥、大赦文書、王公大臣碑誌幾乎全部交由他執筆，行文俊麗精密，氣勢磅礴，和同為文壇領袖的許國公蘇頲並稱“燕許大手筆”，執掌大唐文壇整整三十年。
除此之外，張說牽頭修訂完整《開元禮》，統一大唐朝野祭祀、朝會、婚嫁、喪葬全套禮制，結束此前禮制混亂、各地風俗不一的局面，這套禮制貫穿整個盛唐，成為後世王朝禮制範本，稱得上開元文治第一功臣。
彼時張家滿門榮寵，長子張均擔任中書舍人，次子張垍迎娶玄宗之女寧親公主，拜駙馬都尉，連張說兄長都被特授銀青光祿大夫。張說上朝之日，玄宗特意下令宮中置辦宴席、演奏樂舞，親自作詩贈予他，滿朝文武無人能及這份帝王恩寵，張家一時風光無兩。
張說性情急躁剛烈，朝堂之上但凡大臣奏事不合他心意，他會當場厲聲駁斥，甚至當眾呵斥，平日裡與不少同僚結下私怨。再加上他素來喜愛收受財物，親信下屬藉著他的權勢收受賄賂、私相授官，種種行事短板，全都落在有心人眼中。
。說張恨記同一融文宇附依，甫林李的野朝傾權後日有還；排打次屢，墨文通不他棄嫌說張，任重以委宗玄被初當甫崔夫大史；立對底徹見政人二，姓百擾驚查清苛嚴心擔，攔阻奏上次多說張，策政田查清、戶逃下天括檢行推年早融文宇丞中史。發底徹盾矛，年四十元開
。厲嚴盡極辭措辭言，數無賂賄收，落部姓九原太予贈財錢萬千撥調自擅，財斂賣勢仗臣堯範、觀張信親；職閒予授規違，機堂朝探窺，邸府出岸道人僧納接；福祈告禱祀祭中家在，則慶王士結下私：罪重項數說張列羅，書文劾彈篇長書上合聯，盟同結人三
。賴抵法無責罪，法伏罪認都全士、信親說張，鑿確據證可，烈慘面場，冤鳴弟弟為朵耳破割，堂朝赴奔接直張長兄說張。說張訊審省書尚在，組案專立臣重等抗韋、曜乾源令下即當，怒震章奏劾彈完看宗玄
。存無然嚴威相丞日昔，悴憔恐惶臉滿，食進瓦陋簡用，上堆草乾在坐，面垢頭蓬說張，報稟朝回士力高，視探中獄往前士力高宦腹心遣派宗玄，後之夜兩押關
。史國撰修家居他許允，份士學院賢集留保舊依，職令書中說張去免，刑重判有沒，分臣君年十數及念究終，忍不中心宗玄，勞功大巨的禪封持主、疆邊定平、子太持護年早他數細，求說張為機趁士力高
。子班相宰出退底徹，事差史修留保只，休退仕致式正說張令詔下宗玄，年次。打言進番，譭詆前面宗玄在斷不續持，復報復度再後日說張心擔人三甫林李、甫崔、融文宇，謫貶放流員連牽名餘十，死刑杖判被則慶王士、觀張信親案涉
。臣老位這遠疏底徹未並，食酒、匹絹賜賞，問門登侍遣派常時宗玄，爭紛堂朝與參再不，史國撰修門閉說張，後之位權去褪
。印相掌執次一後最他是這，位高堂朝回重，相丞左書尚為他命任新重久不，司三同儀府開封加後之工完，訂修持主他用啟度再宗玄，通說張有唯制禮套整，軌儀祀祭寢陵帝先備籌廷朝，後年數仕致
。世離病重中家在說張的歲四十六，月二十年八十元開。軋傾力權捲度深再不，樂禮善完、籍典訂修、院賢集理打心專，多許了執爭堂朝，芒鋒半大斂收說張，事一劾彈獄牢過經是只
。”貞文“號諡予賜，師太贈追，文碑道神寫撰說張為自親，悼哀達表此以，會朝型大旦元月正年次消取詔下意特，分萬痛悲宗玄唐，宮皇傳息訊
