裴耀卿與張九齡勸阻，說收穫季節未畢，大隊人馬會踩踏莊稼。
朝臣退散後，李林甫卻特意留下，對李隆基說：天子往來東西兩京，何必擇時？若影響收成，免租稅即可。
李隆基大悅，即日下詔西行。
此事之後，李隆基對九齡的疏遠又深了一層。
同年十一月，李隆基以“阿黨”為由，將裴耀卿、張九齡雙雙罷政事，張九齡遷尚書右丞相，李林甫獨掌中書令。
接著張九齡又因所薦監察御史周子諒彈劾牛仙客觸怒李隆基，坐“舉非其人”，貶為荊州長史。
他這一去，再也沒能回到長安。
張九齡本是太子李瑛（李嗣謙）的堅定保護者。他這一去，太子便日夜驚懼。
太子李瑛乃是李隆基在潞州任別駕時所結識的趙麗妃所出。後來李隆基識得武惠妃，逐漸冷落了趙麗妃。臨終前她請求出家修道，並希望薄葬從簡，李隆基感其誠心，憫然應允，卻終究沒去看她最後一眼。
太子沒了母親，又沒了張九齡這一黨的庇護，日夜驚懼憂思，不知哪一天災禍便會落到自己頭上。
這武惠妃乃是武則天的侄孫女，自幼養在宮中，性情乖巧，善於逢迎。
為了她，李隆基找理由廢了王皇后。
這王皇后乃李隆基結髮之妻，自臨淄王府便相伴左右，與他共歷武周之亂、韋后之禍，又參與誅除太平公主之謀，一路自刀山火海中走來。
李隆基初登基時，亦曾感念舊情，冊立為後，厚待王氏一族。但武惠妃日漸得寵，帝后之間漸生嫌隙。李隆基起初尚念昔日情分，糾結再三，遲遲不忍下手。耐不住武惠妃日日於耳邊進讒，王皇后又因失寵而時有怨言，加以其兄王守一求取厭勝之術為其求子，事發之後觸了李隆基大忌——“與則天皇后相比”一語，正戳中李隆基對武氏篡唐的舊恨。
開元十二年七月，李隆基終於下詔，廢王皇后為庶人，賜死王守一。王皇后被廢后不久便鬱鬱而終，後宮眾人皆為之哀泣，李隆基亦曾心生悔意，卻終究未收回成命。
這王皇后既廢了，李隆基便想讓武惠妃坐新的皇后，只因她姓武，群臣反對，才作罷。
既然皇后做不成，武惠妃便想做太后。李林甫看出她的心思，便獻上一條毒計。
開元二十五年四月，武惠妃構陷太子李瑛、鄂王李瑤、光王李琚謀反。
此時武惠妃已得寵多年，她先遣人召三兄弟入宮，謊稱宮中有盜賊，命他們披甲持械前來擒賊。三兄弟不知是計，依言入宮，武惠妃隨即向李隆基告發太子兵變。
李隆基大怒，召宰相商議。
李林甫最巧伺聖意，自然不置一詞。
李隆基遂下詔，將太子李瑛、鄂王李瑤、光王李琚廢為庶人。
十五日後，又賜三人自盡於長安城東驛。三兄弟的母親趙麗妃、皇甫德儀、劉才人早已失寵，太子李瑛居儲位二十餘年，一朝殞命，天下皆以為冤，時人稱之為“三庶人”。
同一年，武惠妃因心虛驚懼，一病不起，旋即病逝。
開元二十八年，武惠妃薨，後宮無當意者。高力士言壽王妃楊氏姿色冠代，李隆基召入溫泉宮，一見傾心，竟不顧翁媳之嫌、父子之倫，先令其度為女道士，號太真，居內太真宮。
開元二十九年，會陳王府參軍田同秀上言，稱于丹鳳門外見玄元皇帝，告以尹喜故宅有靈符，掘之果得，上鐫“天寶”二字。
他登勤政樓受酺。樓下廣運潭新成，漕船首尾相銜，望之不盡。船工齊聲唱起新翻的《得寶歌》，百名官伎鮮服靚妝，鼓笛相和，歌聲直上樓來：“得寶弘農野，弘農得寶耶！潭裡船車鬧，揚州銅器多。三郎當殿坐，看唱《得寶歌》。”歌詞之中竟直呼其乳名，滿樓上下聽得清清楚楚，卻無一人以為不妥，反倒唱得愈發響亮。
李隆基倚欄而聽，見樓下萬頭攢動，百姓仰面望他，臉上盡是敬慕之色，忽覺這江山真個是自己的了。他回首顧謂身旁宰相笑道：“朕治天下，比太宗何如？”
。寶天元改，下天赦大，賀樓政勤，朔月正年次於乃，喜大基隆李，番一承奉然自相宰
。暮暮朝朝，羽裳霓，輟不日終竹，園梨宴遊妃貴與日，政朝問復不遂，事無下天許自基隆李，後此自
