唐玄宗被呛得半天说不出话来。[51]
过了一年多，张九龄与唐玄宗又起冲突，原因仍然是官员的任命。这次皇帝要奖励的是河西节度使牛仙客，因为他节约开支，勤于政事，让防区之内兵强马壮气象一新。玄宗正需要这样的人才，所以提出给他加封尚书的头衔。
张九龄照例反对。
其实张九龄与牛仙客并无个人恩怨，反对的原因也仅仅由于在他看来，宰相和尚书应该是像他这样的士大夫，而不该是长期在地方上工作的基层干部，更不该是军人。因此他极其傲慢地说：牛仙客当了尚书，朝廷会因之蒙羞。
玄宗只好让步：封个爵位总可以吧？
张九龄说：那也不行。爵位是用来奖励功臣的。牛仙客只是做好了本职工作，哪有功劳可言？陛下如果一定要予以嘉奖，多赏些金银财宝就可以了。
皇帝终于忍无可忍，勃然变色说：天底下，难道什么事情都得由你说了才算吗？
张九龄跪倒在地说：臣愚蠢，不敢不实话实说。
玄宗皇帝一声冷笑：你口口声声讲资格，嫌牛仙客出身卑微上不了台面。那么请问，你自己又是什么门第？
张九龄说：牛仙客生于中原，是华夏正宗，确非臣这岭南边鄙野人可比。但，臣在朝廷毕竟任职多年，牛仙客却是边境小吏，胸无点墨，又岂能担当重任？
玄宗皇帝恨得牙齿发痒。[52]
实际上这次皇帝发怒是有原因的。此前，为了从洛阳还都长安，他就跟张九龄闹得很不愉快。玄宗希望尽快，张九龄却坚持等到入冬，理由是当时正值秋收。这件事最后是靠李林甫解决的。李林甫私下里对皇帝说：长安和洛阳不过是陛下的西宫和东宫，想住就住，挑什么日子？
封赏牛仙客的事也如愿以偿。这同样因为李林甫私下里对皇帝说：只要有才干，何必一定要会写文章？何况用人乃天子之权。天子想用谁就用谁，用谁不是用？[53]
玄宗皇帝很高兴。
老天爷也似乎要帮李林甫的忙。离开洛阳那天，长安发生地震。玄宗趁机免去两京当年的赋税，又提拔奖赏沿途地方官员，赦免罪犯，于是一路听到的都是歌功颂德。
更凑巧的是，回到长安不久，洛阳也地震了。这就让玄宗认为，他和李林甫的决定是正确的。而且，按照“天人合一”的理念，地震意味着宰相不合格，应予罢免。[54]
张九龄却不知道自己危在旦夕，依然我行我素，结果由于为某个涉案官员辩护，而被认为是结党营私。更何况在废立太子的问题上，他也与玄宗意见相左，终于让皇帝下定决心搬走这块挡路的石头，将他和裴耀卿一起罢免。[55]
推波助澜的，当然又是李林甫。
实际上张九龄并无意于争权夺利，他甚至写了一首名为咏燕的诗送给李林甫。在诗中，张九龄以燕子的口气表明了自己的心迹：无心与物竞，鹰隼莫相猜。[56]
可惜，鹰隼并不会因为燕子与世无争就不下手。李林甫既然要大权独揽，就不会放过张九龄和裴耀卿。于是，并未与张九龄结党的裴耀卿，也只好成为城门失火之时被殃及的池鱼。据说，宣布任免决定时，两位前宰相悲愤难言，李林甫洋洋得意，旁观者则窃窃私语说：一雕挟两兔。[57]
是的，李林甫笑了，笑得又阴又冷。