晋王杨广离开京城之后，京里关于易储的流言蜚语渐渐平息了下来，宰相高颖等人又开始筹划着为太子杨勇伸冤，企图让文帝杨坚解除对太子杨勇的圈禁。
为什么圈禁太子杨勇，文帝杨坚心里明镜，可高颖没数，他不依不饶地一再挑战文帝的耐心，这让本就对他心存猜忌的文帝心里的种子开始生根发芽。
他试探高颖道：“最近寡人总做一个梦，梦中有神灵告诉寡人说晋王一定能帮助寡人统一天下，高卿家，你说这是不是神灵在暗示寡人将来晋王会继承寡人的皇位？”
此时高颖跟晋王杨广的关系已经势同水火，晋王若是继承了皇位他们高家九族肯定不保，为此高颖拼死也要阻止文帝杨坚生出易储的念头。他噗通一声跪倒在地，回答道：“皇上，那只是一个梦而已，古往今来长幼有序，太子殿下从小就在您的教导下长大，他的一言一行，为人处世哪一点不依着您立的规矩行事，没有十足的理由怎么可以说废就废呢？”
“呵----呵----呵-----”
文帝杨坚冷笑了两声，便不再提废太子的事情。
这让高颖很是得意，心里暗想：“皇上的耳根子就是软，做事没有自己的主见------”
殊不知文帝杨坚此时心里已经把他划到了自己的对立面。
高颖身为宰相，追随文帝杨坚数十年，曾帮助他平定了以尉迟迥为首的三方叛乱，如今又在伐陈战役中立了大功。文帝心里还顾念着君臣之情，嘴上没再跟高颖计较心里却产生了高度的警惕。慢慢地疏远了高颖，同杨素走得越来越近。
对此高颖也有所警觉，也为之不安。可事到临头，当文帝杨坚的行为威胁到太子杨勇安危的时候他还是毫不犹豫地站了出来，维护他的利益。
为了削减太子的势力，文帝首先从东宫的防护入手，他征调了一部分东宫侍卫扩充到了自己的护卫队。正常的征调活动，没有人敢提意见，高颖却从中看到了危机找到了文帝杨坚。
“陛下，您从东宫挑选侍卫，这无可厚非，但你不能挑选那些武艺高强的侍卫-----”
这话让文帝气乐了：“依高爱卿的意思，寡人就该带些老弱病残的侍卫？”
“------”
这话堵得高颖无话可说。
接着文帝杨坚又说道：“寡人作为一国之君时常需要去全国各地巡查，面临的风险和状况很多，需要强有力的侍卫在旁边策应；而太子整日呆在东宫里，宫外有层层禁军把守，你觉得他府里需要这么多侍卫吗？早前太子扩充东宫，寡人一再反对，是你们这些老臣硬逼着寡人答应了下来，事实证明重兵保卫东宫的做法浪费朝廷的人力物力，弊大于利，依寡人看，东宫根本就不需要另外豢养侍卫，东宫的安危交由皇宫卫队监管就好。高爱卿，你作为朝廷的老人，应该熟知前朝往事，寡人希望你不要走过去的老路。”
文帝杨坚的话软硬兼施，让高颖心里一惊，意识到太子杨勇的大势已去，高家的安危不能再寄托在他的身上了。