时太子勇失爱于上，潜有废立之意，谓熲曰：“有神告晋王妃，言王必有天下，若之何？”熲长跪曰：“长幼有序，岂可废乎！”上默然而止。独孤皇后知熲不可夺，阴欲去之。
高熲不仅反对废长立幼，而且是“长跪”着反对，这个动作彻底触动了独孤皇后内心最不愿意揭开的伤疤。从这时开始，独孤皇后便有了拔掉高熲的想法。此后，她利用接连发生的三件事，一步步把高熲拉下神坛。
第一件，小妾生子事件。高熲的夫人去世之后，独孤皇后给隋文帝说：“高仆射都那么大年纪了，现如今夫人去世，身边也没有人照顾，我看你不如再给他娶一个吧。”隋文帝一听觉得很有道理，毕竟高熲为自己的江山立下了汗马功劳，而且丧妻再娶也不违反老婆的一夫一妻原则，所以就答应下来，让人去把高熲找来。高熲来到大殿上，隋文帝先开口了：
“爱卿，你为我大隋开疆拓土，立下了不世之功，近日听闻贵夫人不幸染病身亡，寡人非常悲痛呀！爱卿你年事已高，怎可无人服侍？寡人做主，再给你张罗一个，如何？”
高熲一听这话，叹了口气，慢吞吞地说：
“臣已经一把年纪了，每天退朝之后，在家吃斋念佛。陛下圣明，处处为臣着想，臣不胜感激。但是臣实在年迈，早已无此念想了。”
隋文帝一看高熲如此开心见诚，也就不再提此事了。
几天之后，高熲身边的一个小妾产下一子。杨坚听说之后非常高兴，但是偏偏惹恼了另一个人——独孤皇后。从独孤皇后就杨勇偏爱云昭训一事而非常恼怒便可以推断出来，她对纳妾之事尚且怀恨在心，更不用说小妾生子。她抓住这个机会，在隋文帝面前狠狠地将高熲批了一顿：“陛下您还能再信任高熲吗？之前您说再给他娶一个，他推脱吃斋念佛，原来是另有他图！他这不是当着您的面撒谎么！现在这个骗局被揭穿，陛下您还能再相信他吗？”
且不论独孤皇后对此的反应是否太过极端，但至少这件事给我们后人带来了一个不一样的高熲。读《隋书·高熲传》前半部分，我们往往会惊叹于高熲的政治智慧、军事才能以及谦虚让功的品格，不过高熲在这件事上表现得不够谨慎。虽然在古代，男人纳妾并不是不光彩的事，但在废立太子将行未行这个最敏感的时间点上，高熲放纵了自己，没有考虑到独孤皇后的反应。小妾生子，本为喜事，但对于高熲来说，无疑为他打开了通向深渊的大门。
《隋书·高熲传》记载了隋文帝听到独孤皇后言论之后的反应：“上由是疏熲。”
第二件事，征讨高句丽。高句丽是我国古代的一个民族政权，存在时间大约在西汉后期到唐中前期，领土大致在今天我国境内的辽宁省、吉林省以及朝鲜半岛。开皇十八年（公元598年），高句丽国王高元进犯辽西，被当时的营州总管韦冲击退。但是隋文帝杨坚很不开心，他认为高句丽乃是弹丸小国，竟然如此嚣张，不把我中原大国放在眼里。于是杨坚任命自己的小儿子汉王杨谅为帅，高熲随行，率军三十万，进攻高句丽。但是高熲认为此举断断不可，出征之前，他苦苦进谏，认为正值雨季，山高路险，又有河水阻隔，对我军非常不利，而且从长安进发到辽东，路途遥远，战线拖得太长，一旦后勤补给跟不上，那么整支远征军或有全军覆没之危。
高熲分析得的确没错，但是隋文帝杨坚会听吗？很显然是不会的。一者隋文帝有自己的考虑，毕竟讨伐高句丽是关乎国威的大事；二者隋文帝自小妾生子事件后已经对高熲有所怀疑和疏远，自然不会听从他的言论，所以杨坚仍然坚持出兵，征讨高句丽。
事情果然不出高熲所料，汉王杨谅此次出兵，最终无功而返。《隋书·高祖下》记载：
（十八年乙巳）以汉王谅为行军元帅，水陆三十万伐高丽……九月乙丑，汉王谅师遇疾疫而旋，死者十**。
高句丽不可不谓隋朝的克星，杨坚面对高句丽政权一筹莫展，后来的隋炀帝发全国之力三征高句丽亦不得，此为后话。这次远征失利之后，最倒霉的不是汉王杨谅，而是高熲。独孤皇后借题发挥，她对隋文帝杨坚说：“熲初不欲行，陛下强遣之，妾固知其无功矣。”独孤皇后的话什么意思？她认为高熲是带头反对东征高句丽的，但现在迫不得已被文帝派去，所以在东征路上他一定没有尽心尽力，致有今日之败。笔者认为，独孤皇后这番话讲得无凭无据，我们很难讲高熲究竟有没有为东征尽心尽力，但独孤皇后仅因为他反对东征就给他安一个“不负责”的过失显然是无稽之谈。不过从另一个角度上讲，独孤皇后这样讲并非没有她自己的考虑——她不单是为了自己和高熲的私仇而这样说，更是为了隋文帝杨坚而这样说。
历史上有很多相似的例子。比如，东汉末年官渡之战前袁绍的谋士田丰极力反对袁绍要与曹操“决成败于一战”的想法，而应凭险而守，与曹操进行长时间的消耗战。袁绍为稳军心而将田丰下狱。后来袁绍战败的消息传到河北，有人对田丰说