两次公开商议废除、另立皇后，李世绩都推脱有病没有参加，这使得唐高宗李治很纳闷，也使他急于想知道李世绩的态度。于是在几之后，唐高宗李治单独召见李世绩，径直问道：我想立武昭仪为皇后，褚遂良固执以为不可，他是顾命大臣，事情该怎么办呢？李世绩只是简单的回答道：
此陛下家事，何必更问外人！
这句话看起来好像没有表态，实际上却是暗示：唐高宗李治要把握废立皇后，当做自己的家事来处理，用不着去询问外人，即不必要去考虑褚遂良等顾命大臣的意见，尽可以按照自己的心意册封武则为皇后。
李世绩身为元老重臣，当时任司空，在宰相中位居第二位，仅次于太尉长孙无忌。他的这一表态，给了唐高宗极大的鼓舞和力量，使他最终下定了废除王皇后，另立武则为皇后的决心。