公元215年（建安二十年），曹操征讨张鲁，司马懿随军。他对曹操说：“刘备用诡计俘虏刘璋，蜀人未归附而又争夺遥远的江陵，这是破蜀的机会，不可错过。今若在汉中陈兵示威，益州就会震动不安，再进兵威逼，蜀兵势必瓦解，趁这个好机会，事情是可以成功的。圣人不能违时，也不能失时。”曹操说：“人苦于不知足，既得陇右，复欲得蜀。”未从其计。
公元217年（建安二十二年），曹丕被封魏王太子，公元219年（建安二十四年）司马懿升任太子中庶子，佐助曹丕。时司马懿“每与大谋，辄有奇策”，为曹丕所信任和重用。司马懿与陈群、吴质、朱铄并称“四友”。
此后，司马懿更是常谋国事，多出奇策。不久，司马懿转为丞相军司马。他指出?
荆州刺史胡修粗暴，南乡太守傅方骄奢，都不应驻守边防，曹操未予重视。同年六月，刘备继取汉中后，派孟达、刘封攻占汉中郡东部的房陵、上庸等地，势力有所扩展。七月，孙权欲攻合肥，魏军大部调动淮南防备吴军。镇守荆州的关羽，乘此机会率主力北攻荆襄。围魏将曹仁，水淹于禁七军，斩庞德。胡、傅二人果然乘机降蜀。
此战利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权。
之后曹操认为荆州遗民及在颍川屯田的军民逼近南方寇贼，想把他们牵走。司马懿认为：“荆楚轻脱，易动难安。关羽新破，诸为恶者藏窜观望。今徙其善者，既伤其意，将令去者不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。
公元220年（延康元年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。
同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
公元220年（黄初元年）十一月，曹丕登皇帝位，史称魏文帝。登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
公元221年（黄初二年），免去督军官职，升任侍中、尚书右仆射。
公元222年（黄初三年）和公元224年（黄初五年），曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯。
公元225年（黄初六年）二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息。此非以为荣，乃分忧耳。”
同年，曹丕又大兴水军攻吴，仍命司马懿留守，“内镇百姓，外供军资”。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿。曹参虽有战功，而萧何为重。使吾无西顾之忧，不亦可乎！”后曹丕由广陵回师洛阳，又下诏对司马懿说：“吾东，抚军当总西事；吾西，抚军当总东事。”于是司马懿留镇许昌。
黄初七年（226年）五月，曹丕驾崩，享年四十岁。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子曹说：“有间此三公者，慎勿疑之。”曹即位，改封司马懿为舞阳侯。
孙权得知魏文帝去世后，于八月出兵攻魏。命吴左将军诸葛瑾部兵分两路进攻襄阳，亲自率军进攻江夏郡。孙权一路为魏军所败，遂撤兵而走。而诸葛瑾则被司马懿击败，并斩杀吴将张霸，斩首千余级。十二月，升任骠骑将军。
公元227年（太和元年）六月，魏明帝命司马懿驻扎宛城，加督荆、豫二州诸军事。蜀将孟达降魏时，魏朝待其甚厚，司马懿认为他言行倾巧，不可信任。但皇帝不听，任命孟达领新城太守，封侯，假节。曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。
申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解，信中说：“将军昔弃刘备，身国家，国家委将军以疆埸之任，任将军以图蜀之事，可谓心贯白日。蜀人愚智，莫不切齿于将军。诸葛亮欲相破，惟苦无路耳。模之所言，非小事也，亮岂轻之而令宣露，此殆易知耳。”
孟达得信大喜，犹豫不决。司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。司马懿说：“达无信义，此其相疑之时也，当及其未定促决之。”司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下。吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。
此前，诸葛亮曾告诫孟达加紧防范，孟达写信给诸葛亮认为：“宛城和洛阳相距八百里，离我处一千二百里，上表给天子，来回路程，少需一个月，那时我的城