9岁的司马懿便开始为曹操谋事。曹操让他与太子曹丕往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主簿等职，与陈群、吴质、朱烁共称“太子四友”。太子曹丕极其信任司马懿，于是司马懿也是尽心侍奉太子，他勤于职守，废寝忘食，逐渐让曹操接受并委以重任。
公元216年，曹操晋爵魏王。第二年，曹操册立曹丕为魏王太子，司马懿升太子中庶子。由于司马懿博学多才，善于谋略，为曹丕所倚重。同时司马懿也展现了出色的军事政治上的才能，于是常常参与国事的谋略，不久就做了丞相军司马。当时，刘备再次夺取了汉中，镇守荆州的是大将关羽，大将关羽围魏将曹仁、水淹七军、擒于禁、斩庞德，一时间声势“威震华夏”。因为汉献帝在许县，距樊城很近，曹操感到威胁，为了躲避关羽的锋芒，一度准备迁都河北。多亏司马懿和曹椽蒋济及时劝阻，司马懿说：“于禁被水军所淹，不是战守上的失误，对于国家的大局并没有大损失，为此而迁都，就是向敌人示弱，而且会使淮河汉水一带的人心不稳；刘备、孙权外亲内疏，现在关羽坐大，孙权必定更不高兴，您只需要把这件事告诉孙权，让他牵制关羽，那么樊城之围自然会解开。”曹操听了司马懿的计策依计而行，孙权果然派吕蒙袭取江陵，关羽被其俘杀。这场战事利用了孙、刘争夺荆州的矛盾，充分地运用了外交上的谋略，使曹操坐收渔利，不仅挫败了关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权。
公元220年（延康元年），曹操去世，朝廷内外一片忧虑和恐惧，司马懿管理丧葬事宜，一切都次序井然。后来，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。同年十一月，曹丕登皇帝位，史称魏文帝。登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。在整个过程中，司马懿协助曹丕完成了禅让，并由此开始了三代（文帝曹丕、明帝曹叡、齐王曹芳）辅
