郭淮出身于东汉太原郡名门，其族曾祖父郭遵，东汉兖州刺史，曾守光禄大夫巡行天下。郭淮的祖父郭全是东汉大司农，父亲郭是东汉的雁门郡太守。建安中期，郭淮因出身门阀之族，故被举为孝廉，始任平原府丞。曹丕为五官将时，召郭淮署为门下贼曹，后转为丞相兵曹议令史，后长期在军中任职。
公元215年（建安二十年）七月，随曹操征讨汉中。曹操回军后，留征西将军夏侯渊守汉中，以拒刘备，并留郭淮为夏侯渊的司马。公元218年（建安二十三年），刘备统军攻汉中。
公元219年（建安二十四年）正月，刘备率主力渡过沔水，顺山势隐蔽疾行，迂回到阳平关侧后之定军山（今陕西勉县南），依据险要地势，待机歼敌。夏侯渊为摆脱被动，率兵争夺定军山。讨虏将军黄忠居高临下，发动迅猛冲击，斩夏侯渊及益州刺史赵，曹军大败，退守阳平关东。夏侯渊与刘备作战时，郭淮有病，未能随其出战。夏侯渊死后，魏军新失主帅，怕为蜀军所乘，三军皆失色。司马郭淮和督军杜袭收敛散卒，号令诸军：“张将军是国家的名将，深为刘备所忌惮；如今军情紧迫，只有在张将军的指挥下，才能转危为安。”于是推举张继夏侯渊为魏军主帅。张出任，诸将皆受张指挥，军心乃定。
第二天，刘备欲渡汉水来攻。诸将认为寡不敌众，想依水为阵以拒蜀军。郭淮说：“这是向敌人示弱，不能击败敌人，这不是上策。不如撤离岸边，在远处设阵，诱使敌人前来，等他们渡到河中央再发起进攻，一定可以打败刘备。”遂在汉水以北列阵，打算等到蜀军涉水半渡时进行反击。刘备疑心重重，隔水相持而不渡。郭淮遂坚守，示无还心。不久，曹操让张假节，以郭淮为张司马。
公元220年（延康元年），曹操去世，曹丕即魏王位，赐郭淮关内侯，转为镇西长史。又行征羌护军，护左将军张、冠军将军杨秋讨山贼郑甘、卢水叛胡等，皆平之。至此关中平定，百姓得以安于本业。
十月曹丕称帝，史称魏文帝。郭淮进京祝贺，因路上得病，所以去迟了。曹丕大宴群臣，责备郭淮说：“从前大禹在涂山召会诸侯，防风来晚了，结果被杀。而今普天同庆，你却来迟，为什么？”郭淮回答：“臣听说五帝首先用德来开导臣民。夏后时期朝政衰败，才开始用刑。而今我生逢唐虞盛世，因此知道自己不会遭受防风那样的杀戮。”曹丕听后很高兴，升郭淮为雍州（治长安，今西安西北）刺史，封射阳亭侯。后郭淮平定安定羌大帅辟蹄的反叛，威镇边疆。每当羌、胡有人来降，郭淮总是让人询问他们亲戚的情况，比如男女多少、年岁长幼等。等见到他们，已略知他们的心意，关怀备至，因此被胡人称作神明。
公元228年（太和二年），蜀丞相诸葛亮首次攻魏，派马谡守街亭，高详驻军柳城。张率军攻打街亭，而郭淮则率军佯攻柳城，牵制蜀军。随后又在罕破羌人唐泛，加建威将军。
公元229年（太和三年），诸葛亮第三次攻魏。遣陈式进攻祁山以南前已归蜀、街亭战后又被魏军收复的武都（今甘肃成县西）、阴平（今甘肃文县西北）二郡。郭淮率兵救援，在建威（今甘肃成县西）遭到诸葛亮主力的阻击，被迫退走。蜀军遂攻占武都、阴平二郡。
公元230年（太和四年），魏明帝决定兴师伐蜀，兵分三路会攻汉中。郭淮在阳溪被蜀军击败，其他几路魏军也因山洪暴发，道路阻绝而撤军。
公元231年（太和五年）二月，诸葛亮第四次攻魏，包围祁山。郭淮奉命与左将军张等随大将军司马懿防御蜀军。司马懿留部将费曜、戴陵率四千人守上（今甘肃天水），自率主力西救祁山。诸葛亮亦分兵一部继攻祁山，自率主力迎击司马懿。郭淮与费曜等率军袭击蜀军，但被诸葛亮击破，蜀军乘势抢先收割熟麦，获得军粮。时陇右无粮，有人建议从关中运粮，便路途非常远。这时郭淮招抚羌人，恩威并施，遂解军粮之急。转为扬武将军。
公元234年（青龙二年）二月，诸葛亮率军十万出斜谷第五次攻魏。四月，诸葛亮至，进驻渭水之南。司马懿率军渡渭水，背水筑垒阻击。司马懿分析形势后，对诸将说：“诸葛亮如果从武功出兵，依山而往东，确实可怕；如果向西前往五丈原，将领们就没事了。”诸葛亮果转进五丈原，魏将皆喜，唯郭淮深以为忧，他说：“诸葛亮肯定争夺北原，应当先去占据它。”[7]?诸将多不以为然。郭淮说：“如果诸葛亮跨过渭水登上北原，就可以连兵北山，断绝陇道，惊吓臣民和胡人，此乃国家安危之大患。”司马懿这才意识到北原的重要性，命郭淮等率兵移屯北原。堑垒尚未成，蜀军果至，攻而未克，两军遂成对峙状态。几天后，诸葛亮率军西行，诸将皆认为诸葛亮欲攻西围，唯郭淮认为诸葛亮欲攻西围是假，攻阳遂是真。当晚，蜀军果然攻阳遂，魏军因早有防备，击退了蜀军。八月，当月，诸葛亮病故于五丈原军中，部将杨仪、姜维率蜀军撤回汉中。
公元240年（正始元年），蜀将姜维出兵陇西，郭淮进军，追至强中。姜维撤退后，郭淮又讨伐羌族迷当等部，安抚氐族人，迁移三千多户百姓到关中地区。转任左将军。凉州休屠胡人梁元碧等率二千多家归附雍州，郭淮奏请