杨玄感于是在河南郡屯兵，准备攻打东都洛阳，并向被占领的郡县百姓宣扬道：“杨某身为上柱国，家里黄金细软甚多，可说身处既富且贵的地步。杨某如今已是一无所求，不顾被破家灭族的危险，只是为了为天下人解倒悬之急，拯救黎民百姓的性命罢了。”
沿途的民众听了他的煽动之言，都很高兴，到他军中请求效力的，每天都有数千人。杨玄感信心大增，还迫不及待地给樊子盖写信，说明利害关系，希望樊子盖能归顺于他，不过樊子盖却是严辞拒绝了他的招降，反而屯兵于虎牢关，阻挡杨玄感进入洛阳。让杨玄感一时之间难以寸进。
而半个月后，形势却发生了变化：长安太守卫玄，率军五万，奉杨广之命，从关中赶过来援救洛阳了。
卫玄先用步兵、骑兵二万，作为前军渡过黄河前来挑战，杨玄感决定采取诱敌深入的办法，先假装败退，然后将敌军引入了自己的埋伏圈。
卫玄不知是计，只顾追赶，结果这时杨玄感的伏兵冲了出来，隋军大为恐慌，几乎溃不成军。卫玄的前军全被歼灭。
几天后，卫玄又与杨玄感交战，两军刚交战不久，杨玄感就故意让人大呼道：“官军已经捉住了杨玄感了！”
卫玄军以为己方大胜，顿时松懈了下来。但这时，杨玄感亲率八千骑兵乘机从侧翼进攻，并高呼自己还在，杨玄感军顿时士气大振。
卫玄军士卒眼见敌军主帅还在，心中落差极大，士气顿时受挫，加上受到杨玄感军两面夹击，顿时被杀得大败。卫玄最后只带了两千人逃走。
杨玄感骁勇力大，每次作战，他都亲自挥舞长矛，身先士卒，呼叫叱咤，众敌莫不震骇。人们把他比作项羽。
而在起事前期，他又善于安抚、带领部队，那些投军的士兵也乐意为他拚死效力，因此战无不胜。
卫玄军被追杀得十分窘迫，一直退到邙山才站稳脚跟。
不过这时他也得到了从河东、荆襄赶来的隋军支援。
但他的兵力虽然增加了，可粮食却有些不足。于是卫玄决定孤注一掷，率领全部人马上前决战，阵地就摆在北邙。
由于隋军是背水一战，十分勇猛，和杨玄感军在一天之中，交战了十几次，双方互有胜负。
杨玄感也第一次遭受到了挫败：他的弟弟杨玄挺不小心被隋军流箭射死，导致其所率部队崩溃。
无奈之下，杨玄感军不得不稍稍退却。而这时，在荥阳的李渊也派兵赶到，从杨玄感军背后杀到，李渊之子李玄霸阵前一锤击毙了杨玄感的弟弟杨玄纵。杨玄感军顿时大败，不得不向黎阳退去。
而这时，杨广却已经到了河北。他于是先命从江淮赶来支援的武贲郎将陈棱，率一支偏师，急行军到了黎阳城下，开始进攻已经投诚杨玄感的元务本。
然后，杨广又派右武卫将军屈突通驻扎在河阳，准备渡过黄河进攻杨玄感军。
左翊卫大将军宇文述也率十万隋军发兵继进，杨玄感原本一片大好的形势，顿时逆转。
杨玄感这时方懊悔不已，忙请计于李密。
李密思忖片刻之后，则献计道：“主公，宇文述有大军十万，且军中猛将如云，如待其大军到达，我军就势难抵挡。但屈突通军则兵力稍弱。如让其渡过黄河，和宇文述合兵一处，那么就败局已定。不如分兵拒守黄河，只要让屈突通过不了黄河，则樊子盖、卫玄就失去了援兵。而己方抢在敌人援兵到来之前，先行击溃卫玄和樊子盖军，尚有一线胜利希望。”
杨玄感认为此计可行，便派其子杨嵘分兵赴黄河拒防屈突通。
樊子盖却看破了他的计谋，一直不停地进攻杨玄感的军营，便杨玄感又犹豫起来，担心分兵之后，无力击溃樊子盖和卫玄的军队。
而屈突通便抓住此机会，渡过黄河，在破陵驻军，威胁杨玄感军的侧翼。
此时，杨玄感不得不将军队一分为三，北面抵抗卫玄，东面抵抗屈突通，西面抵挡樊子盖。
数天之后，宇文述率隋军主力到达战场，并与屈突通、樊子盖和卫玄三人取得了联系，四路隋军同时出击，与杨玄感展开了大战。
由于隋军兵力雄厚，杨玄感军频频败北。
杨玄感不得已，又请计于李密，李密叹息道：“如今隋军主力援军已到，我军屡败，不可久留。现在关中隋军早被卫玄带来河南，其内空虚。我军不如直接进入关中，打开永丰仓，以赈济穷人，重新聚集力量。夺取关中之后，再向东发展，争夺天下，这也是唯一的希望。”
李密所献的计策，其实就是当初他为杨玄感献的上中下三策中的中策。
只不过，如果在隋军主力没有返回之前用此策，倒不失为一条好计谋。而如今，要在二十多万隋军的包围下，去取关中显然有些不太可能。但如果不依此计行事，则杨玄感军必然被全歼。
不过，此时正好有弘农杨氏的几人请求当向导，称可为杨玄感引路进攻弘农。
而杨玄感和杨素父子原本就是出身于弘农杨氏，他见状非常高兴。于是便放弃了进攻洛阳，决定西取关中。
而宇文述则率隋军主力跟在后面紧追不舍。到了弘农之后，家族的父老乡亲们则拦着杨玄感道：“弘农城兵力空虚，又贮存有很多粮食，容易攻破。这样，家主便可开仓济民，招揽兵马。”
杨玄感深以为然，于是便留下攻弘农城。但他没想