公元527年，陈庆之从曹仲宗伐涡阳，从他领兵甚少但有假节，从参与军机以及拥有假节这一点可以看出，他很可能是监军一类的角色。北魏则派遣宗室元昭等人领军十五万救援，前军部队赶到驼涧。当时手下只有两百人的陈庆之建议夜袭，另一将领韦放则认为敌军的前锋部队都是精锐，不易取胜。陈庆之最后说你们都不去我带我那两百人去。于是，他带领自己的部属二百，长途奔袭四十里，一夜之内乘魏军远来新至，打了个出其不意，击败了北魏的先头部队，北魏的大部队听到先头部队被打败了，全军震恐，行动迟缓，士气大跌。他确实了不起，他能够看清敌情,魏15万大军长途远征疲劳是肯定的,再加北人初到南方，水土不服,更重要的是大军中部族占了多数,这样一来他只需打散这些被拉壮丁给拉来，本来就不想打仗的部族队伍，然后趁势掩杀。
但双方的实力比较实在是相差太多，因此双方在涡阳附近自春至冬打了近一年，战斗上百次，胜负还未分，但北魏的援军已经在梁军的后方筑起营垒，形成夹击之势。曹、韦二人实在是打不下去了，准备撤退。陈庆之拿着假节在大营门口堵住部队，力主决战。曹、韦吓住了，把指挥权交给了他。陈庆之立刻率领精锐夜袭北魏援军自以为坚不可摧的十三道营垒，破其四垒，涡阳城主王纬乞降。梁军乘胜强攻，俘斩甚多，其余九垒皆溃。梁军大获全胜，魏军的尸首淤塞了淮水的支流。但这些和陈庆之后期的军事辉煌比起来，简直微弱得不值一提。
公元528年，北魏发生内乱，有实力的诸如萧宝寅、葛荣、尔朱荣等纷纷割据，而且尔朱荣大肆屠杀北魏皇室，没实力的象北海王元颢，就只有象春秋时期那样自托他国，借助他国的力量去成为本国的皇帝。于是元颢以本朝大乱为由降梁，并请梁朝出兵助其称帝。萧衍为了敷衍元颢，又有试探北魏的想法，于是以元颢为魏王，并以陈庆之为假节、飙勇将军，率兵7000人护送元颢北归上洛阳称帝。
其实元颢也知道自己的斤两，没打算真的打下洛阳，他出兵不久就称帝不走了，给封陈庆之为卫将军、徐州刺史、武都公一堆官职，命其继续督军西上攻荥阳，委任他自行战斗。于是在连绵的春雨之中，陈庆之带领自己直属的区区七千部队，开始了神话一般的北伐之旅。
公元529年4月，陈庆之领兵乘北魏征讨邢杲起义军之际，乘虚攻占荥城(今河南商丘东)，进逼梁国(今河南商丘)。
陈庆之攻克荥城后，进军睢阳。睢阳的守将叫做丘大千，就是在陈庆之初阵中以十倍兵力据营防守而仍然被打败的那家伙。现在这仗几乎完全是当初那仗的重演：七千对七万，一样的一比十，一样的军力多的反而防守，不过这次丘大千吸取教训，连筑了九座营垒抵挡而已。但结果毫无二致：不怪丘大千，只怪他遇到了陈庆之。陈庆之假装精通妖术,令他的军队都身穿奇装异服,打仗时口念异语。荥城大战时,城下一夜之间竟突起数千冢,梁军皆穿白袍,四周迷烟,鬼号一响,数千兵士掘坟而出,魏兵见状四散奔逃,溃不成军。陈庆之一上午就攻陷了其中三座，丘大千完全失去了斗志，于是举众投降。其实是他事先挖好坟头,让兵士进去藏好,号令一响就出来,古代人很迷信,以为是阴兵,所以丢盔卸甲,扭头就跑.以后打仗魏兵有了心病。
元颢遂进驻睢阳(今河南商丘南)，授予陈庆之使持节、镇北将军、护军、前军大都督。时魏济阴王元晖业率羽林军2万来援，占据考城阻挡陈庆之，考城四面环水，易守难攻。陈庆之在水面筑垒，攻下考城，生擒元晖业，“获租车七千八百辆”。胜利之后，陈庆之继续进军洛阳。一路上有不少地方闻风归降。
5月，魏帝元子攸分派部众扼守荥阳(今属河南)、虎牢(今荥阳西北汜水镇)等地，以保卫京都洛阳。魏左仆射杨昱、西阿王元庆、抚军将军元显恭等率羽林军7万守荥阳，以拒梁军。魏军兵锋甚锐，加上荥阳城坚，陈庆之攻之不克。时魏将上党王元天穆大军将至，先遣其骠骑将军尔朱吐没儿领胡骑5000、骑将鲁安率夏州步骑9000增援杨昱。又遣右仆射尔朱世隆、西荆州刺史王罴率骑兵1万，进据虎牢。魏军共计30万人，对梁军进行合围。元颢派人劝杨昱投降，但被拒绝。不久，元天穆与尔朱吐没儿相继而至，魏军一时旗鼓相望。没想到包围圈刚刚形成，还没来得及进攻，陈庆之亲自擂鼓攻城，只一鼓，梁军便悉数登城。勇士宋景休、鱼天愍首先登上城墙，梁军相继而入，遂克荥阳，俘杨昱,杀其属下37将,生刳其心而食。陈庆之收缴荥阳的储备，牛马谷帛都不可胜计。七万守军的荥阳挡不住七千白袍军？汗颜啊！
不久，元天穆等引20万援兵围城，注意：其中有十五万是精锐的少数民族骑兵。占领荥阳的陈庆之看到二十余万北魏援军浩浩荡荡压到城下，压根没想守城，遂率3000精骑背城而战。大破之，三千对二十万，双方大部是骑兵。陈庆之三千人全歼北魏二十万援军，鲁安于阵前投降，元天穆、尔朱吐没儿单骑获免。陈庆之大概还觉得不过瘾，带着这三千人顺便进军虎牢关，有一万精锐、踞雄关险要的虎牢守将尔朱世隆不敢战，弃城而逃，梁