陈庆之自幼便跟随萧衍。萧衍酷爱下棋，棋瘾一上来可谓废寝忘食，经常通宵达旦地和人对弈，其他人都会自己筋疲力竭，唯独陈庆之特别旺盛，只要萧衍想下棋，他随叫随到，甚得萧衍的欢心。
天监元年（502年），萧衍受禅登基，建立南朝梁政权，是为梁武帝。后来，陈庆之被任命为主书，期间散尽钱财，招集士人，常想有一天能够为朝廷效力。[2] 普通六年（525年）正月，北魏徐州刺史元法僧叛乱不成，在彭城投降南朝梁，并请求梁武帝派兵接应。梁武帝以陈庆之为武威将军，与胡龙牙、成景俊率梁军前去接应。
回军后，陈庆之任宣猛将军、文德主帅，并率2000人送豫章王萧综入镇徐州。同年五月，魏遣安丰王元延明、临淮王元彧率2万来拒，屯据陟□。元延明先遣其将丘大千筑垒，以切断梁军的进军路线。陈庆之进逼其垒，魏军一鼓便溃。
六月，萧综乘夜离开梁军投降北魏。天亮后，梁军找不到萧综，却听见魏军在城外说：“汝豫章王昨夜已来，在我军中，汝尚何为！”于是梁军溃散了。魏军进入彭城，乘胜追击梁兵，重新夺取了之前被攻占的城池，一直到宿豫才返回。梁军损失十之七八，只有陈庆之斩关夜退，所辖的部队全部生还。

普通七年（526年），安西将军元树出征寿春，陈庆之为假节、总知军事。魏豫州刺史李宪遣其子李长钧筑两城以拒之，陈庆之攻拔两城。十一月，李宪力屈而降，陈庆之入据其城。此次作战，梁军共克52城，获75000人。陈庆之转为东宫直阁，赐爵关中侯。
大通元年（527年）十月，陈庆之与领军将军曹仲宗联合进攻北魏涡阳。 后梁军依靠陈庆之的计谋大败魏军，涡水因为俘斩过多而断流，又接受了城中3万余人的投降。涡阳一战，魏军全军覆没。