陳伯之，是濟陰睢陵人。十三四歲時，喜歡戴一頂獺皮帽子，帶著刺刀，等鄰村稻熟時，便去偷割。有一次被田主人發現了，呵責他說：「小子別動！」陳伯之說：「所幸您家稻穀很多，取一擔算得了什麼？」田主準備去抓他。他拔出刀來趕上前去，說：「小子，你想怎樣？」田主們嚇得返身逃走，陳伯之這才慢吞吞地挑著稻穀回家去。長大以後，他多次在鍾離當強盜搶劫。他曾經當面搶人家的船隻，船工抓了他，割下一隻左耳。後來他跟隨了本鄉人車騎將軍王廣之，王廣之喜愛他英勇，每夜讓他睡在自己的下榻，作戰時經常帶他跟隨在身邊。由於陳伯之連立戰功，累遷至驃騎司馬，被封為魚復縣伯。
梁武帝起兵時，東昏侯讓陳伯之假持節，都督前驅諸軍事、豫州刺史，又轉至江州，佔據尋陽以對抗梁武帝。郢城被討平後，梁武帝派人勸說陳伯之，當即讓他擔任江州刺史，他的兒子陳武牙任徐州刺史。陳伯之雖然接受了這一任命，卻仍心懷兩處。武帝見他猶豫不決，便領兵進逼，陳伯之退保南湖，然後歸降，和眾軍一起東下。當時建康城還未平定，每當有人出降時，陳伯之便和他低聲耳語。武帝懷疑他仍存有反覆之心。這時，正值東昏侯的將軍鄭伯倫前來投降，武帝讓他去見陳伯之，並對陳伯之說：「城裡正對你十分惱怒，準備派人來引誘你，等你投降以後，活活砍掉你的手腳。你如果不歸降，就要派刺客來殺你。」陳伯之大為驚慌，從此以後就不再有貳心了。城被討平之後，被封為豐城縣公，派他回州鎮守。
陳伯之不認識字，當他到江州後，收到公文和有人訴訟時，只是點點頭而已。有事時，由典簽傳他的口信，辦和不辦都由主事人決定。
陳伯之和豫章人鄧繕、永興人戴承忠都有舊交情，鄧繕還替陳伯之藏過兒子，使之免禍，陳伯之特別感激他。當陳伯之到江州後，任用鄧繕當別駕，戴承忠當記室參軍。河南人褚胃，是京都中的輕薄兒，梁武帝即位後，他多次去求見尚書范雲。范雲很不喜歡褚胃，堅決不肯用他。褚胃更加惱怒，私下對自己的知心者說：「建武年後，那些草澤底下的人都成了貴人，我有什麼罪而被棄置不用。如今天下正是草創之初，喪亂尚未可知，陳伯之在江州擁有重兵，他不是代州來的將領，心中經常生疑。況且火星守於南斗處，莫非因為我而出現的？如今前去，如果大事無成，就到魏國，何能小於河南郡守。」於是他投奔到陳伯之的書佐王思穆，得以侍奉陳伯之，大受親寵。當時陳伯之的同鄉人朱龍符任長流參軍，他們一起乘陳伯之愚昧無知，任意作奸惡之事。
陳伯之的兒子武牙這時任直閣將軍，梁武帝寫了有關朱龍符罪狀的手疏親自交給武牙，武牙將手疏給陳伯之看。武帝又派人來代替江州別駕鄧繕。陳伯之不肯聽從命令，說道：「朱龍符是個勇士，鄧繕在州任事有功績。朝廷所派來的別駕，請改任為中從事。」鄧繕於是日夜勸說陳伯之，他說：「朝廷府庫空虛，又沒有兵器甲仗，三倉中沒有米。這真是萬世一時出現的良機啊，機不可失。」褚胃、戴承忠等也總是加以贊同。陳伯之便對鄧繕說：「如今前來要你，如果回復不得，便和你一起東下。」使者回去之後，武帝讓吏部選一個郡來安置鄧繕。陳伯之於是召集了府州的佐史們，對他們說：「我接到齊建安王的命令，他已率領江北義勇軍十萬人到達六合，現在命令以江州現有兵力運糧迅速東下。我受明帝厚恩，誓以死相報。」他又讓褚胃假造了蕭寶寅的書信出示給僚佐們看。他們在官廳前面建壇，殺了牲口盟誓。陳伯之首先歃血，長史以下官員依次序歃血。褚胃對陳伯之說：「如今已舉大事，必須任用有名望的人。程元沖不能和大家同心，臨川內史王觀，是僧虔的孫子，為人不錯，可召任他為長史，以代替程元沖。」陳伯之聽從了，便任命褚胃當尋陽太守，戴承忠為輔義將軍，朱龍符任豫州刺史。豫章太守鄭伯倫召集郡兵抵抗。程元沖既已失去職務，便回家糾集了幾百人，讓陳伯之的典簽呂孝通、戴元則作為內應。陳伯之每天早晨起來練習武藝，日晚就睡覺，身邊手持武器的衛士們也都休息了。程元沖乘著防守鬆懈的時候，從北門進入，直到廳堂之前。陳伯之聽到喊叫聲，親自率領部下衝殺出來，程元沖難以對抗，逃往廬山。
陳伯之派使者回去報告陳武牙兄弟。武牙等從盱眙逃走，盱眙人徐文安、莊興紹、張顯明出來攔擊，不能阻止住，反而被殺。梁武帝派王茂攻打陳伯之，陳伯之兵敗而逃，他們走間道亡命逃往江北，和兒子武牙以及褚胃一起到了魏國。魏國任命陳伯之為使持節、散騎常侍、都督淮南諸軍事、平南將軍、光祿大夫、曲江縣侯。
天監四年，梁武帝詔令太尉臨川王蕭宏北上攻魏，蕭宏讓記室丘遲私下寫信給陳伯之說：
「陳將軍足下，別來無恙，有幸之極。將軍勇冠三軍，才為世所重視，鄙視燕雀之毛羽，追慕鴻鵠以高翔。昔日隨機變化，受遇於時主，建功立事，開國稱孤，乘朱輪華轂之車，擁重兵於萬里，何等威武雄壯！如何一旦成為逃亡之臣虜，聽鳴鏑而兩股戰慄，對穹廬而屈膝下跪，又何等低下！尋求前時你所以去梁就魏之由，並非其他緣故，只因內不能反覆思考，外受流言所誤，迷惑狂妄，以致於此。
「聖朝赦免罪責，要求立功贖罪，不遺棄有缺點的人，加以任用，推真心於天下，安反側於萬物，此是將軍之所知，不需由我一一敘述。昔日朱鮪參與殺害劉秀長兄，張繡刺殺了曹操愛子，漢王不使之心疑，魏王待之如故友。何況將軍沒有前人之重罪，而功勳見重於當代。迷途而知返，前賢所讚許；不遠而復還，先典以為高。主上法網寬大推恩，可漏吞舟之魚；將軍祖墳安然，親戚安居樂業。高屋未曾傾覆，愛妾依然健在，悠悠你心，有何可說！當今朝中功臣名將，如雁飛行，井然有序，佩紫綬而懷金印，謀劃於帷幄之中，乘輕車持符節之特使，馳騁於疆場之上。皆殺白馬以盟誓，傳爵位於子孫。將軍獨強顏而偷生，效力於外族之君長，能不可悲！
「前以慕容超之強，身死於東市；姚泓之興盛，面縛於長安。故知霜露所布，不育異類；華夏之邦，無取雜種。北寇僭稱帝號於中原，經歷多年，惡貫滿盈，理應粉身碎骨。況偽孽種類，昏庸狡猾，自相殘殺，部落分離，豪酋猜疑。正應當系其頸項於蠻夷邸捨，懸其首級於稿街之間。而將軍卻如魚游於沸騰之油鼎，如燕築巢於帷幕之上，不也令人迷惑不解嗎？
「正是暮春三月，江南綠草正長，雜花生樹，群鶯亂飛。見故國之旗鼓，感生平於昔日，登高以撫弓弦，能不淒然懷恨！所以廉頗仍思為趙將，吳起哭泣於西河，人之常情，將軍獨無情嗎？想應早作謀劃，自求後福。
當今皇帝盛明，天下安樂。白環自西而獻，木苦矢從東而來。夜郎、滇池，解髮辮以求封職；朝鮮、昌海，叩其首接受教化；惟有北狄仍懷野心，崛起於沙漠邊塞之間，苟延若干歲月之命而已。中軍將軍臨川王殿下，明於大德，帝室至親，總督重兵，方救民於洛內，伐有罪於秦中，如仍不改悔，此後才詳思我之所言。聊述情懷，請君詳加思慮。」
陳伯之收到信後，便在壽陽帶領八千人馬歸降。武牙被北魏人殺害。
陳伯之到梁之後，被任命為平北將軍、西豫州刺史、永新縣侯。他尚未到任，又被任命為驍騎將軍，又任太中大夫。過了許久，他死於家中。他的兒子中還有留在北魏的人。
褚胃留在魏國，魏人準備任用他。正值魏人舉行元日慶會，褚胃戲寫了一首詩說：「帽上著籠冠，誇上著朱衣，不知是今是，不知非昔非。」魏人看後大為憤怒，只派他出任始平太守。褚胃天天外出打獵，墜馬而死。