陳伯之，濟陰睢陵人。年幼時有體力。十三、四歲時，喜歡戴著獺皮帽子，佩帶刺刀，窺伺鄰居的稻子熟了，就偷偷地去割。曾經被稻田的主人發現，斥責他說：「小孩子不要動我的稻子！」陳伯之對稻田的主人說：「你的稻子這麼多，割一擔有什麼要緊？」稻田的主人準備捉住他，陳伯之就執著刀上前，準備刺殺稻田的主人，說：「小孩子就是這樣！」稻田的主人都回身走了，陳伯之慢慢挑著稻穀回家。到長大之後，在鍾離境內多次搶劫盜竊，曾經當面窺看人家的船，船上的人用刀砍他，割下他的左耳。後來跟著同鄉車騎將軍王廣之，王廣之喜愛他的勇敢，每天晚上讓他睡在下鋪，征討時經常讓他跟隨著一道。
齊安陸王子敬任南兗州刺史，擁兵自衛。明帝派王廣之討伐子敬，王廣之到達歐陽，派陳伯之作先鋒，乘著城門開著，陳伯之單獨入城斬殺了子敬。又多次立下戰功，因功多次陞遷冠軍將軍、驃騎司馬，被封為魚復縣伯，食邑五百戶。
義師舉事，東昏借給陳伯之符節、督前驅諸軍事、豫州刺史，將軍如同從前。不久遷調到江州，憑依尋陽抗拒義軍。郢城平定之後，高祖得陳伯之車主蘇隆之，讓他勸說陳伯之，就委任陳伯之為安東將軍、江州刺史。陳伯之盡避接受了任命，但還懷有貳心，假稱「大軍不須便下」。高祖對眾將領說：「陳伯之這種答覆，他的心尚未安定，還在猶豫，應當逼迫他。」眾軍於是駐紮在尋陽，陳伯之退而保守南湖，然後歸附高祖。晉號鎮南將軍，與眾軍都退去。陳伯之停留在籬門，不久進駐西明門。建康城還未平定，每有投降的人出城門，陳伯之就喚來同他耳語一番。高祖擔心他又懷變異之心，私下裡對陳伯之說：「聽說城中人很忿恨你舉江州投降，打算派刺客來行刺你，你應引以為憂。」陳伯之不相信這件事。恰逢東昏將領鄭伯倫投降，高祖讓他捎話給伯之，鄭伯倫對陳伯之說：「城中人很忿恨你，打算送信引誘你以討封賞。等待你再次投降，當即割去你的手和腳；你若不投降，又打算派刺客來殺你。你應作好充分防備。」陳伯之害怕了，從這之後對高祖再無異心。奮力作戰立下戰功。建康城平定之後，晉號征南將軍，封豐城縣公，食邑二千戶，派他回到江州。
陳伯之不識字，到他回到江州，得公文訴訟，只作大諾而已。有事情，由典..傳他的話，取捨由主事的人決定。
陳伯之與豫章人鄧繕、永興人戴永忠兩人有交情，鄧繕曾經隱藏陳伯之在英地停息以免除災禍，陳伯之尤其感恩於他。到陳伯之任江州刺史時，任用鄧繕為別駕，戴永忠為記室參軍。河南人褚絹，京城的一個品行不端的人，齊朝末年任揚州西曹，動亂期間居住在閭裡；輕薄的人都能求得一官半職，只有褚絹沒能顯達。高祖即位，褚絹多次拜訪尚書范雲，范雲不喜歡褚絹，堅決拒絕他。褚絹更加忿怒，私下裡對他的知己說：「建武以後，民間普通的人都變成貴人，我犯了什麼罪而被遺棄。現今國家剛剛建立，人民飢餓不已，動亂尚不可知。陳伯之擁強兵在江州，責怪魏國派來的使臣，有自我疑惑之意；況且迷惑守斗宿，難道不是我出入的地方嗎？現今我去那裡，事情如果不能成功，到魏國，何必惶恐減作河南郡守呢。」於是褚絹便投奔陳伯之書佐王思穆事奉他，大被親近。到陳伯之同鄉人朱龍符任長流參軍，一同乘陳伯之愚笨昏暗，恣意妄為邪惡險毒，刑罰政令滯塞，一切事都由他倆獨斷專行。
陳伯之的兒子虎牙，當時任直..將軍，高祖親自分條陳述朱龍符的罪狀，親自交給虎牙，虎牙將它給陳伯之看；高祖又派人取代江州別駕鄧繕，陳伯之並不接受命令，答覆高祖說：「朱龍符是勇猛健兒，鄧繕主事有成績有功效，朝廷所派的別駕，請求委任為治中。」鄧繕於是不斷地勸說陳伯之說：「官署府庫空竭，又沒有軍器，三倉沒有糧米，東部郡境饑民流浪，這是萬載難逢的好時機，好時機不可失去。」褚絹、戴永忠等人都贊成。陳伯之對鄧繕說：「這一段起用你，如果還是不行，便與你同下屬一起謀反。」高祖下令在江州的一郡安排鄧繕。陳伯之於是召集府州佐史對他們說：「奉齊朝建安王令，率領江北義勇十萬，已經駐紮在六合，奉命以江州之力運糧速往。我承蒙明帝厚恩，誓死報恩，現在便緊急奪取預備治理。」派褚絹假寫蕭寶夤信，把它給同僚看。在廳事前築壇，殺牲宣誓，陳伯之先飲，長史以下挨次飲血宣誓，褚絹對陳伯之說：「現在舉大事，應該招致眾望。程元沖不與我們同心；臨川內史王觀是王僧粲的孫子，人不壞，便可召他任長史，以取代程元沖。」陳伯之聽從了他的意見，於是便委任褚絹為尋陽太守，加封討逆將軍；戴永忠為輔義將軍；朱龍符為豫州刺史，率領五百人堅守大雷。沈慧休任大雷戍主，李延伯任鎮南將軍。又派同鄉人孫鄰、李景接受朱龍符的調遣，孫鄰任徐州刺史，李景任郢州刺史。豫章太守鄭伯倫起用郡兵拒守。程元沖已經失去官職，在家裡集中數百人，派陳伯之的典..呂孝通、戴元則做內應。陳伯之每天早上常作歌舞之樂，日落就睡，左右伺候的人都去休息。程元沖乘著陳伯之鬆懈，從北門進去，逕直來到廳事前。陳伯之聽到叫喊聲，親自率兵衝殺出來，程元沖抵擋不住，逃至廬山。
起初，程元衝起兵，相約尋陽張孝季，張孝季接受了程元沖的建議。不久被打敗，陳伯之追拿張孝季不成，拿得孝季的母親郎氏，以灌蠟燭的方式殺了張孝季的母親。陳伯之送信到京都告之虎牙兄弟，虎牙等人逃至盱眙，盱眙人徐安、壯興紹、張顯明中途截擊，不能制止，反而被虎牙兄弟所殺。高祖派王茂攻打陳伯之。陳伯之聽說王茂前來，對褚絹等人說：「王觀既然不接受任命，鄭伯倫又不肯響應，就必然空手受圍。現在首先平定豫章，開通南路，更多地征發人丁，增加軍糧的運輸，然後席捲北去，以進擊飢餓疲乏的大軍，不愁不成功。」於是留下同鄉唐蓋人守城，都相繼領兵奔赴豫章。豫章太守鄭伯倫堅守城池，陳伯之不能攻下豫章。王茂前軍已經到達，陳伯之腹背受敵，便敗走，從小路逃出江北，同兒子虎牙及褚絹都進入魏國。魏國封陳伯之為使持節、散騎常侍、都督淮南諸軍事、平南將軍、光祿大夫、曲江縣侯。
天監四年(505)，詔令太尉、臨川王宏率眾軍向北討伐，宏命記室丘遲私下裡寫信給陳伯之。
陳伯之便在壽陽擁兵八千歸附高祖。虎牙被魏人所殺害。
陳伯之已經到達，封使持節稱號、都督西豫州諸軍事、平北將軍、西豫州刺史、永新縣侯，食邑一千戶。未到任，又委任陳伯之為通直散騎常侍、驍騎將軍，又任太中大夫。過了一段時間，死在家裡。他的兒子還有在魏國的。
褚絹在魏國，魏國人打算提拔任用他。魏國民眾聚會，褚絹嘲弄地賦詩說：「帽上戴著龍冠，誇上穿著朱衣，不知是今日的是，不知非昔日的非。」魏人忿怒，出封褚絹為始平太守。每天打獵，墜馬而死。