徐伯陽字隱忍，東海人。祖父徐度之，是齊南徐州議曹從事史。父親徐僧權，是梁東宮通事舍人，兼秘書，以擅長書寫知名。
徐伯陽聰明好學，聽父母的話，能一直溫言善語地侍奉父母，進退舉止有禮節。十五歲時，以文筆優美揚名。學習《春秋左氏》。家中藏有史書，他讀了大約三千多卷。赴試成績很好，尚書征補他為梁河東王國右常侍、東宮學士、臨川嗣王府墨曹參軍。大同年間，出任侯官令，很得民心。侯景之亂時，徐伯陽從海上向南去到廣州，依附於蕭勃。蕭勃被平定後回到朝廷，又攜帶家屬去到吳郡。
天嘉二年(561)，詔令他侍太子讀書。不久任司空侯安都府記室參軍事。侯安都久聞其名，看見他，設大席為禮。甘露降在樂游苑，詔賜侯安都，侯安都吩咐徐伯陽寫答謝奏章，世祖看後稱奇。太建初年，中記室李爽、記室張正見、左民郎賀徹、學士阮卓、黃門郎蕭詮、三公郎王由禮、處士馬樞、記室祖孫登、比部賀循、長史劉刪等為文會之友，後來又有蔡凝、劉助、陳暄、孔范也參加進來，他們都是那時的文人士子。游宴賦詩，編成書籍，徐伯陽為之作序，頗為流行。
新安王任南徐州刺史後，徐伯陽任鎮北新安王府中記室參軍，兼南徐州別駕，代理東海郡丞。鄱陽王任江州刺史，徐伯陽曾奉命出使到那裡，鄱陽王率領府中幕僚和徐伯陽登上匡嶺，設宴，酒酣時，鄱陽王命他們寫劇韻二十，徐伯陽和祖孫登率先完成，鄱陽王賜給他們奴婢和雜物。新安王回京後，徐伯陽任臨海嗣王府限外咨議參軍。十一年春，皇太子駕臨太學，詔新安王在辟雍發佈《論語》試題，又命徐伯陽作《辟雍頌》，其文很被欣賞。任鎮右新安王府咨議參軍事。十三年，聽到姐姐去世的消息，生病而死，時年六十六歲。