房伯玉，因其弟房叔玉叛逃到南朝而連坐獲罪，被貶徙於北方邊地。後來房伯玉也南叛，任蕭鸞的南陽太守。高祖率軍南伐，攻佔了宛城的外城，令舍人公孫延景向房伯玉宣詔說：「天無二日，地無兩王，因此我親自總領六軍，蕩平、統一四海，宛城是個小小的戍鎮，難道足以抗拒王威？你應深刻三思，想要封侯受土，事在俯仰之間。」房伯玉回答道：「外臣蒙受本國深厚的恩澤，奉任守衛邊境，我要盡為臣之道，不敢聽您之意。我惟願皇上鑾輿遠涉邊地，不至於勞力損神。」高祖又派使者對他說：「我親自率領大軍，遠征江、沔，這個小小戍城，怎能讓王師徘徊不前。但凡我的戎車所經之地，即使是如同纖介的小地也要消滅它，你應當量力三思，自求多福。況且你早年蒙受蕭賾異常的眷愛，難道就不曾感懷恩寵，報之以塵露之微。蕭鸞胡說他入朝繼承蕭道成，卻大肆誅剪，使蕭賾之子一個也沒有留下。你不能建忠於前君，卻要立節於逆賊，這是你的一大罪過。又連年挫傷我朝一部分軍隊，這是你的第二大罪過。現在我鑾駕親征，要使南方降服於中國，你不肯面縛歸降，得罪於我的軍隊，這是你的第三大罪過。你所守的戍城，多則一年，中則百日，少則三旬，被蕩平的命運豈會長遠。你應當好好思慮此事，以免後悔不及。」房伯玉回答道：「我往日曾蒙武帝和悅相待之恩，忝侍其左右，這種優厚的待遇，夙夜都不曾忘懷。但繼承他的人失去德行，民望另有歸附。如今主上登基，繼承先王大業，不但符合萬民之深望，實際上秉持武皇之遺敕。所以我勤勤懇懇，不敢有所失誤。在過去，北軍深入我地，侵擾邊境百姓，我就勉勵將士，以拯救蒼生。這是邊戍守將的通常之事，陛下不能予以責備。」
及至宛城被克，房伯玉面縛而降。高祖接見房伯玉及其參佐二百人，詔令房伯玉說：「我秉承天命統馭天下，正要統一中國，你區區一個小戍，膽敢抗拒六軍，你所犯下的罪責，理應不予赦免。」房伯玉回答說：「臣既是小人，完全受人驅使，只因家中有百口之人在南邊，以致抗拒皇帝的謀略，罪該萬死。」高祖說：「凡是立忠守節的人，都應當有其去處。如果侍奉悖逆之君，死守迷亂之節，這是古人都不做的。你卻為舒適要侍奉逆賊蕭鸞，自己招來那樣的罪過！」房伯玉回答說：「臣生性愚癡覺悟太晚，罪當萬斬，如今遭逢陛下，希望能賜給一條生路。」高祖說：「凡人只有兩條路：識時務者得福，違背時勢者受禍。勞我王師，經年累月，這樣算作歸降，那麼什麼人才是有罪呢！況且我在先前就派舍人公孫延景在城西對你說過：『天無二日，地無二王。』你回答說：『我在此不在彼。』天道悠遠，變化無方，你難道知道今天在此不在彼嗎？」房伯玉無話可說，只有乞求賞命而已。高祖由於房思安多次替房伯玉流淚請求，所以對他特予宥免。
房伯玉在南朝的時候，曾把他的妾楊氏放逐出家為尼姑。他到了魏國以後，就讓她還俗，對她又十分寵愛。這件事被有司上奏朝廷，高祖聽任他這樣做。世宗即位以後，授予房伯玉長史之職，兼游擊將軍，後出任為馮翊相，死於官任上。