荀伯玉字弄璋，廣陵人。祖父荀永，是南譙太守。父親荀闡之，是給事中。荀伯玉在宋朝做官，擔任晉安王劉子勳的鎮軍行參軍。泰始初年，跟隨劉子勳起事。等事敗回到京城，靠占卜掙錢為生。
齊高帝鎮守淮陰，荀伯玉擔任高帝的冠軍刑獄參軍。高帝為宋明帝所懷疑，被徵調擔任黃門郎，深懷憂慮，一次他看見水澤中有一群鶴，便命筆歌詠道：「八風舞遙翮，九野弄清音，一摧雲間志，為君苑中禽。」他把詩拿給荀伯玉深入指點，荀伯玉勸高帝派遣幾十個騎兵進入魏朝邊界，安頓下來，打出旗號。魏軍果然派遣了數百名游動的騎兵在邊界上巡邏，高帝把情況上報。還怕不能留下，就讓荀伯玉占卜。荀伯玉說不能成行，而高帝終於恢復了本來的職務。由此他很受親待。高帝原來有個舊吏東莞人竺景秀曾因過錯被囚禁在作部，高帝對荀伯玉說：「您近來看過竺景秀沒有？」回答說：「多次前去看他，對他備加責斥，他說『如果允許我自新，一定要吞刀刮腸，飲灰洗胃』。」高帝很滿意他的答話，便把竺景秀放了，後來終於成為忠信之士。
後來他跟隨高帝回京，被任命為奉朝請。高帝讓他主持家事。武帝免去了廣興的職務回京，建了一座別宅，派人從大宅中去掘幾棵樹，荀伯玉不給，馳馬報告了高帝。高帝很稱讚他。
高帝做了南兗州刺史，荀伯玉隨從轉為鎮軍中兵參軍，兼廣陵令。起初，高帝在淮陰，荀伯玉請假回到廣陵，夢中登上了廣陵城的南樓，上面有兩個青衣小童告訴荀伯玉說：「草中肅，九五相追逐。」荀伯玉看城下人頭都有草。泰始七年(471)，又夢見高帝乘船在廣陵北面的小洲，兩腋下面有翅膀而不能舒展。荀伯玉問怎麼才能舒展，高帝說：「推後三年。」荀伯玉在夢中自稱是咒師，共六次唾咒他，有六條龍出來，兩腋下的翅膀都舒展開了，又都合上。元徽二年(474)，高帝攻破了桂陽，威名大震，五年而廢掉了蒼梧王，他對荀伯玉說：「您的夢現在就要生效了。」
升明初年，他仍然擔任高帝的驃騎中兵參軍，兼濟陽太守。霸業建立以後，荀伯玉忠誠盡心，常常在身邊警衛，加任他為前將軍，大受信任。齊朝建元元年(479)，被封為南豐縣子，擔任豫章王司空咨議，太守職務依舊。
當時武帝在東宮，自以為年長，與高帝同創大業，朝廷的事情不論大小，全部專斷，有很多都違背制度。身邊人張景真被他偏狹地信任，又非常奢侈。武帝拜陵回來，張景真穿著白衣服乘坐著彩繪的小舟，坐在胡床上。觀看的人都懷疑是太子，內外都很害怕，沒有人敢說話。驍騎將軍陳胤叔事先已經陳述了張景真和太子前後的得失，荀伯玉趁著武帝拜陵之後，秘密啟奏，皇上大怒。豫章王蕭嶷平素就受到寵幸，正因為武帝是長嫡子，又南郡王兄弟並列，所以以武帝為太子，到現在有了改換的意思。武帝東還，派文惠太子、聞喜公蕭子良宣讀敕令進行詰責，並且把張景真的罪狀給他看，讓他用太子的命令把張景真抓起來殺掉。陳胤叔於是告訴武帝，都說是荀伯玉告訴皇上的。武帝擔憂恐懼，稱病一月有餘。皇上的怒氣不消，白天躺在太陽殿，王敬則直接進入叩頭，啟請前往東宮以安慰太子。高帝沒有說話，王敬則於是大聲宣讀聖旨前往東宮，命令人們進行裝束。又敕令太官設下餚饌，秘密派人報告了武帝，讓他奉迎。於是呼左右的人找好車子，高帝一點也沒有行動的意思。王敬則找衣服讓高帝穿上，便拉著他坐上車子。於是便去了東宮，召見諸王宴飲，接著游了玄圃園。長沙王蕭晃抓住了華蓋，臨川王蕭映手拿著雉尾扇，聞喜公蕭子良拿著酒槍，南郡王行酒，武帝與豫章王蕭嶷以及王敬則自己捧著餚饌。高帝大飲一通，賜給武帝以下的人喝酒，都大醉盡歡，傍晚才離開。這天如果沒有王敬則，則東宮差不多就要被廢除了。
高帝很看重荀伯玉的盡心，越發受到信任，讓他掌管軍國秘密大事，權力超過了朝中大員。每次暫時休假，車馬盈門。他曾經遭到母親的喪事，穿上喪服的那天，左率蕭景先、侍中王晏同車前往弔唁。五更的時候便乘上了有車衣遮蓋的巾車，離荀伯玉的宅院還有大約二里地，王侯朝士已經站滿了巷子，到了打鼓結束的時候還沒有走到跟前，司徒褚彥回、衛軍王儉都從後方陸續走到了前面，又倚在廳堂裡呆了好久。宮中下詔派中書舍人徐希秀斷哭止客，過了好久才得以弔唁。等出來以後，二人又饑又乏，氣息細弱，切齒憤恨流於外表。第二天入宮，便說：「我們所見的二宮門和齋門跟荀伯玉家相比，正可以張羅捕雀。」接著又說：「外面議論說，千敕萬令，不如荀公一命。」
武帝深深怨恨荀伯玉，高帝臨死的時候，指著荀伯玉囑托給武帝。武帝即位，荀伯玉擔心害怕。皇上聽說了，因為他和垣崇祖要好，垣崇祖的田業在江西，擔心他們互相煽動作亂，加意撫慰他們，荀伯玉才安心了。永明元年(483)他與垣崇祖一齊受到誣告而被處死，而陳胤叔為太子左率。呂文顯慨歎說：「荀伯玉能為太祖謀劃而不能自謀，難道不是天意麼！」
起初，荀伯玉微賤的時候，有善於看墓地風水的人對他的父親說：「您家墓地一定會出暴貴者，只是不能長久罷了；又會出失行的女子。」荀伯玉聽了說：「早晨聽了道，晚上死去也可以了。」不久，荀伯玉的姐姐要嫁人，第二天應當出門，頭天晚上卻隨著別人逃去，家裡的人尋找不到。後來終於出家為尼。荀伯玉也終於敗亡。