垣崇祖字敬遠，一字僧寶，是垣護之弟弟的兒子。父親垣詢之，驍勇有氣力。元兇劭弒殺皇上，他擔任輔國將軍張柬的副官。當時張超之動手把皇上殺死，也是隸屬於張柬的一個領軍。垣詢之打算把他殺掉，顧慮張柬不同意；張柬早有這種想法，又不知道垣詢之是否同意，互相觀察。正巧張超之要前來商量事情，張柬臉色變化，垣詢之覺察到了，便共同定下計謀，派人召見張超之。張超之心裡懷疑而沒到，另外住到了其他地方。垣詢之不知道，逕直前往去殺他，在床上殺死了他的僕人，於是和張柬一起南逃。當時孝武帝已經即位，讓他做了積射將軍。梁山戰役，奮力作戰，中了流箭身亡，追贈為冀州刺史。
垣崇祖十四歲時，很有才幹謀略，伯父垣護之對自己宗族的人說：「這孩子必定會光大我們的族門！」後來跟隨徐州刺史薛安都入魏朝。不久又派門宗佔據朐山歸宋朝，求往淮北立功，明帝讓他擔任北琅笽、蘭陵二郡太守，封為下邳子。
後來齊高帝鎮守淮陰，垣崇祖當時戍守朐山，接受他的統率，對他十分敬奉，高帝因為他的武勇，待他很好，垣崇祖對他的妹夫皇甫肅說：「這真是我的君主。」於是秘密表白了自己的忠誠之節。高帝的威名已經很大，宋明帝尤其忌恨，徵調他為黃門郎，謀劃害死高帝，垣崇祖獻計使他得以免禍，從此更加親信，參與密謀。元徽末年，高帝懼怕遭禍，讓垣崇祖入魏朝。垣崇祖便把家小托付給皇甫肅，帶著幾百人將要進入魏朝邊界，再聽以後的指示。正趕上蒼梧王被廢黜，召垣崇祖回到京都。齊高帝新登帝位，恐怕魏朝討伐，便以送劉昶作為緩和。高帝認為軍隊的入侵必將是在壽春，非垣崇祖無人可以抗禦，便調他為豫州刺史、監豫司二州諸軍事，封為望蔡侯。
建元二年(480)，魏朝派劉昶進攻壽春，垣崇祖便在城西北建立堤堰堵塞肥水，在堰北建起一座小城，派了幾千人守衛。他對長史封延伯說：「敵人必定全力進攻小城，如果破開這道堤堰，放水一沖，比三峽還急，自然淹沒，豈不是出小力而獲大利？」後來魏軍由西路聚集到堰南，分軍到東路，赤膊攻擊小城，垣崇祖戴著白紗帽，坐轎上城，親自轉動車前扶手。下午半晌時，決開了小史埭，水勢奔騰而下，魏朝的攻城軍隊，淹死了一千餘人，大部隊退走。起初，垣崇祖在淮陰見到了高帝，便自比韓信、白起，只有皇上獨自認可。等戰敗魏軍的捷報送到，皇上對朝臣說：「崇祖總是自比韓、白，現在真是其人呀。」晉陞他為都督。垣崇祖聽說陳顯達、李安人都增加了軍事儀仗，便也上表請求鼓吹橫吹樂隊。皇上的敕令說：「韓、白怎能不與眾異樣？」給他配了樂隊一部。
垣崇祖擔心魏朝再攻淮北，上表請求遷徙下蔡戍到淮東。當年冬天，魏朝果然要攻下蔡，等聽說內遷，於是揚言要平除故城。眾人懷疑魏朝會在故城建立戍衛，垣崇祖說：「下蔡離軍鎮近在咫尺，魏人豈敢設置戍衛？實際是想要除掉此城。我正怕他們不住地奔走，砍殺不盡哩！」魏軍果然挖掘下蔡城，垣崇祖把他們打得大敗。
武帝即位，他擔任五兵尚書，兼任驍騎將軍。起初，豫章王十分得寵，武帝在東宮，垣崇祖不肯趨附。等破了魏軍，詔令讓他回朝，和他共同密議，武帝對他懷疑，曲意加以禮待。酒後對他說道：「世間傳言說，我已經敞開懷抱，從今往後，以富貴相贈。」垣崇祖拜謝。離去以後，高帝又派荀伯玉給他下令完成邊塞軍事任務，他接受了任務連夜出發，無法到東宮告別，武帝以為他是不盡誠心，便記在心裡。永明元年(483)，武帝下詔令說他與荀伯玉煽動邊亂，把他殺死。舊友當中沒人敢去的，獨有前豫州主簿夏侯恭叔拿出家財為他出殯葬，當時的人把他比作欒布。