梁毗字景和，安定烏氏人。
祖父梁越，西魏涇州、豫州、洛州三州刺史，合陽縣公。
父親梁茂，北周滄、兗二州刺史。
梁毗性格剛直，頗有學問。
北周武帝時，舉明經，累次陞遷，到當布憲下大夫。
平定北齊時，以梁毗為行軍總管長史。
攻克并州，梁毗有功勞。
拜授別駕，加授儀同三司。
宣政中(578)，封為易陽縣子爵，食邑四百戶。
升為武藏大夫。
隋高祖受北周禪讓後，梁毗晉爵位為侯爵。
開皇初年，朝廷設置御史官，因梁毗正直，拜授他為治書侍御史，他有稱職之名。
繼而轉任大興縣令，調任雍州贊治。
梁毗既從司法部門出來，又治理京邑，他直道而行，無所迴避，因此頗失權貴們的歡心，因此把他調出去當西寧州刺史，改封為邯鄲縣侯爵。
他在西寧州十一年。
此前，蠻夷的酋長都戴金冠，以金多者為豪雋，因此互相搶奪金子，常常訴之於干戈，邊境沒有安寧的年份。
梁毗很擔心。
後因諸酋長跟著把金子送給梁毗，梁毗於是把金子放在座位旁邊，對金子痛哭道：「這個東西，餓了不能吃，冷了不能穿。
你們因為它而互相消滅，死人不可勝數。
如今把這東西拿來，是想殺我嗎？」梁毗一點金子都不要，全部還給他們。
於是蠻夷酋長感悟，不再互相攻擊奪金子。
高祖知道了，認為他這麼做很好，調他入京當散騎常侍、大理卿。
他司法公允，當時人都稱讚他。
一年多後，升任上開府。
梁毗見左僕射楊素顯貴得寵擅權，文武百官都怕他，擔心他成為國家的大害，因此秘密上奏章說：「我聽說，臣下是不能作威作福的。
臣下作威作福，為害就危及家族，行兇就危及國家。
我看左僕射、越國公楊素，得到的寵幸和待遇越來越重，權勢越來越大，連朝中大臣，都要看他的臉色行事。
忤逆他的，他就大夏天下嚴霜，順從他的，他就大冬天下春雨。
榮辱都由他嘴巴決定，廢興都等著他來指揮。
他所親近的，都不是忠黨；所提拔的，全是他的親戚，他的子弟佈滿了很多州縣。
如果天下無事，他尚會暫停陰謀；如果天下稍稍有點什麼，他肯定會成為第一個反賊。
那些奸臣弄權擅命，都是逐漸來的。
王莽靠的是多年在朝中的積累，桓玄是在太平之世打的基礎，但最後卻滅了漢朝，傾覆了晉代。
季孫氏專權於魯國，田氏篡權於齊國，都記在典籍上，不是我瞎說。
陛下如把楊素當作阿衡，我擔心他的心未必像伊尹。
伏請陛下以古今為鑒，適當處置，以使基業永固，天下幸甚。
我輕率地冒犯您，聽候您的處置。」高祖看了奏章，十分震怒，命令有關部門把他關起來，高祖親自來審問他。
梁毗說：「楊素既已擅權，作威作福，他到了哪裡，就在哪裡濫殺無辜。
另外，太子和蜀王因罪被廢黜時，百官無不震驚，惟有楊素揚眉奮臂，喜形於色，把國家的禍災當作他的幸運的事。」梁毗講得真實有理，有誠實坦蕩之節操，高祖也無法使他屈服，於是放了他。
楊素從此恩寵漸衰。
但是，楊素權勢很大，頗能折挫他人，當時朝中大臣沒有不怕他的，沒有誰敢與他爭辯是非。
在楊素面前，能不屈服的，惟有梁毗、柳..以及尚書右丞李綱而已。
後來，皇上不再專門委任楊素，就是從明白梁毗的話開始的。
煬帝即位後，梁毗升任刑部尚書，並兼任御史大夫之事。
梁毗上奏，彈劾宇文述私自役使部兵。
煬帝想免宇文述之罪，梁毗固諍，因此忤逆聖旨，於是讓張衡代替他當御史大夫。
梁毗憂憤，過了幾個月就死了。
煬帝讓吏部尚書牛弘去吊口言他，贈送他家縑采五百匹。