羊祜字叔子，泰山南城人。祖輩世世代代做二千石一級的官，到羊祜已經九代，都以清廉而有德操著稱於世。祖父羊續，在漢代做南陽太守，父親羊砌，任上黨太守。羊祜是漢末蔡邕的外孫，與景獻皇后是同母姊弟。
羊祜十二歲時父親去世，守孝超過一般禮制，後來侍奉叔父羊耽也很恭謹。羊祜少年時期曾在汶水河畔遊玩，遇到一個老人對他說：「你這孩子相貌不凡，不到六十歲，必然為天下建立大功。」說完即離去，不知去向。羊祜長大以後學識淵博，擅長文章，身長七尺三寸，容貌端莊秀美，善於言談。同郡將領夏侯威認為他是個奇才異人，將哥哥夏侯霸的女兒嫁給他。羊祜曾被推薦為上計吏，州官四次徵召他做從事、秀才，朝中五府都徵召他做官，但他都拒絕就職。太原的郭奕見到他曾說：「這真是當代的顏回啊！」他和王沈都曾被曹爽徵召過，王沈勸他應召，他說：「豁出身家性命去侍奉別人，不是容易的事啊！」後來曹爽被殺，王沈因某些原因得免於禍，因而對羊祜說：「我常常記住你以前說的話啊！」羊祜說：「我當時也沒有想到曹爽有這種下場。」羊祜就是這樣有先見之明而又不誇耀自己。
夏侯霸降蜀以後，親戚朋友都和他斷絕來往，羊祜獨自安撫他的家屬，關懷愛護，以禮相待，有過於往日。不久，母親與長兄羊發相繼去世，羊祜斂顏憂思，息交絕游十餘年，以不涉官場的隱者自居，像一個虔誠的儒生。
晉文帝司馬昭做大將軍時，召羊祜做官，未就職。後來朝廷用公車徵召為中書侍郎，不久又陞遷為給事中、黃門郎。當時魏帝高貴鄉公曹髦愛好文章，在位的官宦多獻詩賦逢迎上意，汝南的和荄因不迎合上意而被斥逐，羊祜處在這些人中間，保持不親不疏的關係，有識之士都讚賞這種態度。陳留王曹奐即位，封羊祜為關中侯，食邑一百戶。因為魏帝年少，羊祜不願在朝中做侍臣，要求調出宮廷任其他職務，結果改任為秘書監。魏實行五等爵位以後，羊祜被封為鉅平子，食邑六百戶。鍾會受到魏主寵信而好忌妒賢能，羊祜也怕他。鍾會因罪被殺後，羊祜拜為相國從事中郎，和荀勖一起，掌管國家機密大事。後遷為中領軍，宮中衛隊都屬他統領，處理宮中事務，掌握軍事大權，統管內外大事。
晉武帝司馬炎受魏主禪讓即位，羊祜因為有輔晉建大業的功勳，領中軍將軍頭銜，加散騎常侍職位，改封郡公，食邑三千戶。羊祜堅決辭讓郡公封號，仍保持侯爵，官府中置郎中令，設九官的職位，羊祜夫人加封印綬。泰始初(265～275)，皇帝下詔說：「統領國家機關，協調禮、教、刑、政等各部門的工作，是朝政的根本要務。羊祜德操清美，忠貞而坦誠，純正而才高，是文武兼備的人才，為人又很正直，雖在宮廷任要職而不掌管國家機要，這不符合聖君必委任賢人垂拱無為而治天下的要義，現任羊祜作尚書右僕射、衛將軍，配置本營軍隊。」當時王佑、賈充、裴秀都是前朝名臣，羊祜在他們面前每每謙讓，職位不願高於他們。
武帝有滅吳的打算，使羊祜為都督荊州諸軍事、持節，仍保留散騎常侍、衛將軍的職銜。羊祜率軍鎮守荊州，開辦學校，安撫教化遠近人民，深得江漢百姓愛戴。與吳人開誠佈公，互相信任，投降的人願意離去，都聽憑志願。當時荊州有這樣的風俗：地方長官丟官後，繼任此官的人生忌諱，多把舊官府的房舍毀掉。羊祜認為死生有命，與房舍無關，就下令所轄地區禁止這種做法。東吳石頭城守軍距襄陽地界七百里，常騷擾晉邊境，羊祜以為是一大患，便設計謀讓吳撤去守軍，於是晉戍邊巡邏的士兵減少了一半，所減士兵用來墾荒，墾田八百餘頃，大獲其利。羊祜初到荊州時，軍中無百日糧，到了他鎮荊州的後期，有供十年用的糧草積蓄。皇帝下令撤除江北都督，設置南中郎將，將原江北都督所屬在漢東江夏一帶的軍隊都增撥給羊祜。羊祜在軍中經常穿輕裘，束綬帶，不披甲，府第衛士不過十幾人。然而也常因出外打獵釣魚而荒廢政事。一次欲夜間出遊，軍司徐胤手持長戟擋住營門說：「將軍都督萬里疆域，哪能這樣輕心放縱，將軍的安危也就是國家的安危。除非我死了，今夜此門才得開。」羊祜臉色一變，向徐胤道歉，此後很少出遊了。
後來又加封車騎將軍，開設官署，規模比於三公。羊祜上表堅意辭讓。說：「我恭敬地看到加恩的詔書下來，提拔臣與三公同等，臣自出仕以來才十幾年，接受內外重任，職位顯赫而重要，臣常常因為自己的才智不能上進，不可久居過當的恩寵而日夜戰栗不安，榮耀變成了憂愁。我聽說過古人的話：品德還沒有為眾人心服而受高爵，就會使有才之臣不能奮進；功業沒有使眾人歸附而享受厚祿，就不會使願為國家出力的臣民受到鼓勵。現在我身為皇家親戚，做事的成敗關係到國家時局，應警惕過多的恩寵，並不憂慮被朝廷遺忘。而宮中之詔枉發，給予我超常的榮譽，臣有何功可以擔當呢？於心怎安呢？身居不稱的高位，不久將會跌落下來，到那時想守住先人的陋室，也不可能了。違抗詔命，是觸犯天子威嚴；曲心從命，又是如此犯難。古人有知過必舉的見知法，大臣之節，能進則進，不可進則止。臣雖屬小人之輩，也想緣用前人所誡，不忘此義。現在天下歸服於晉已經八年，天子雖坐於側席以延攬賢才，鄉鄙賤人無所遺漏，然而我不能推舉有德之人，引薦有功之士，使陛下知道勝過臣的人還多，沒有進入仕途的賢人還不少。假若還有像傅說那樣的賢人被遺忘在築牆者的行列，有像呂尚那樣的才士被遺忘在屠市垂釣的場所，而朝中議事者不以枉用臣為非，臣居高位而又無愧，這樣不是損失太大了嗎？臣竊居官位雖然很久，從未像今天這樣兼任文武要職受朝廷信任，居等同宰相的高位。況且，臣所見雖然狹小，光祿大夫李熹有高風亮節，行為公允正直；光祿大夫魯芝，潔身寡慾，與人和諧而不苟同；光祿大夫李胤，清廉簡樸而坦誠，身在朝廷，效力國家，守君臣之禮至老不渝。他們雖歷任內外要職，而清廉簡樸如貧寒人家，但都沒有榮獲我這樣的寵位，臣超過他們，怎能滿足天下人的期望，稍增日月之光呢？因此，我決心守此臣節，不願苟得高位。當今天下統一的道路尚未暢通，邊陲戰事時有發生，乞求保持原來的職務，使臣能迅速回到荊州屯墾戍邊，不然的話，在京城留連日久，必然於對付敵國方面考慮不周。匹夫之志，有時也不可強奪。」武帝沒有接受羊祜的請求。
回到荊州以後，東吳西陵都督步闡獻城降晉，吳將陸抗攻打步闡十分緊急，皇帝下詔援救步闡。羊祜率領五萬軍隊從江陵出發，派遣荊州刺史楊肇作前鋒抗擊陸抗，結果沒有取勝，步闡終被陸抗俘虜。有司向皇帝上奏說：「羊祜率軍八萬多，吳軍不過三萬，羊祜在江陵按兵不前，使賊兵備好攻守戰具。並只派楊肇這支偏師深入險地，兵少而糧草不繼，致使我軍失利。羊祜違背詔命，沒有大將節操，應免去官職，保留侯爵回府第閒居。」於是皇帝以敗軍罪貶羊祜為平南將軍，楊肇被免為庶人。
羊祜鑒於春秋時魯國的孟獻子在武牢築城而鄭國懼怕，齊國的晏弱在東陽築城而萊子畏服，就佔據險要地勢，新築五座城池，控制了大片肥沃的土地，從吳人手裡取得大量財富，吳國石頭城以西，都成了晉的土地。此後吳人來歸降的絡繹不絕，羊祜更修德講信，安撫初降的吳人，有吞併東吳的慷慨大志。每次和吳人交戰，總先約定日期，不搞突然襲擊。將帥們如有獻狡詐計謀者，羊祜讓他們飲醇酒，使之醉而不能言計。軍中有人俘虜了兩個吳國小兒，羊祜便把他們遣送回家。後來吳將夏詳、邵豈頁來投降，這兩個小兒的父親率領他們的部屬一起來降。吳將陳尚、潘景侵犯邊境，被羊祜追擊殺死，羊祜很讚賞二人能為國盡忠而厚禮入殯，陳、潘的子弟來迎喪時，羊祜以禮相待，送他們回國。吳將鄧香到夏口搶掠，羊祜派人將他生擒，然後加以寬慰放回。鄧香感激羊祜恩德，便率領自己的軍隊降晉。羊祜有時行軍到吳國境內，在田里割谷作軍糧，每次都算出谷的價值，送一些絹給田主作賠償。每次聚集眾人在江漢一帶邊境遊獵，總不進入吳境。打獵時如有吳人射傷的禽獸逃到晉境又為晉人捕獲的，都原樣送還給吳人。於是吳人心悅誠服，嚮往於羊祜，稱羊公，不呼其名。
羊祜與陸抗兩軍對壘，使者來往不斷，陸抗稱讚羊祜德高望重，雖是樂毅和諸葛亮也不能超過。陸抗曾經害病，羊祜送了一副藥給他，陸抗毫無疑心就吃了。很多人勸陸抗不要服這藥，陸抗說：「羊祜怎會用毒藥害人呢？」當時人以為是春秋時敵國互信的華元、子反重見於世。陸抗每每告誡戍守的將士說：「羊祜專以德感人，如果我們只用暴力侵奪，那就會不戰而被征服的。我們只保住邊界算了，不要為小利而爭奪侵擾。」吳主孫皓聽說兩國邊境和好，便責問陸抗，陸抗回答說：「一鄉一鎮之間，不能不講信義，何況一個大國呢？如我不講信義，正是宣揚了羊祜的德威，對他毫無損傷。」
羊祜為人坦誠無私，憎惡邪惡，荀勖、馮..這夥人都忌恨他。羊祜的遠房外甥王衍曾到羊祜那裡述事，言辭華美而善辯，羊祜卻不同意他的看法，王衍很生氣，摟起衣襟就走了。羊祜回頭對賓客們說：「王衍目前名聲很大，地位很高，然而敗壞一代風尚的一定是此人。」營救步闡那次戰役，羊祜按軍法將要斬王衍的從弟王戎，所以王戎、王衍都憎恨羊祜，和人談論時，每每譭謗羊祜。當時流行一句諺語：「二王當國，羊公無德」。
咸寧(275～280)初年，拜羊祜為征南大將軍、開府儀同三司，可以直接推薦選拔人才。此前，羊祜以為伐吳必借長江上游有利地勢，加上又聽到一首吳地童謠：「阿童復阿童，銜刀浮渡江，不畏岸上獸，但畏水中龍。」便說：「這一定是說伐吳必是水軍成功，只是要考慮哪個人應童謠中的名字。」當時正逢益州刺史王浚被徵召進京做大司農，羊祜知道王浚能當滅吳的大任，王浚小名又叫阿童，因而上表留王浚在益州統領軍事，加封龍驤將軍，下密令讓王浚修造船隻，準備順流滅吳。
羊祜修繕盔甲兵器，訓練士卒，從各方面做好了滅吳的準備，然後向皇帝上疏說：「先帝順應天意人心，西平巴蜀，南和孫吳，海內百姓得以休養生息，人心安樂。而吳背信棄約，使邊境又生戰事，國家氣數雖是天定，而功業必靠人為，不滅東吳，則士卒百姓無安寧之日。完成統一大業，也是光大先帝功勳，實現無為而治的舉措。堯伐丹水，舜征三苗，都是以使宇內安寧，停止兵亂，民眾和睦為目的的。當年平蜀之時，天下人都以為應當一併滅吳，而蜀滅至今已十三年，這算一個週期，滅吳的日子應在今天了。而議論此事者常說吳楚在盛世最後被征服，在亂世最先強盛，這是諸侯紛爭的時候，當今天下一統，不得與古時並論。有些說法只適用於大道理而不知權變，所以出謀略的人很多，而可以作為決策的就少了。凡是憑險阻而得生存的國家，是指它的實力與敵國相差不多，有力量固守。如地位輕重不同，強弱相差很大，那智士的計謀也不能救它。險阻的地勢也不能保它。蜀國地勢不是不險要，高山上接雲霓，深谷不見日月，關隘險道，束馬懸車方能通過，有一夫操戈，千人莫擋之勢。然而滅蜀進軍時，蜀國好像連一道籬笆都沒有，我軍斬將奪旗，斬殺敵軍數萬，乘勝席捲蜀地，直搗成都城下，漢中一帶的蜀兵，像鳥棲於巢一樣不敢出動。這也並非蜀人不願戰，實在是力量不足與我軍抗衡。到劉禪投降時，蜀地各營壘官兵便悄然四散。目前江淮的難渡不會超過劍閣，山川的險要不會超過岷山漢水，孫皓的暴虐超過劉禪，吳人的貧困甚於巴蜀，而大晉的軍隊多於前世，軍餉兵械多於往日。不趁此機會平吳，而屯兵據險相守，使士兵役夫日夜辛苦於戰爭徭役，曠日持久。這種狀況不能維持長久，應當及時定奪，統一四海。如果率領梁、益兩州軍隊水陸並進而東下，荊楚軍隊進逼江陵，平南、豫州軍隊進攻夏口，徐、揚、青、兗等州軍隊進軍秣陵，擊鼓搖旗作為疑軍，多方齊進，使敵軍虛實難辨，以東南一角的吳國，抵擋天下大軍必然兵力分散，人心慌亂，各種軍需緊急難備。這時巴、漢軍隊順流而下，直搗空虛腹地，一處陷落則全境震動。吳國國土沿江，沒有前線後方之分，東西數千里，處處設防，戰場便大，不能安息養精。孫皓肆意妄為，與下屬互相猜忌，名臣重將失去信心，所以像孫秀這類人都害怕威脅而來投降。將帥疑於朝廷，士卒困頓於戰場，沒有保國安民之計，人心散亂，平時即有叛離之意，一旦兵臨城下，必然有人響應而來降，他們最後不會齊心拚死盡忠是可以預見的。吳人做事急速而不能持久，弓弩戟盾等又不如中原，只有水戰於他們有利，但我軍一入吳境，長江就不是吳軍專有，吳軍回頭保守城池，則是去其長而有其短。晉軍深入敵國，遠離後方，必有死戰的決心；吳人在本土作戰，會有敗則退而守城的念頭。這樣看來，平吳之戰是很快可以取勝的。」武帝深以為然而接納了羊祜的意見。
此時，正遇晉在秦、涼等地作戰屢次失敗。羊祜又向皇帝上表說：「東吳平定，則胡人自然安定，當前只應迅速完成滅吳的大業啊！」而朝中議論此事時，多有不同於羊祜的意見，羊祜歎道：「天下不如意的事總是十有七八，目前有些人當斷不斷，當予不取，怎能不讓以後的有識之士引為遺憾呢？」
此後，皇帝下詔將泰山郡的南武陽及牟、南城、梁父、平陽五縣設為南城郡，封羊祜為南城侯，屬下設相國，與郡公地位同等。羊祜辭讓說：「昔日張良辭讓三萬戶的封地，只接受留這個地方的一萬戶，漢高祖滿足了他的願望。臣在先帝時接受了鉅平這塊封地，豈能再接受更重的封爵而遭來官場的非議。」堅意不接受這次加封，武帝也就答應了。羊祜每次被皇帝提拔封賞，常持恬淡退讓態度，至誠之心世人皆知，他的德操志趣，往往不在官職的行列等次上。所以英名美德傳播遠近，朝野上下有目共睹，朝中大臣議論，羊祜應居宰相之位。但武帝正在考慮滅吳之計，將東南軍政要務托付給羊祜，也就把大臣的意見擱置一邊了。羊祜任職歷魏晉二朝，掌握國家機要，重大舉措，都要向他咨詢，而爭權求利的事卻與他無關。他所獻的好計謀和正直的議論，事後都把稿子燒掉，所以世人很少知道。凡是他所薦拔的人，都不知薦拔人是誰。有人認為羊祜這樣謹慎守密太過分了，羊祜解釋說：「話怎能這樣說呢，現在一般人在你跟前促膝談心，像是很親近，一出門就說假話壞話，所謂君臣之間不守密的訓誡，我怕自己還沒做到呢？身居要位而不薦拔賢才奇人，豈不在知人問題上有愧嗎？況且，被薦舉的人在朝廷受職，而卻到薦拔者私門謝恩，這是我不願意做的。」
羊祜的女婿勸羊祜說：「購置些田產家業，也好卸官後有所歸宿，後事有所依托，這樣不是很好嗎？」羊祜當時沒有答話，事後告訴子女們說：「這種說法是知其一不知其二。作為人臣，經營私業就違背公事，這是很糊塗的做法，你們應記住我這些話。」羊祜曾經給從弟羊..寫信道：「東吳平定之後，我當戴上隱士的角巾，東回故里，經營一個能容棺材的墳墓。一個貧寒之士而至身居重位，怎能不因勢盛氣滿而受指責呢？漢朝棄官歸農的疏廣就是我的榜樣。」
羊祜喜遊山水，風景美好的日子，一定到襄陽城南的峴山遊樂，飲酒賦詩，終日不倦。有次，羊祜慨然歎息，對從事中郎鄒湛等人說：「自從有了宇宙便有此山，自古以來的賢達高士，像我和你們一樣，登上此山眺望遊樂的不知有多少，但都淹沒無聞了，想來令人悲傷。如死後有知，我的魂魄仍會登此山的。」鄒湛說：「您老德冠四海，道接前哲，美好的業績和名望一定和峴山一樣永存於世，至於我等之人，才像您說的會淹沒無聞啊！」
羊祜討伐吳賊有功，應當增封爵位與封地，於是請求皇帝將自己應增的爵位封地賜給舅父的兒子蔡襲，於是皇帝下詔封蔡襲為關內侯，食邑三百戶。
吳人侵犯弋陽、江夏，搶掠人口，武帝派遣侍臣攜帶書信責問羊祜為什麼不追討吳賊，並打算將州府所在地移向邊境。羊祜對侍臣們說：「江夏離襄陽八百里，等知道吳賊侵犯的消息，賊已離去幾天了，再派兵去，哪能救護百姓呢？讓軍隊來回奔波，只圖不受責備，這樣做恐怕不合適。從前魏武帝設置都督，大致都與州府接近，因為軍隊宜聚合而忌分散。國境線上一方是敵，一方是我，認真守住邊界就算了，這是古代人有益的教誨。如頻繁遷徙州府所在地，敵人出沒無常，很難確定州府應設在哪裡。」使者也無法責問羊祜了。
羊祜重病臥床，請求回京城，到洛陽時正遇上姐姐景獻皇后去世入殯，悲哀至極。宮中發出詔令，讓羊祜帶病進見，並使坐輦車入殿，不必下拜，受到皇帝特殊的禮遇。和皇帝陪坐時，當面陳述伐吳的計劃。武帝認為羊祜病重，不宜常進宮朝見，派中書令張華向羊祜詢問伐吳籌策。羊祜對張華說：「當今主上有受禪讓的美名，但功德尚未著稱於世，吳人暴政已到極點，此時伐吳可不戰而勝。統一天下而興辦文教，則晉主可比堯舜，而臣下猶如稷契，這是百代難逢的盛事。如果放過這個機會，孫皓或不幸死去，吳人另立英明君主，雖有百萬大軍，長江是難以越過的，這不是留下後患嗎？」張華很讚賞羊祜的主張。羊祜又對張華說：「能實現我這個願望的是你啊！」武帝打算讓羊祜臥病統領征吳諸將，羊祜說：「取吳不必我親自參加，但平吳之後還要聖上操心去治理啊！必於功名的事，臣不敢自居。若我的一生即將完結，應當將未成事業托付他人，希望能審慎選出這個人。」
羊祜的病漸漸加重，就舉薦杜預代替自己。不久即去世，享年五十八歲。武帝著孝服弔喪，哭泣甚哀。當時氣候寒冷，武帝淚水沾滿鬢鬚，化為冰珠。荊襄人正值集市日，聽到羊祜去世的消息，市人無不痛哭，為之罷市以示哀悼，大街小巷哭聲相接。東吳守邊將士也為之哀泣。羊祜的仁德就是這樣感動了幾乎所有的人。安葬時皇帝賜給棺槨一副、朝衣一套、錢三十萬、布百匹。並下詔說：「征南大將軍、南城侯羊祜，德行沖淡而樸素，心境純潔而高遠，始在宮內任職，值朕登位，視其為人至誠，命其決策王事，入朝總管國家機要，出外鎮守一方山河，本當長久顯赫，永輔朕位，而突然病逝，念之使人傷懷。現決定追贈為侍中、太傅，持節官銜如故。」
羊祜為人清廉節儉，服飾簡易樸實，所得俸祿都用來接濟親族，賞賜軍士，家中無餘財，臨終遺囑，不能將南城侯印置入棺材。從弟羊..等向皇帝陳述羊祜平時的志願，要求葬在先人墓旁，皇帝不許，將離城十里外的一頃地賜給羊祜作墓地，加謚號叫「成」。羊祜的棺槨及送葬隊伍上路，武帝在大司馬門南邊奠祭送行。羊祜的外甥齊王司馬攸，上表說明羊祜之妻願以侯禮安葬羊祜的意見，武帝下詔說：「羊祜生前多次辭讓官爵，此意不可勉強。身雖死而謙讓之德存，更能激勵後人，伯夷、叔齊因辭讓而稱賢，季札因辭讓而全節，正是這個原因。現尊重本人意願，恢復原來封爵，以表彰其高風美德。」
當初，文帝死，羊祜對傅玄說：「為父母服喪三年的制度，雖是貴人也要穿孝服，這是自天子至於平民的達喪，然而被漢文帝廢除了。這是毀禮傷義，我常為此歎息。當今主上天生至孝，有曾參、閔子騫的孝行，雖不讓他穿孝服，他還是守喪禮。既然守喪禮，除去孝服又有何意義？如果趁此機會革除漢魏的薄喪制度，恢復古制，以使民風淳厚，垂美名於百代，不是很好嗎？」傅玄說：「漢文帝鑒於當世人心淺薄，不能為國君行三年之喪，因而廢除這個制度，至今已經數百年，一旦恢復古制，難於推行。」羊祜說：「不能使天下人都為天子服喪，姑且讓主上服喪，不也很好嗎？」傅玄說：「主上不廢除三年喪制而天下人廢除，這是只有父子之禮而無君臣之禮，三綱之道就不完整了。」羊祜就不再堅持自己的意見了。
羊祜所寫的文章及所著《老子傳》都流行於世。襄陽百姓在峴山羊祜生前游息的地方建廟立碑，每年按時祭奠。看到此碑的人無不流淚，杜預因而把此碑叫「墮淚碑」，荊州人迴避羊祜的名字，房屋的門戶只稱門，把戶曹改為辭曹。
按羊祜的官職，可以開設官署，直接選拔任用官吏，但他謙讓而不這樣做。臨終前想選拔一批人才，但沒有來得及設官署就死了。羊祜的參佐劉儈、趙寅、劉彌、孫勃等向杜預寫信說：「我們這些人或許由於昔日選拔的謬誤，慚愧地充當一個官員，得在征南大將軍手下參與處理日常事務。羊祜為人沖淡而虛靜，清廉而高遠，品德崇高而平易近人，爵位優厚而態度謙恭，生前受詔鎮撫南方，位同三公，加大將軍稱號，雖居此位而未行命官設署制度，至今海內渴慕其德，俊傑仰望其風。進入羊祜門庭的人，貪夫可以變廉，懦夫可以立志，雖是伯夷柳下惠的德操，也不會超過他。自從鎮守荊襄，德政教化，使江漢人民廣受恩澤；深謀遠計，使國家疆土鞏固開拓。他所規劃勾勒的千秋大業都準確有據，他一心為公，為國事操勞致死，首次薦拔四名屬官，未到任而羊祜去世。舉賢能以報國，是將軍的長遠任務；尋求居於微賤的人才而張揚提拔，也是將軍的宿願；半途而廢，也是將軍個人的遺憾；一生謙恭，晚年沒有實現選拔人才的願望，這是遠近親疏都感到痛心的事。西周召伯所憩息過的甘棠樹，當地人愛之而不忍伐，春秋宣子所游的地方，人們植樹以紀念，惦記其人，尚愛其樹，何況羊祜生前所薦的人才，可以隨便拋棄嗎？請求您把這幾個人的名單列上，能按照現任官屬安排任用他們。」杜預按此意向皇帝上表陳述說：「羊祜雖屬能開設官署的大臣，但他不設僚屬，十分謙遜，到病重時選拔的賢士，未到任而羊祜死，他家中沒有後嗣，官府中沒有他任命的官吏，人們希望於羊祜的，在這方面令人深憂。對於死者以禮安葬而又尊重其平生之志，民德民風就會淳厚。漢高祖不惜用四千戶的封賞，以安慰趙人子弟的心，請朝臣商量這件事。」武帝沒有答應杜預的請求。
羊祜死後兩年東吳平定，群臣給武帝上壽祝賀，武帝端起酒杯流著淚說：「這是羊太傅的功勞啊！」因而將平吳事跡寫成策書到羊祜廟裡宣告以慰其靈，仍按照漢朝蕭何的例子封羊祜的夫人。策封之書說：「皇帝使謁者杜宏奠告已故侍中、太傅、鉅平成侯羊祜：昔日吳人驕橫不恭，恃險阻而稱帝，邊境不能統一，已經多年。羊祜接受鎮守南方重任，思平吳亂，在外宣揚天子德威，入內籌劃國家方略，推布誠心，功德卓著，江漢人民歸心，行事胸有成竹，計謀萬無一失。然而老天不佑善人，使公大志不酬，朕因遺恨於心，頒發出師之令，順天應人，討攻逆賊，出兵數月，一戰而吳賊殲滅，當年你滅吳的計劃一一實現，分毫不差。封賞不忘有功之人，國家有常規常法，本應增加公的封地，以守信於國人，然而這又違背了公平日謙讓美德。現封公的夫人夏侯氏為萬歲鄉君，食邑五千戶，賜帛萬匹，谷萬斛。」
當羊祜五歲時，曾叫乳母取金環給自己玩，乳母說：「我家本無此物。」羊祜即領乳母到鄰人李氏東牆下一棵桑樹洞中找到了一個金環，李氏知道後大驚說：「這是多年前我死去的兒子丟失的，都說是被人偷去了。」乳母把尋找金環的過程述說一遍，李氏非常悲哀。當時人都覺得奇異，認為羊祜是李氏之子轉世。又有一個善相墓穴風水的人，說羊祜的祖墳有出帝王的氣象，若把墓鑿開，就會絕後，羊祜就把墓鑿開了。相墓人見到鑿後的墓說：「猶出折臂三公。」後來羊祜因落馬折了臂，位至三公，卻沒有兒子。
武帝使羊祜哥哥的兒子羊暨為羊祜過繼，羊暨以父親已死為理由拒絕了。武帝又令羊暨弟弟羊伊為羊祜後嗣，羊伊又不服從。武帝大怒，將二人關押起來免了職。太康二年(281)封羊伊弟弟羊篇為鉅平侯，作羊祜後嗣。羊篇為官清廉謹慎，有一頭私人的牛在官捨裡產了牛犢，羊篇陞遷搬家時就把牛犢留在官舍。後升散騎常侍，死得早。
東晉孝武帝太元(376～396)年間，封羊祜之兄的玄孫之子羊法興為鉅平侯，食邑五千戶，法興因參與桓玄亂黨株連被殺，封爵廢除。尚書祠部郎荀伯子上表爭辯說：「臣聽說古賢臣咎繇後嗣被滅，魯國臧文仲深為歎息；齊桓公奪了伯氏的爵邑賜給管仲，人們稱管仲為仁。功高的人流芳百世，靠濫賞得勢的人難保朝夕。已故太傅、鉅平侯羊祜，明於道德而交往賢士，為國人所愛戴，立晉有輔助之勳，平吳有籌劃之功，然而斷絕後嗣，祭祀無人。蕭何有開國首功，雖絕嗣而總有後繼之人，我認為鉅平應和蕭何封地贊陽一樣，世代相承以繼前賢。已故太尉廣陵公准，勾結叛逆司馬倫，使淮南王司馬允遭禍，此人因叛逆而得利，竊得大國之封。適值朝政賞罰失當，使中興大業不能實現。當今王道革新，豈能不判明歷史功罪，我認為廣陵國應當削除。已故太保衛馞，本爵為..陽縣公，遭受禍患被殺後，又增加封地，開始封在蘭陵，以後又轉封江夏，中朝時期的名臣，死後多沒有享受應得的待遇，衛馞沒有特殊功德，卻受到特殊封賞，我以為應削去封郡，恢復..陽縣公爵位，這樣才是升降有據，善惡分明。」這個表被權臣壓下，未能上報皇帝。
羊祜的前母是孔融的女兒，生羊發，羊發官至都督淮北護軍。當初，羊發與羊祜的親弟羊承同時得重病，羊祜的母親估量不能同時救活兩兒，就專心養護羊發，羊發得救而羊承病死。
羊發的兒子羊倫，為高陽王相，羊倫的弟弟羊暨，為平陽太守。羊暨的弟弟羊伊，初為車騎將軍賈充的屬官，後遷平南將軍、都督江北諸軍事，鎮守宛，為張昌所殺，死後追贈鎮南將軍。羊祜的伯父羊必，官至京兆太守。羊必的兒子羊祉，為魏郡太守。羊必的孫子羊亮，字長玄，有才能多心計，與他交往的人，他都做出真誠相待的樣子，別人都以為他是知心朋友，實際並非如此。羊亮初為太傅楊駿的參軍，當時京城一帶盜賊多，楊駿想用重刑懲治，規定盜一百錢就殺頭，並將此事交屬下官員議論。羊亮說：「從前楚國江乙的母親丟失布匹，認為出現盜賊的根源是掌握大權的令尹。你若清廉不貪，自然就沒有盜賊了，何必要用重刑呢？」楊駿很慚愧，取消了自己的打算。羊亮後來轉任接待賓客的大鴻臚，當時惠帝在長安，羊亮與關東逆賊勾結，內心恐懼不安，投奔并州，被劉元海所殺。羊亮的弟弟羊陶，為徐州刺史。