公元278年，羊祜病逝。朝野聞之，無不大慟。據載，晉武帝披麻戴孝扶棺痛哭，淚水在臉上都結了冰。荊襄各地，一片哭聲。東吳的戍邊將士，也都暗中垂淚。羊祜生前，喜游峴山，襄陽各界便在山上為他建廟和立碑，按時祭祀。
從眾、跟風，似乎是多數人的習慣。以為這才是明智，即便犯了錯，也不至於怎麼樣，法不責眾嘛！可是西晉名將羊祜卻偏偏反其道而行之，別人千方百計奔競務進的事，他會退得遠遠的;而大家都避之唯恐不及的事，他卻不計得失不避禍患挺身而出，做出了許多在常人眼裡「不合時宜不識時務」的事。
羊祜，字叔子，山東泰山南城人。生於公元221年，世代為官，與魏國的曹氏和司馬氏都是血親，具備顯赫的家庭背景和較好的先天優勢。而羊祜本人，博學多才、文思敏捷、長於論辯，且英俊瀟灑風度翩翩一表人才。這樣的優秀人才哪能埋沒得了啊？
首先想起羊祜的就是離他最近，對他最為瞭解，同時也負有向朝廷舉薦賢良職責的地方長官。他們推舉青年羊祜任上計吏之職，這是個掌管國家財賦統計和審計的低層官員，但是由於崗位特殊干係重大，所以倍受朝廷重視，許多重量級官員正是從這裡起跳的。應該說這是個高官厚祿的搖籃，是個打著燈籠都難找的好機會，是很多人夢寐以求的職位。可是，讓誰也想不到的是，羊祜沒有興趣，婉言謝絕了父母官們的這份好意。後來，州官又接連四次請他出來擔任從事以及秀才，羊祜都一一婉拒了。
公元239年，魏明帝曹睿去世，大將軍曹爽掌握了實權。為了充實政權班底，他徵召年輕有為的羊祜與王沈一起到中央政府任職，王沈聞召即高高興興地前去就任了，而羊祜仍然辭不赴命，儘管王沈反覆相勸，羊祜就是不為所動。後來，大權獨攬的司馬昭又徵召羊祜到朝廷為官，羊祜依舊退避三舍。最後，朝廷只好下詔，命令他必須遵旨去做中書侍郎，羊祜這才接受任命。
司馬炎稱帝后，羊祜因功晉爵為郡公，食邑三千戶。當時，王佑、賈充、裴秀等人均為資深位顯的前朝重臣，羊祜對他們一直敬重有加，不想因為這些身外之物掩去他們的光輝，因此堅決地辭讓這些封賞。他的言辭非常懇切：「昔張良請受留萬戶，漢祖不奪其志。臣受鉅平於先帝，敢辱重爵，以速官謗。」司馬皇帝被他的高古和誠懇深深地感動了，別人都不擇手段為自己加官晉爵，而他卻執意為自己退官，儘管心裡不情願，但還是不忍拂了他謙退的美意，只好給他降一級，封他為侯爵。按照制度規定，享有侯爵，即可開府置署，選官任僚，舉薦私門。可他一直到死，也沒有徵召舉用過一名僚屬。
羊祜一生中，晉陞過多次，但每次都是這樣誠懇地婉拒、辭謝和退讓。而有的時候，羊祜卻又特立獨行勇往直前得令人瞠目。
公元249年，司馬懿奪取軍政大權，並誅殺曹氏集團的代表人物曹爽，與之相關的很多人也同時受到株連。羊祜的岳父夏侯霸害怕遭到殺戮，就投降了劉禪的蜀國。這可是叛國之罪啊！司馬懿怎麼處置都不過分。親戚故舊們都知道其中的利害，再也不敢上門，唯恐受到牽連而惹禍上身。只有羊祜，不但沒有這樣做，反而比以往去得更勤，關心得更多，溫言軟語安慰他的家屬，無微不至照顧他的親人，唯恐落難的夏侯家遭到不測。
公元277年，東吳侵入西晉邊界，掠走弋陽、江夏等地大量人口。這要換成任何人，都要興師動眾反擊東吳的挑釁行徑。因為這其中有諸多好處，更有大塊文章可做，它一可建軍功，二可堵百姓的嘴，更重要的是堵朝廷中那些專事吹求的百官的嘴。哪怕吃虧了，也要派兵啊！羊祜豈能不知這些。可是，經過慎重考慮之後，他卻沒有派出一兵一卒。事後，武帝果然在一些好事之臣的鼓噪下派人追查原因，搞不好，就會面臨降職或是更為嚴重的處罰。羊祜對此早有思想準備，他坦然地回答說，江夏距離襄陽這裡有八百多里地，等到得知東吳犯境侵擾這個消息，敵兵早已走了多時了。這時候出兵，連敵人的影子都見不著，怎能將百姓救下呢？為了逃避責任而讓將士們毫無意義的千里奔波，這純粹就是削弱自己，而於敵人又有何妨礙呢？這恐怕不是負責任的主帥應該做的。朝廷在搞清楚事情的真相後，認可了羊祜的處置。
長期領兵在外，最忌朝中出問題，歷史上這樣的例子太多了。因此，為了自保，大都想盡辦法，「京信常通，炭敬常豐」，努力維護好與朝中的大臣，特別是得寵的權臣的關係，甚至為此不惜去百姓那裡刮地皮。可是羊祜是個正直清廉，毫無私念的人，這些東西他不會做，也做不來，看見邪門歪道就來氣，以至荀勖、馮紞等人十分忌恨，常常在皇帝面前詆毀他。可羊祜絲毫也不為自己著想，只知謀國，不知謀身。王衍在朝中也有一定影響，而且還是他的叔伯外甥，曾經專門來襄陽見他，這不正好是個表現自己如何為國如何忠誠，順便與王衍大人拉近關係的大好機會嗎？可是這個王衍是個誇誇其談的傢伙，根本不對羊祜的胃口，羊祜甚至評價說：「王夷甫方以盛名處大位，然敗俗傷化，必此人也。」結果，惹得王衍拂袖而去，這樣羊祜又增加了一個在皇帝面前告狀的對手。
更有甚者，他實行以道德感化來征服東吳將士的攻心之策，大巧若拙，誠信至上，不僅互通信使，還有禮物往來。應該說，這個戰略思想在當時的客觀條件下無疑是對的，實踐中也確實收到了良好的效果。這裡面有一個問題，那就是非常容易被別人扣上通敵的帽子，這也是非常具有殺傷力的一個罪名，因為你手握重兵，而皇帝又不經常和你在一起，他也常常是難辨別真假，眾口鑠金，後果往往很嚴重。可是，羊祜不管這些，「苟利國家生死與，豈因禍福避趨之」，這個危險的政策，他一直實行到死。
公元278年，羊祜病逝。朝野聞之，無不大慟。據載，晉武帝披麻戴孝扶棺痛哭，淚水在臉上都結了冰。荊襄各地，一片哭聲。東吳的戍邊將士，也都暗中垂淚。羊祜生前，喜游峴山，襄陽各界便在山上為他建廟和立碑，按時祭祀。每逢來到此處，都忍不住失聲落淚，後人遂把此碑稱為「墮淚碑」。荊州人為了避羊祜的名諱，還把房屋的「戶」都改叫「門」。
羊祜曾經對自己的兒子說過這樣的話：「人臣樹私則背公，是大惑也。」在給堂弟羊琇的信中他這樣說：「疏廣是吾師也」。應該說，這就是他的肺腑之言，他的一生也正是這樣做的。可以說，羊祜的「不合時宜」，為的都是國，都是民，而唯獨沒有他自己。正因為如此，他死後才會那麼深入人心、那麼讓人懷念。