源賀，是自封的河西王禿髮辱檀之子。禿髮辱檀被乞伏熾磐滅亡之後，源賀從樂都前來投奔大魏。源賀容貌魁偉，儀表堂堂。世祖向來聽說他的名聲，及至見到他後，非常器重他的機靈巧辯，賜給他西平侯的爵位，加授龍驤將軍。世祖對源賀說：「你與我淵源相同，因為某種原因才分屬別姓，你現在可以改姓源。」源賀跟隨世祖攻討叛逆的胡人白龍，又征討吐京胡，都是在前頭衝鋒陷陣，晉封為平西將軍。
世祖征討涼州，以源賀為嚮導。向他詢問攻擊作戰的計謀，源賀答道：「姑臧城外有四部鮮卑，各自作為姑臧城的外援。但他們都是我祖父屬下的舊民，我願意到軍前向他們宣揚大魏國的威信，昭示他們禍福所在，他們必然會相率歸降。外援已經降服，然後再攻打姑臧這座孤城，佔領它真是易如反掌。」世祖說：「很好。」於是派源賀率領精銳騎兵到各個部落進行招安撫慰，共招降三萬餘部，獲得各種牲畜十餘萬頭。到了圍攻姑臧的時候，因此而不再擔心有人聲援，能夠集中兵力攻打它。平定涼州之後，源賀升任征西將軍，爵位進封為西平公。源賀又隨從世祖征伐蠕蠕，攻擊五城、吐京胡，討伐蓋吳諸賊，都建立了戰功。源賀被授予散騎常侍之職。源賀隨從皇帝前往長江，充任前鋒大將。源賀為人英勇果敢，每逢遇到強大的敵軍，都自告奮勇主動出擊。世祖勸誡他說：「敵軍凶頑，戰事危險，不宜輕舉妄動，你應當精心運籌妥善處置，不要自恃身體強壯武藝高強。」源賀本來名叫破羌，經過這些戰役，世祖說：「一個人取名字，應該使它符合實際，怎麼能夠隨隨便便呢。」就賜給他名為賀。源賀又被授任為殿中尚書。
南安王拓跋余被宗愛殺死的時候，源賀統領宮中禁兵，穩固地把守宮禁內外，他同南部尚書陸麗商議決定對策，擁戴高宗為帝。讓陸麗和劉尼騎馬奔往皇苑中，去奉迎高宗，源賀領兵守衛在宮禁中作為他們的內應。不久陸麗單騎抱著高宗來到，源賀就打開宮門。高宗即位，大魏社稷得以安定，源賀立下了汗馬功勞。轉授征北將軍，加任給事中之職。憑著在關鍵之時決定對策的功勳，進封爵位為西平王。高宗即位之後，頒令賞賜文武百官，對源賀說：「朕要大大獎賞有功之臣，你需要什麼可以任意選取，千萬不要謙讓。」源賀極力辭讓，高宗堅決要他選取，源賀僅僅要了一匹軍馬而已。
當時，官吏斷案多有量刑過度等不當之處，源賀為此向皇帝上書說：「法律規定：凡是陰謀反叛朝廷的人，他的子孫即使被別的宗族收養，也要追回來予以殺戮，這是為了根絕罪人的同類，昭示反叛者大逆不道的罪行；那些犯了搶劫偷盜之罪而應當誅殺的人，他的兄弟子侄在遠方，道路有關隘渡口被阻隔，都不株連問罪。我私下考慮先朝制定這種法律的用意，是因為他們不是同謀者，又不屬於根絕同類之罪，所以特別定下不予處死的詔令。如果年齡在十三歲以下，他的家人犯罪是首惡者，其策劃圖謀都與他不相干，我以為可以免去他的死罪，沒收到縣衙充當苦役就行。」高宗採納了他的意見。源賀出任為征南將軍、冀州刺史，改封為隴西王。源賀向皇帝上書說：「微臣聽說：人最寶貴的，莫過於保全自己的生命；恩德中最厚重的，莫過於寬宥他人的死罪。然而犯了死罪的人，不能全部都予以寬恕，應當權衡其罪行的輕重，有的是可以憐惜的。如今北邊有強勁的敵寇經常騷擾，南邊有狡詐的賊人負隅搗亂，那裡的邊疆戰場，還須嚴加防備戍守。為臣愚見以為只要不是大逆謀反、蓄意殺人之罪，那些替盜賊窩贓和過失殺人應當處死的人，都可以保全他的性命，將其貶謫充軍戍守邊境。這樣做既符合斷案的規矩，又使這些人受到保全性命的恩德；服徭役的人家，能夠逐漸蒙受休養生息的好處。刑罰舉措所達到的感化教育，也許就在於此。《虞書》上說『用流放來赦免五刑』，就是這個意思。微臣蒙受皇上的恩寵十分深重，無以報答，現在將要遠別朝廷，未行之前更增添系戀之情，所以大膽地進上愚昧的意見，還望陛下明察裁斷。」高宗接受了他的建議。以後犯了死罪的人，都被免於處死而流放到邊境。過了許久，高宗對群臣說道：「源賀勸朕寬宥各種死刑，將其貶徙充軍到北邊的各個戍所，從那時到現在，一年之中得以活命的人實在不少，這樣既表明了救濟民生的大理，又對充實邊戍的兵力有好處。你們侍奉朕，有什麼好的意見嗎？假如人人都像源賀那樣，朕治理天下又有什麼憂慮呢！回想他那一番忠誠的言辭，所得的益處實在是多啊。」朝中群臣都說道：「不是忠臣不能進獻這樣的計策，不是聖明的君主不會採納這樣的意見。」
源賀到了冀州以後，憑著情理來審訊囚犯，盡量減省百姓的徭役。武邑郡有個奸邪之人石華，狀告僧人道可與源賀圖謀反叛朝廷，有司將此事上奏皇帝。高宗對群臣說：「源賀忠心耿耿為國效力，朕向你們替他擔保，沒有此事是非常明顯的。」就令人細緻地加以偵訊檢查，石華果然犯了誣告之罪。於是高宗派遣使者向源賀傳達詔令說：「你以至忠至誠之心，稱著於先朝，以丹青一樣的光明磊落而蒙受蒼蠅的玷污。朕立即對此事加以檢查驗證，已將誣告之人處以極刑，所以派人前來宣示朕的旨意。你應安心於所任的職位，不要因為誹謗之言而影響自己的事情。」源賀向高宗上書表示感謝，書信奏上皇帝，高宗對左右的大臣說：「就憑源賀這樣忠誠的人，尚且招致他人誣陷，不如他的人，難道可以不謹慎從事嗎？」當時朝廷考核官員政績的上下等次，源賀名列第一，皇帝賜給他衣馬器物，在全國頒布宣揚他的事跡。源賀向皇帝上表請求派人代替他的職務，朝廷議論由於源賀很得民心，不予准許。源賀在冀州任職七年，被徵召回朝任太尉。
蠕蠕侵犯邊境，源賀跟隨皇帝進行征討，把蠕蠕打敗。顯祖打算把皇位傳給京兆王子推，當時源賀正都督諸軍屯駐在漠南，就派人馳往駐地召回源賀。源賀到來之後，顯祖就令朝中公卿議論傳位之事。源賀表情嚴肅，堅持認為這樣做不可。於是就詔令源賀持節把皇帝璽綬傳授給了高祖。
這一年，河西敕勒人叛亂，朝廷派源賀率領部眾前往征討，降服部族二千餘落，晝夜兼行，追擊賊黨郁朱於等人到達秕罕，大敗敵軍，斬首五千餘級，虜獲男女一萬餘人、各種牲畜三萬餘頭。接著又追擊統萬、高平、上圭反叛的敕勒人到達金城，斬首三千級。源賀依照古今兵法和古代儒者、年老舊友的言論，簡略地採用最重要的內容，撰寫了《十二陣圖》，把它進獻給皇帝。顯祖讀了之後十分稱讚。
源賀因年老而請求辭去官職，皇帝不准。皇帝又令他都督三道諸軍，屯駐在大沙漠之南。那時，每年秋冬兩季，朝廷都要派遣軍隊三路並出，以防備北邊的敵寇，到第二年春季才班師回朝。源賀認為這樣做既加重了京都的勞役負擔，又不是守禦邊地的長遠之計，就向朝廷進言：「請求招募各州鎮勇武健壯的人三萬人，免去其徭役賦稅，給予優厚的賑恤，把他們分為三部。兩個城鎮之間建築一座城，每城設置一萬人，配備強弩十二床，武衛三百乘。弩一床，配給牛六頭，武衛一乘，配給牛二頭。多多製造馬槍和各種器械，派武略大將二人前去坐鎮安撫。冬季講習武藝，春季耕種養殖，一邊戍守一邊耕牧，那樣就能做到兵士不過於辛勞而牲畜有盈餘。又在白道南邊建立三處倉庫，把附近州鎮的租粟運到那裡以充實倉廩，有了足夠的糧食和足夠的兵員，就可用來防備意外之事，又合適又便當。不能每年都興師動眾，牽動京師，使朝廷長期有北顧之憂。」這件事被擱置起來沒有結果。
源賀又向朝廷上書說自己病重，請求辭去官職，直至兩次三次上書，皇帝才予准許。朝中凡是有大事要商議都要徵詢他的意見，又賜給他衣服藥物美味。太和元年(477)二月，源賀在溫泉療治疾病，高祖、文明太后屢次派使者前去探問消息，派太醫前去給他看病。源賀病危，回到了京師。留下遺囑教訓他的幾個兒子說：「我不久前因為年老患病而辭去官職，上天慈愛降恩，爵位將傳給你們。你們都不要驕傲狂妄，不要荒疏怠慢，不要奢侈越軌，不要嫉妒他人；有疑難要多請教，言語要審慎，行為要恭謹，服飾要適度；要做到抑惡揚善，親賢遠佞；眼睛觀察事物定要求其真實，兩耳聽話一定要求其正確；以忠誠勤勉去侍奉國君，以清廉儉樸來要求自己。我死之後，殯葬時用普通的衣服和單薄的小弊木，就足以表明你們的一片孝心，殉葬用的葬器之類，一概不要使用。」太和三年(479)秋天，源賀去世，終年七十三歲。皇帝追授他為侍中、太尉，追贈隴西王的印綬，規定其謚號為宣，賜給辦理喪事用的雜色絲綢五百匹，以及喪車、命服、各種殉葬的器物，陪葬先帝於金陵。