賀琛字國寶，幼年喪父，伯父賀蠩傳授他儒家經典，一聽就懂得意義所在。賀蠩感到驚異，常說：「這孩子將來要因為精通經典取得官位。」賀蠩死後，賀琛家貧，常往返家鄉山陰與諸暨之間販米來養活母親，雖然要親自划槳搖船，一有空閒就不忘讀書，尤其精通《三禮》。二十多歲時，賀蠩舊日的門徒逐漸都到他這兒來求學問。
當初，賀蠩在家鄉聚徒講授，周圍來就學的有三千多人，賀蠩天監年間去世，這時候又聚攏到他這裡。賀琛就在城郊之間蓋起房舍，有茅屋幾間。他年近三十，便開始從事講學。他家世代研究《禮》學，洞悉其精妙之處，賀琛推斷講述先儒論著中的含義，言辭雄辯而又簡明。座中聽講受業的人，終日都不感到疲倦。
湘東王作郡太守時年幼，彭城到溉為行事，聽說賀琛的美名，命人備車馬前去拜訪。碰上賀琛正在講課，學生滿座，聽說州郡長官突然到來，無人不為之躁動，而賀琛卻毫不停頓繼續講經，若無其事。到溉下車，從容入座聽講，接著就提問詰難，賀琛與他你來我往從容對答，道理完備周嚴。到溉讚歎說：「博通儒學的大師，今天在賀先生這裡復現了。現在我先回去，不久就來請你屈尊去任職。」賀琛並無回話，神色安然。到溉向湘東王進言，請給他補任郡功曹史。賀琛以母親年邁為理由，堅辭不就。
不久母親去世，賀琛搭草棚在墓旁守孝。喪服期滿，還不回家，他的學生們又跟他來守墓。賀琛經年累月地哀痛過度，形銷骨立，講學已吃不消。眾弟子們盡力護養，才逐漸恢復學業。
普通年間，太尉臨川王蕭宏來鎮守會稽郡，徵召賀琛補祭酒從事，賀琛當時已經四十多歲，才第一次接受任命。武帝聽說他有學問，在文德殿召見他，和他談過後表示讚賞，對僕射徐勉說：「賀琛特別有家學淵源。」於是補任他為王國侍郎，漸漸又兼任中書通事舍人，參禮儀事。經屢次升任為尚書左丞。武帝下詔讓賀琛撰寫《新謚法》，當下便遵照施行。當時皇太子認為服大功喪服的晚期，可以給兒子行冠禮或嫁女兒。賀琛駁斥他的觀點。於是朝廷就以賀琛的意見為定。加封他為員外散騎常侍。以前尚書坐南邊位置，冠上沒有貂作裝飾，有貂飾自賀琛開始。又改任御史中丞，和先前一樣參與禮儀事宜。
賀琛生性貪婪吝嗇，收了不少賄賂，家產豐富了，買公主的府第作自己的私宅，被有關官員上奏，因此被免官。後來作通直散騎常侍，兼任尚書左丞，參掌禮儀事務。賀琛前後任職期間，凡是郊廟祭祀的各項禮儀，很多都是他創立而成為定制。每次進宮見武帝，武帝都要跟他談上半天，因此朝廷上便有這樣的話：「上殿不下有賀雅。」因為賀琛容貌舉止閑靜文雅，所以當時人們都這樣稱呼他。又改任散騎常侍，參掌禮儀如故。
當時武帝年邁，作官的往往文飾奸邪，阿諛奉承，對時政危害很大。賀琛上書陳述自己的意見，大略如下。
第一件事說：「如今北邊魏國臣服，國家正是應該致力於生聚教育的時候，然而各地百姓逃亡依附大姓，使國家戶口銳減，這的確是當務之急。國家在關外的賦稅本來很輕微，可是常年的租調，動不動就收不上來，而人民不能安居，難道不是州郡長官的過失。」第二件事說：「天下官吏之所以貪婪凶狠，很少有廉潔清白的，都是由奢侈婬佚的風俗造成的。這種形勢下，要使百姓守方正，官吏尚清白，怎麼能做到呢？如今應該嚴厲法紀，提倡節儉，打擊浪費，糾正浮華之風，使眾人都知道應該改變他們耳目聲色的好惡，這樣倡廉肅貪便易如反掌了。」第三件事說：「不學無術的小人，憑借詭詐鑽營往上爬，使用淺薄的智能，去貪取分外的要求，以對百姓嚴厲刻薄為能事，以彈劾排斥同僚為專業，弊病奸邪日漸增長，都是由於這樣的原因。如今希望能要求官吏們出以公心為國出力，抑制他們貪婪凶狠的愚妄念頭，那麼就會上下安定，沒有意外的禍患了。」第四件事說：「自從征伐魏國，國庫空虛，如今天下無事，卻還是入不敷出，的確是有原因的。國家如果貧困就應該少煩擾百姓而減少花費，少煩擾百姓就得到休養，少花費財力就會聚集。如果說花費小不會損害國家財力，那麼這種小花費就會終年不息；認為小辨模勞役不會妨害民眾，那麼這種勞役也就會終年不止了。」
奏章呈上去後，武帝大怒，把主書召到跟前，口授敕令斥責賀琛說：「朕擁有天下四十多年了，官員們直言不諱的意見，每天都能聽到看到，可還總怕事務繁忙，致使閉目塞聽。你高官厚祿，廣識博聞，不應和微賤之人一樣，只是為了博取名譽，宣揚自己能上書陳事，遺憾的是朝廷不能接受。你說『如今北邊臣服，正是應實行生聚教育的時候，而人民不能安居，是州郡長官的過錯』。但大澤之中有龍有蛇，即使不是全好，也不能是都壞。你可以明確指出有罪過的人。你說『應該倡導節儉」，又說『最理想的政治必定要以淳厚樸素為先』，這話說得很好。孔夫子說『只要自身正，不下令別人也會聽從；自身不正，即使下令別人也不會聽從』。朕已三十多年不與妻妾往來，不和女人同房也有三十多年，平時居住的地方不過能放下一張床，屋裡從沒有什麼裝飾玩物，這些都是人所共知。朕生性不飲酒，生性不好聽音樂，所以在宮內我私人宴會上從未奏過樂。朕三更從臥室出來辦公事，什麼時候休息就看事情有多少。有時事少，中午以前可以辦完；事情多了，到太陽偏西才吃飯。經常每天只吃一頓，說不上是白天的飯還是夜宵，沒有個定時，有時身體不舒服，才再吃一次。過去我的腰超過十圍，如今瘦得才二尺多。以前的腰帶還放在那兒，這可不是我瞎說。為誰這樣幹呢？還不是為眾生救亡超生。《尚書》上說，『有了胳膊腿才能成人，有了良臣才能成聖君』。當初朕如果有股肱之臣，還可以作個中等君主，如今卻不免位置在九品以下。你所說的所謂只要君主以身作則，就能『不令而行』，不過是廢話罷了。你又說『各部門官員沒有不上書言事的，都是奸詐鑽營往上爬』。如果不許臣下奏事，道理上說得過去嗎？因噎廢食，說的就是這個意思。如果不許奏事，誰來擔任那些職務？能瞭解信任而委以重任的臣子，到哪兒去找呢？因此古人說，『偏聽就能生出奸邪，只任用某個人就會釀成禍亂』。到底怎樣才對，你再寫好了奏上來。」賀琛接到敕令，只有謝罪的份兒，不敢再有什麼辯駁。
太清二年(548)，任中軍宣城王長史。侯景攻陷建康，賀琛受傷沒死，賊兵搜捕到他，用車拉到台城的宮闕下邊，讓他求見城內僕射王克、領軍朱異，勸他們開城放賊兵進去。王克等人責備他，他就哭泣不再勸降。賊兵又把他拉到莊嚴寺治療。第二年，台城失守，賀琛逃回家鄉。那年，賊兵進犯會稽，又抓住賀琛把他送到都城，讓他作金紫光祿大夫。後來去世。賀琛所撰寫的《三禮講疏》、《五經滯義》以及各種禮儀註釋共百餘篇。