潘岳，字安仁，滎陽中牟人。祖父潘瑾，是安平太守。父親潘芘，是琅王牙內史。潘岳年少時以才智聰穎著稱，鄉里稱他為奇童，認為可與漢代的終軍賈誼匹配。早年被征到司空太尉府，選舉為秀才。泰始中年(268)，武帝司馬炎親自耕田，潘岳作賦讚美其事。潘岳才華名聲在當世為第一，被眾人嫉妒，於是滯留了十年。出任河陽令，自負有才華而鬱鬱不得志。當時尚書僕射山濤、領吏部王濟、裴楷等都被武帝親近禮遇，潘岳內心很不以為然，便在閣道上題寫了一首歌謠：「閣道東邊，有條大牛王濟危軛，裴木香為革酋，和嶠催促不得休。」不久轉任懷縣令。
轉任懷令。由於當時客舍追逐小利廢棄農耕，奸邪婬亂亡命之徒，大多湊聚在一起，敗壞法津，禍亂政令，皇帝赦令除去。十里一個官建的客棧，讓貧窮的小戶老少守護著，又派官吏掌管，按客舍數收稅錢，潘岳上奏議道：
「謹案：客舍的由來很久了，行路人依賴它停頓歇息，居住的人少收點費用，交易往來，各得其所。官家沒有徭役賦稅，因過往行人獲利，恩惠施加百姓而公家沒有一點耗費。古語說：『許由推辭帝堯的任命，而住在客舍。』魏武帝曹丕也認為合宜，他在詩中說：『客舍整頓設置，勾通往來商賈。』如此說來，那麼從帝堯到現在，沒有不准私用客舍的法令，只有商鞅怨恨它，那本來不是聖世的言論。如今四海已經會同，九服都能納貢，四面八方往來，為公私而奔波的人佈滿路途。京城附近往來的人更加車輻湊集，客舍也稠密。冬天有溫暖的房屋，夏天有涼爽的林蔭，餵養馬匹的廄圈成行，器用保障供給。勞累的牛必定歇駕，乘涼的人就近投宿，發車或卸鞍，都有憩息的處所。
「另外各種搶劫盜賊就是在邊境絕跡的地方興起，在人多的地方中止。如果十里蕭條，則奸邪不軌之心就產生；道路和客舍相連，則寇賊震懾。再說一聽到呼叫聲就有救援，事情已發就有人追趕，不救援的人有罪，不追趕的人遭懲罰，禁止殘暴逮捕逃犯，常常有人主管。所有這些都是私建客舍的優點，也是官建客棧所缺乏的。另外行路人貪求路程，買糧做飯，都在早晨和傍晚。盛夏之時白天炎熱，又只好星夜兼程，如果加以限制早早關閉官家客棧。有的為了避開客棧晚上關閉，便跑到路旁躲藏，這就成了藏匿盜賊的淵源。如果認為客舍大多敗壞法制教化，那麼官辦的客棧，又都是什麼人？那河橋夢津等地，解券契交錢財，高官督察，計算收入校訂支出，幾品郎官在兩岸相互檢查，尚且害怕有失誤，所以那是用利祿懸賞，按功勞計報酬。現在低賤的官吏等人，獨自專斷官家客棧的賦稅，主管開關客棧的權力，仗著不用校點的權勢，正好成為道路上的蠹蟲、奸利繁殖的原因。如果能遵循歷代的舊風尚，獲得行客和居住者的歡心，使客舍灑掃乾淨，等著征夫旅客選擇合適的人家歇息，難道不是眾百姓翹首期望的嗎？」
請命的公曹陳列這個意見，朝廷依從了。
潘岳頻繁執掌二邑，勤於政績。調任補充尚書度支郎，遷任廷尉評，由於公事免職。楊駿輔政時，選拔突出的吏佐，引用潘岳當太傅主簿。楊駿被誅後，潘岳也除了名。當初，譙地人公孫宏年少，孤獨貧窮，寄居在河陽種田，善於彈琴，又很會寫文章。潘岳當河陽縣令時，愛他的才能技藝，招待他很厚道。至此時，公孫宏當了楚王司馬瑋的長史，主管生殺大權。凡是隨楊駿的屬官僕從都應受到株連；同官署的主簿朱振已經被殺。潘岳當晚急事在外，公孫宏對司馬瑋說他是暫時代理職務的官吏，所以得以倖免。不久，選為長安縣令，作《西徵賦》，記述所經過之處的山水人物，文辭清雅旨趣深遠，言辭多，不著錄。征補為博士，還未入召，便因母親疾病而離官免職，不就任著作郎，轉任散騎侍郎，遷任給事黃門侍郎。
潘岳性情輕浮急躁，追逐世利，與石崇等人諂媚侍奉賈謐，每次等到賈謐出來，便總是跟石崇二人望著塵土下拜。誣陷愍懷太子的文章，是出自潘岳之手。賈謐有二十四個朋友，潘岳是排在最前頭的一個，賈謐的《晉書》斷限，也是潘岳的文辭。他的母親多次訓誡他說：「你應當知足，為何要貪求不已呢？」可是潘岳最終不能改。仕宦之路既然不通，便作《閒居賦》。
當初，其父潘芘當琅王牙內史，孫秀作潘岳的跟班，為人狡詐而沾沾自喜。潘岳憎惡他的為人，多次鞭撻侮辱他，孫秀常常懷恨在心。到趙王倫輔政時，孫秀當中書令。潘岳在省內對孫秀說：「孫中書令還記得過去我們曾打交道否？」孫秀回答說：「心中藏之，何日忘之？」潘岳由此知道自己不能倖免。不久孫秀便誣告潘岳和石崇、歐陽建密謀遵奉淮南王司馬允、齊王司馬礒一起作亂，於是誅殺了他，夷滅三族。潘岳將到刑場時，與母親訣別說：「辜負了阿母。」當初被收捕時互相都不知道，石崇已送到東市，潘岳後到，石崇對他說：「你也如此啊！」潘岳說：「可算是白首同所歸。」原來潘岳在《金谷詩》中說：「投分寄石友，白首同所歸。」便應了此讖。潘岳的母親和哥哥侍御史潘釋，在燕地做縣令的弟弟潘豹、司徒掾潘據，以及潘據的弟弟潘說，兄弟的兒子，已出嫁的姑娘，不論長幼同時被害，只有潘釋的兒子潘伯武逃難才得以倖免。潘豹的女兒與他母親相互抱頭痛苦不可分開，遇有詔書原諒寬宥了她們。
潘岳姿容美麗，辭藻艷麗，尤其善於製作哀悼誄祭的銘文。年少時常常挾著彈弓出洛陽道，婦女遇到他，都手拉手圍成圓圈環繞，把果子投給他，於是滿載而歸。當時張載很醜，每次行走在路上，小兒便用石塊瓦片扔向他，張載十分頹喪地返回。