張融字思光，二十歲有名。道士同郡人陸修靜把白鷺羽麈尾扇贈給他，說：「這既然是異物，就把它獻給異人。」最初做官是擔任宋朝新安王劉子鸞的行參軍。新安王的母親殷淑儀去世，後來四月八日建齋並且浴佛，僚佐佈施錢財多的至一萬，少的也不低於五千，只有張融的佈施卻是一百錢。皇帝不高興地說：「張融太貧窮了，應當發給他優厚的俸祿。」於是調他出京擔任封溪令。他的堂叔張永前往後渚去送他說：「好像聽到朝廷旨意，你不久就會回來。」張融說：「不怕不能回來，正恐怕回來又會重新離去。」等到出發，路經險要的高山，獠賊抓住了張融將要把他殺死吃掉。張融神色不動，而作起了帶有鼻濁音的吟詠，賊人感到奇異而不再加害他。
他渡海到了交州，在海中遇到了風，他始終沒有懼怕，詠歎道：「干魚自然可以返回它的本鄉，而肉脯還能怎麼樣呢？」又作了《海賦》，文辭詭異激烈，獨自與眾不同。後來把它拿給鎮軍將軍顧覬之，顧覬之說：「您的這篇賦實在飄逸玄虛，遺憾的只是沒有寫到鹽。」張融立即找來一支筆注上：「淘沙構成白色，熬波析出縞素，積雪堆在和煦的春天，飛霜落在盛暑的道路。」這四句是以後補上的。顧覬之與張融的哥哥很要好，顧覬之死去後，張融自背墳土。在南方與交趾太守卞展交好。卞展在嶺南被人殺害，張融挺身前往赴喪。
他被舉為秀才，考試對策被錄取。任命為尚書殿中丞，沒有就任，改為儀曹郎。不久請假為叔父奔喪，途中責罰錢敬道，杖打五十，寄囚在延陵監獄中。大明五年(461)敕令，政事清簡的二品官員對僮僕杖打，不得超過十。他被左丞孫緬所檢舉，被免官。
恢復職位後，主管祠部、倉部二曹。當時領軍劉面力戰死，張融根據祠部的建議，提出皇上應當哭劉面力，被採納。又俗人忌諱在正月裡打開太倉，張融提議不應該拘泥於小節。不久兼掌正廚，見到宰殺牲畜，回車而去，自己上表請求解職。
又調轉為南陽王友。張融的父親張暢擔任丞相長史，劉義宣起事失敗，張暢將被王玄謨所殺，當時王玄謨的兒子王瞻做南陽王長史，張融上表請求辭官，沒有批准。張融家裡貧困想得到俸祿，便給堂叔征北將軍張永寫信說：「我幼年入學，很早就受到家風的訓教，雖然不夠聰敏，但已形成習性。布衣服皮腰帶，從小就很滿足，一筐飯一瓢水，並不覺著不樂。只是家業清貧，人生用項很多，女兒已經長大，需要榛栗棗肉作禮品，男孩已經成人，得用束帛禽鳥為饋贈。從我勤勉做官，十年調動七次，不是為了取代耕田，怎會走到如此光景？從前求做三吳一名丞官，雖然屬於錯誤，現在聽說南康缺少太守，希望能夠擔當。我不懂得門徑，門徑也可能不知道我，正因為求丞沒有得到，所以現在來求郡，求郡得不到，也還可以再求丞。」又給吏部尚書王僧虔寫信說：「張融是天地間的一個逸人，晉陞不懂得高貴，貶退不知道低賤，實在是因為家貧多年，孤寡傷心，八個侄子都是孤兒，兩個弟弟魯鈍虛弱，怎能過於看重俗陋的利祿，增加張融精神的負擔。阮籍喜愛東平的土風，張融也欣賞晉平的檻外。」當時的議論認為張融不是很好的管理人才，終於沒有實現。
後來他被聘用為齊太傅的屬官，逐步提升為中書郎，這是他所不喜歡的。請求做中散大夫，沒有准許。張氏自從張敷以來，都是以調理音辭、講究儀範為特長。到了張融，風格詭奇，坐時常常膝部很高，行走則是拖著步子，翹著身子仰著頭，創意很多。見到的人都很驚異，聚集在一起觀看好像是集市，而張融絲毫沒有慚愧的表情。大家照例同行，他常常遲疑不進。高帝平素喜愛張融，做太尉時，與張融交情很好。見到張融常常笑著說：「這人不可以沒一個，也不可以有兩個。」即位以後，傳下手詔賜給張融衣服，說：「看到卿的衣服粗破，確是具有樸素的情懷。與你這樣衣衫襤褸地交往，也會有損於朝廷威望。今天送你一件舊衣服，我想衣服雖然舊了，卻勝過新的。是我所穿的，已經讓人重新裁剪，適合卿的身材；並送鞋子一雙。」高帝出宮到了太極殿的西室，張融進去問安，過了好久才登上台階，就座以後，皇上說：「為什麼這樣慢呢？」回答說：「從地上升到天上，照理不應該很快。」當時魏朝君主率軍進到淮河又退回去了，高帝問道：「他們為什麼忽然來了，又忽然去了？」沒有人回答，張融當時坐在下位，高聲說道：「由於無道而來，見到有道而去。」公卿都認為反應敏捷。
張融擅長草書，常常自己稱讚自己的能力。高帝說：「卿的書法頗有骨力，只是遺憾沒有二王的法度。」他回答說：「不光是遺憾臣沒有二王的法度，同時也遺憾二王沒有臣的法度。」
張融告假還鄉，到了王儉那裡，出來告別，王儉站在那裡舉著袖子不往前走，張融便舉手招呼王儉道：「顏..說：『大王前來！』」王儉不得已只好走過去，到了他跟前。張融說：「使張融不變成傾慕權勢，而讓您成為愛慕賢士，難道不是很好嗎？」他常常歎息說：「不遺憾我沒見到古人，所遺憾的是古人又沒見到我。」
張融與吏部尚書何戢要好，前往拜訪何戢，卻錯誤地去找了尚書劉澄。下車進門，便說：「不是。」到了房門望見了劉澄，又說：「不是。」已經到了座席前看著劉澄說：「完全不是。」於是走了。他就是這樣奇特。
他又做了長沙王鎮軍、竟陵王征北咨議，並且兼任記室、司徒從事中郎。永明二年(484)，在總明觀舉行講經，詔令朝臣一起去聽。張融進去後就坐在一個桌子旁邊，私下裡找來酒飲了起來。事情結束，他長歎說：「啊呀，仲尼算是什麼樣的人呢！」被御史中丞到為舉奏免官，不久又復職。
張融身形矮小，面貌醜陋，精神清明，王敬則見張融皮帶很寬，快要到大腿，便對他說：「皮帶束得太緊。」張融說：「我又不是步行小吏，束緊皮帶幹什麼？」
張融請假東出，武帝問張融住在什麼地方，回答說：「臣在陸地上住沒有屋子，在船上住又沒有水。」後來皇上問他的堂兄張緒，張緒說：「張融最近東出，沒有定址，權且牽了一條小船在岸上住。」皇上大笑。
後來派張融接待和應對北朝的使者李道固，入席就位後，李道固回過頭去說：「張融是宋朝的彭城長史張暢的兒子嗎？」張融緊皺眉頭，悲慼了好久，才說：「先父不幸，名字傳播到六夷。」豫章王大會賓客臣僚，張融愛吃燒肉，剛剛布菜完畢，布菜的人就走了。張融想要鹽蒜，嘴上終於不說，一直搖動食指，半天才停下來。他出入朝廷，人們都拭目驚異地看著他。
永明八年(490)，朝臣一同慶賀幾件吉祥的公事，張融進去拜了拜便起來了，又被有關部門所檢舉，結果被寬恕。調任司徒兼右長史。竟陵人張欣時擔任諸暨令，犯罪判死刑，張欣時的父親張興世討伐宋朝的南譙王劉義宣，官軍要殺張融的父親張暢，張興世用袍子蓋住了張暢而坐在上面，因此得以免死。張興世死後，張融穿著高鞋給他背土堆成墳墓。到了現在，張融上書竟陵王蕭子良，請求代替張欣時去死。蕭子良回答說：「這原是長史的一件美事，恐怕朝廷有固定的法律，不能像長史所想的那樣做。」調任黃門郎、太子中庶子、司徒左長史。
張融有孝順的品德，父親死亡的月份他三旬都不聽音樂，侍奉嫂子十分恭謹。他的父親張暢臨終時對幾個兒子說：「從前丞相發難，我因為不肯隨同將要被殺，因為司馬竺超人的援救，得以活了下來，你們一定要報答他的兒子。」後來竺超人的孫子竺微在十一月遇到了母親的喪事，在家居喪貧困，張融前往弔慰，完全脫下了自己的衣服作為資助，披上牛被回了家。他總是把竺微當成哥哥來對待。豫章王蕭嶷、竟陵王蕭子良去世，自己因為曾經身為輔佐官，哭得極為傷心。
建武四年(497)，病死，遺令樹立白色的魂幡，不用旒作裝飾，不設祭品，讓人拿麈尾進屋復魂。他說：「我生平所喜歡的，自然當是凌雲一笑。用三千錢買棺材，不要縫製新的被褥。左手拿著《孝經》、《老子》，右手拿著小品《法華經》。兩個妾在喪事結束後，讓她們各自回家。」又說：「我生平的風調，怎麼至於讓婦人失聲痛哭，沒有必要在閨閣中暫時停留。」
張融在玄學方面沒有師法，而精神的領悟超過常人，高談起來沒有人能夠相比。永明年間遇到疾病，寫成了《門律》，《自序》中說：「我的文章的體式，大多為世上的人所驚奇，你可以讓心做耳朵的老師，不可以讓耳朵做心的老師。文章難道有常規的體式嗎，但卻以有體式為常規，正是應該有它的體式。大丈夫應當刪《詩》、《書》，制禮樂，怎麼能落到寄人籬下呢？」臨死的時候，又告誡他的兒子說：「我的手稿都存放著，通常認為父親的書不要閱讀，況且父親的音容，都體現在音韻當中。我的看法不同，另外告訴你們一種宗旨。我的文體富於變化，變而屢屢顯得奇特，哪裡是我的天才出眾，但也算是不破壞家族名聲。你可以號哭著來看它。」張融的文集數十卷流行在世上，自己命名他的文集叫作《玉海》。司徒褚彥回詢問其中的緣故，張融說：「玉是用來比喻仁德，海是推崇皇上的善行。」張氏家族的人物前有張敷、張演、張鏡、張暢，後有張充、張融、張卷、張稷。