張嵊字四山。他的父親張稷起初去做剡縣令，走到嵊亭，生了他，於是就取名叫嵊，字四山。他少年的時候就很有孝行，三十歲時，還穿著綵衣受張稷的杖打，常常多到幾百下，收了眼淚仍然是歡喜的樣子。他方正文雅而有志向和操守，能夠清談。感於家庭的災禍，終身都是吃蔬菜，穿布衣，手裡不拿刀，不聽音樂。他的弟弟張淮言談氣質不合常規，張嵊就流著眼淚對他進行教訓誘導。
他最初官任秘書郎，逐步陞遷為鎮南湘東王長史、尋陽太守。湘東王閒暇的時候談玄，於是為他占卜，得到的是《節卦》，便對張嵊說：「你以後會東入為郡中長官，但恐怕不能終其天年。」張嵊說：「貴在得到適當的地位罷了。」當時伏挺在座，說：「君王令人可畏！」
回來後擔任太尉卿、吳興太守。侯景圍困建鄴，他派弟弟張伊率領郡中的兵士前往增援。城被攻陷，御史中丞沈浚逃難東歸故鄉，張嵊前往見他，對他說：「賊臣侵逼，是人臣效命的時候，現在我打算收集兵器，在貴鄉堅守，即使是萬死，也決無悔恨。」沈浚堅決勸張嵊舉義。當時邵陵王蕭綸東奔到了錢塘，聽到消息後，派遣前舍人陸丘公任命張嵊為征東將軍。張嵊說：「天子遇到危難，今天有什麼情緒再接受這光榮稱號？」只把命令留下而已。
賊軍的行台劉神茂攻破義興，派遣使者遊說張嵊，張嵊殺死了他們的使者，仍然派軍隊進攻劉神茂。侯景派遣他的中軍侯子鑒幫助劉神茂攻張嵊。張嵊的軍隊失敗，他脫去軍服坐在廳堂當中。賊兵到來用刀逼著他，他終不屈服，被抓住送給侯景。侯景將要把他釋放，張嵊說：「趕快殺死是我的幸運。」於是殺死了他。子弟遇害的有十多人。侯景想保留他的一個兒子，張嵊說：「我全家已經寫入了鬼的名單，不在你處求恩典。」於是全都死掉。賊平以後，元帝追贈他為侍中、中衛將軍、開府儀同三司，謚號忠貞子。