張軌，字士彥，安定烏氏縣人，為漢朝常山景王張耳的第十七代孫。家族世代舉孝廉，以專攻儒學著名。父張溫，為太官令。張軌年少聰明好學，頗有才能聲望，姿態儀表文雅端莊，與同郡人皇甫謐相好，隱居在宜陽女幾山。泰始初年(265)，繼承了叔父恩蔭的五品官。中書監張華與張軌談論經義及政事利弊，十分器重他，認為安定郡的中正壓制蒙蔽了人才，對張軌的言談為人大為讚美，覺得他就是在二品等級裡也是很優秀的。衛將軍楊珧召他為屬官，授職為太子舍人，累遷散騎常侍、征西軍司。
張軌因為時世多災難，便暗自圖謀佔據河西之地，為此占卜預測吉凶，得到六十四卦中的泰卦與觀卦相遇合，便扔掉蓍草大喜道：「這是霸者之吉兆啊。」於是請求朝廷讓他做涼州刺史。公卿大臣們也推舉張軌，認為其才幹足能統轄遠方。永寧初年(301)，張軌出任護羌校尉、涼州刺史。當時鮮卑族反叛，盜匪縱橫州里，搶劫財物，張軌到任，立即予以討伐，剿滅了盜匪，斬首萬餘級，於是張軌威名大顯涼州，教化施行於河西。張軌以宋配、陰充、..瑗、陰澹為左右得力謀士，徵召九郡貴族的長子五百人，建立學校，開始設置崇文祭酒，其地位和別駕一樣，春秋兩季實行以射選士的禮儀。秘書監繆世征、少府摯虞夜裡觀測星象，聚在一起說：「天下將亂，避難之所唯有涼州而已。涼州張刺史德行氣量不凡，莫非應在此人身上！」及至河間王、成都王叛亂，張軌派兵三千，東奔京師保衛天子。當初，漢末金城人陽成遠殺太守叛亂，郡裡人馮忠前往為太守收屍，撫屍號哭，吐血而死。張掖人吳詠被護羌校尉馬賢徵召為佐吏，後來吳詠又做了太尉龐參的屬官，龐參、馬賢彼此捏造罪狀互相陷害，按其罪狀應處以死刑，二人都召引吳詠作證，吳詠考慮到無法使二人都有理，便自殺而亡。龐參、馬賢慚愧後悔，相互之間自行和解。張軌祭掃馮、吳二人之墓並優待他們的子孫。永興年間(304～305)，鮮卑貴族若羅拔能反叛騷亂，張軌派司馬宋配征討叛敵，斬殺拔能，俘虜十餘萬人，張軌威名大震。晉惠帝遣使任張軌為安西將軍，並封安樂鄉侯，食邑千戶。於是大規模修建姑臧城。其城本為匈奴人所建，南北長七里，東西長三里，地勢有龍的形狀，所以又稱臥龍城。當初，漢末博士敦煌人侯瑾對他的門徒說：「日後城西邊的泉水會枯竭，將有雙座樓台立於泉水潭上，與城東門相望，其中定有霸者出現。」到魏嘉平年間(249～254)，郡里長官果然建造學館，在城西泉水潭上築起兩座樓台，與城東門正好相遙望。至此時，張氏便成為河西霸主。
永嘉初年(307)，東羌校尉韓稚誅殺秦州刺史張輔，張軌屬下少府司馬楊胤向張軌進言說：「今日韓稚違抗上命，擅自誅殺張輔，明公手握重兵鎮守一方，應懲罰那些不法之徒，這也是《春秋》倡導的大義，春秋諸侯之間互相殘殺互相吞併，桓公不能救助，則桓公以此為恥。」張軌聽從了這一建議，派中督護..瑗率二萬兵馬討伐韓稚，先派人給韓稚送去一封信說：「當今朝廷綱紀混亂不堪，各方諸侯應併力勤王。適才得到雍州文書，說你興兵內訌。鄙人督察經略一方，義在討伐叛亂之徒，將士三萬，絡繹進發，朋友故舊受害之痛，心中怎可言狀！迸人作戰，以保全國家為上，你若單人匹馬來軍門謝罪，你我尚可共事平定世難。」韓稚得到書信後向張軌投降。張軌派主簿令狐亞聘問南陽王司馬模，司馬模十分高興，將天子所賜之劍送給張軌，對張軌說：「自隴地以西，一切軍政大事皆委託於你，此劍如同權杖。」不久王彌侵犯洛陽，張軌派北宮純、張纂、馬魴、陰睿等率涼州軍馬攻破王彌，又在河東擊敗劉聰，京師歌謠道：「涼州大馬，橫行天下。涼州鴟苕，寇賊消；鴟苕翩翩，怖殺人。」天子嘉獎張軌的忠誠，晉封他為西平郡公，張軌推辭不受。張掖臨松山石塊上有「金馬」字，字跡湮滅大體可識，而「張」字字跡分明，又有刻文說：「初祚天下，西方安萬年。」姑臧又有塊大黑石，其上白點構成二十八宿。當時天下已亂，各方諸侯不聽朝廷使命，張軌派遣使者朝貢天子，一年四季從不廢止。朝廷嘉獎張軌，一再降詔慰勞。
張軌後來中風，口不能說話，讓兒子張茂代理州事。酒泉太守張鎮暗中召引秦州刺史賈龕以取代張軌，秘密遣使到京師，請求尚書侍郎曹苮任西平太守，圖謀構成相依互佐之勢。張軌別駕麴晁想獨斷專行作威作福，又派使者到長安，告訴南陽王司馬模，聲稱張軌身體殘廢，請求朝廷讓賈龕代替張軌，而賈龕也準備接受這一任職。其兄責備賈龕道：「張公是當今名士，在涼州威名卓著，你有何德何能可去代替他！」賈龕便打消了這一念頭。朝廷又任命侍中爰瑜為涼州刺史。治中楊澹快馬奔馳到長安，將自己的耳朵割下來放在盤子上，訴說張軌遭人陷害，南陽王司馬模便上疏朝廷制止了更換刺史之事。
晉昌人張越，是涼州的大族，有讖言說張氏雄霸涼州，張越自以為自己的才幹能力可以應驗此言。張越從隴西內史升任梁州刺史。張越志在統轄涼州，便托病回到河西，暗中謀劃取代張軌，派其兄張鎮及曹苮、麴佩傳書各郡廢免張軌刺史之職，以軍司杜耽代理州事，讓杜耽上表朝廷請求任命張越為涼州刺史。張軌發出命令道：「鄙人在涼州八年，不能安定地方，又適值中州叛軍作亂，秦隴危急，加之身患重病命在旦夕，因而真心考慮隱退讓賢。只是職位所在責任重大，不便馬上了結心願。不料有人無端興起今日事變，這實在是不明白鄙人之心。鄙人把離開涼州貴地看作如同脫掉腳上的鞋子而已！」張軌打算派主簿尉髦拿著疏表進京，同時準備車馬，預備回宜陽養老。長史王融、參軍孟暢用腳踩斷張鎮發送的文告，推門而入勸諫張軌道：「晉室多變，人民塗炭，實在依仗明公安撫西方。張鎮兄弟膽敢放肆作亂，應宣明其罪行而誅殺叛黨，不能成全他們的野心。」張軌默然。王融等實行戒嚴。武威太守張..派兒子張坦快馬奔赴京師，上表朝廷說：「魏尚安撫邊疆反而獲罪，趙充國盡忠報國反而遭貶，這都是前代歷史中值得譏諷而當今可引為借鑒的事。順陽吏民懷念太守劉陶，為他守墓者多達千人。張刺史來治理涼州，好比慈母撫育赤子，涼州百姓愛戴張軌，好比乾旱季節的禾苗迎得甘雨。聽說朝廷聽信流言，打算更換刺史，百姓驚慌不安，如同將要失去父母。當今戎夷胡人擾亂華夏，不宜輕率搔動一方。」不久張軌任命其子張萛為中督護，率兵討伐張鎮。又派張鎮的外甥太府主簿令狐亞前往勸導張鎮說：「舅舅何不審時度勢看清成敗安危？張公在涼州德高望重，兵馬如雲，這就像烈火已熊熊燃燒，你卻等待江漢之水來澆火；溺於洪流，指望越地之人來救助，豈不是鞭長莫及！現在數萬大軍已兵臨城下，惟有誠心誠意歸順官府，才能使親人平安，延續門戶，保全家族幸福。」張鎮痛哭流涕說：「我這是為他人所誤！」便將罪名加到功曹魯連身上並將魯連斬首，向張萛投降謝罪。張萛率部南進討伐曹苮，趕走了曹苮。張坦從京師趕回，晉懷帝特下詔慰勞張軌，依準司馬模所奏，下令誅殺曹苮。張軌大喜，赦免州內死罪以下的叛黨。命令張萛率尹員、宋配領步兵騎兵三萬餘眾討伐曹苮，另派從事田迥、王豐率八百騎兵從姑臧西南出石驢，佔據長寧。曹苮派麴晁在黃阪一線設防抵抗張萛大軍。張萛從隱秘小道通過浩..，在破羌與曹祛交戰。張軌斬殺曹苮及其牙門將田囂。
張軌派治中張閬送五千義兵及郡國秀才孝廉、賦稅賬簿、器甲土產交付京師。命令主管官吏詳細察問涼州自建州以來高潔純正遺棄富貴退隱世外以保持節操者；高才碩學著述經史者；為國為君臨危不懼殺身殉義者；忠心進諫而獲罪者；交涉應對隨機行事而避免禍患者；武勇機智為時世排除災難者；奸諂誤主陷害忠賢者；等等都用文狀呈報到州府。涼州父老莫不慶賀。光祿卿傅祗、太常摯虞送信給張軌，告訴京師饑荒匱乏，張軌馬上派參軍杜勳給朝廷獻馬五百匹、毯布三萬匹。晉懷帝派使者進拜張軌為鎮西將軍、都督隴右諸軍事，封霸城侯，又升張軌為車騎將軍、開府辟召、儀同三司。授封的文書未到，而王彌就兵臨洛陽，張軌派將軍張斐、北宮純、郭敷等率精銳騎兵五千人來保衛京師。及至京師陷落，張斐等皆被賊軍殺害。中州人紛紛逃到涼州避難，張軌分割武威一部分設立武興郡讓避難者居住。太府主簿馬魴向張軌進言道：「四海動盪，天子未得反正，明公率涼州之兵直搗平陽，必將所向披靡，有征無戰。不知明公擔心什麼而不採取這一行動？」張軌道：「這正是我所想的事。」又聽說秦王已進入關中，便迅速傳檄至關中，檄文說：「主上遇險，流落賊營，普天分崩，舉國喪氣。秦王天資卓越聖明仁德，神機武斷以應天時。世祖之孫中，秦王今為長者。凡我大晉之人，食糧之民，占卜取卦剋期效忠，光明險惡同心同步。應選擇吉日，奉尊秦王登基繼位。今日派前鋒督護宋配率步兵騎兵二萬，直抵長安，護衛天子，擊退左右之敵。西中郎將張萛率中軍三萬，武威太守張..率胡人騎兵二萬絡繹進發，將於仲秋中旬在臨晉會師。」
不久秦王為皇太子，派使者前往涼州拜張軌為驃騎大將軍、儀同三司，張軌堅決辭謝。秦州刺史裴苞、東羌校尉貫與佔據險要與朝廷斷絕往來，張軌命令宋配率兵討伐。西平人王叔與曹苮餘黨麴儒威逼前福祿令麴恪為君主，逮捕太守趙彝，與東邊的裴苞等人相呼應。張萛回師討伐，斬殺麴儒等。左督護陰預與裴苞在狹西交戰，大敗裴苞，裴苞逃到桑凶塢。這一年，北宮純投降劉聰。皇太子派使者向張軌重申先前的授命，張軌堅決推辭。左司馬竇濤向張軌進言道：「周公旦封於曲阜而不辭，姜子牙封於營丘而受命，這就是所謂明確國家法令，獎勵有大功者。天下崩潰，主上流亡，涼州雖為邊遠之州，但明公不忘匡扶朝廷，因此朝廷推誠相待，嘉獎任命再三傳送至州。明公應遵從朝廷旨意，以滿足眾人之心。」張軌依舊堅決不從。
當初，張萛平定麴儒，將首惡六百餘家改遷別處。治中令狐瀏說：「清除惡人，如同農夫除草，務必鋤去草根，使草不能再滋生成長。今日應將叛黨之家全部遷走，以絕後患。」張萛未加採納。麴儒餘黨果然反叛，張萛進兵平定了此亂。
晉愍帝即位，晉封張軌為司空，張軌堅辭不受。太府參軍索輔向張軌進言道：「從前用金貝皮幣作買賣貨幣，消除了用糧食布帛度量交換的損耗。兩漢製造五銖錢，貿易流通不息。泰始年間(265～274)，河西地區荒廢不堪，便不再使用錢幣，割布分段來計錢數。絹布既被毀壞，交易起來又困難，只會徒然破壞女工的作業，使布帛不能製作衣服，實為嚴重的弊病。如今中州雖戰亂不休，但涼州安定，應恢復使用五銖錢以暢通買賣貿易。」張軌採納這一建議，建立制度，以布帛為標準，用錢交易，錢幣便大為流行，涼州百姓獲得便利。這時劉曜寇犯北地，張軌又派參軍麴陶率三千人馬保衛京都長安。晉愍帝派大鴻臚辛攀拜張軌為侍中、太尉、涼州牧、西平公，張軌又堅決辭謝。
張軌在涼州為官十三年後，臥病不起，臨終前留下遺言道：「我平生對他人無甚恩惠，今日疾病垂危，大概命將告終了。我死後，文武將佐都應盡忠盡義，務必安撫百姓，上報國家，下安家室。我死後以普通棺木從簡安葬，墓中不藏金玉。好好輔助我兒安遜，聽從朝廷旨意。」上表朝廷請求立其子張萛為世子。終年六十。朝廷所贈謚號為武公。