但是現在卻因為上林尉沒回答出皇帝的提問，而具體負責飼養動物的嗇夫回答出來了，就要免去原上林尉而提拔嗇夫。要是這樣做的話，豈不是提倡人們都去向嗇夫學習，都在皇上或上級面前伶牙俐齒、喋喋不休地顯示自己，以便得到嘉獎和提升嗎？皇上知道，秦朝重用的就是一批舞文弄法、耍嘴皮子的人為官吏，他們在任官期間不去體察民情，對百姓的痛苦毫無仁愛同情之心，挖空心思只是想在官場上攀比看誰有口舌之才、看誰辦案和完成朝廷交辦的事快捷、看誰監督下級官吏和百姓苛暴繁細。他們不顧百姓的死活，不管會對國家造成什麼樣的危害。結果，秦朝官吏不干實事，搞得朝廷各職能部門也是徒具空名而無其實。這樣一來，秦朝從上到下的官吏都把國家安危、百姓的命運置之腦後。
由於秦朝由這樣一批只圖虛名而不干實事之徒掌握了國家大權，所以他們對秦始皇的過失不僅不諫阻，反而向朝廷隱瞞百姓的困苦和秦朝危亡的真情，從而加重了秦始皇的過失。這樣，才會在秦二世的時候發生陳勝、吳廣起義，秦朝也就土崩瓦解了。
現在，皇帝陛下因為看到嗇夫口齒伶俐，善於對答就要破格提拔他。我擔心從今以後天下的人都會爭相倣傚。我認為看人不能只重口辯之才，而不看重少說多干或只幹不說的務實精神。再說，下面各地若知道這件事後，倣傚起來就會如影之隨形，響之隨聲一樣快的。所以朝廷辦任何一件事都要考慮到後果，什麼該辦，什麼不該辦，必須慎重啊！」漢文帝聽了張釋之的一番話後，改變了自己原來草率的決定，收回了罷免上林尉和任命嗇夫的詔令，並真誠地說：「還是卿家的話說得對。」
升任廷尉
一次，太子與梁王同乘一輛車入朝，到了皇宮外的司馬門沒有按照國家的規定下車，當時張釋之迎上去阻止太子、梁王，不讓他們進宮。並檢舉他們在皇宮門外不下車犯了不敬之罪，並報告給皇帝。薄太后知道了這件事，文帝摘下帽子賠罪說：「這怪我教導兒子不嚴格，請您原諒。」薄太后派使臣帶著她的赦免太子、梁王的詔書前來，太子、梁王這才能進入宮中。文帝由此更加看出了張釋之的與眾不同，任命他做了中大夫。
又過了些時候，張釋之升任中郎將。一次，張釋之跟隨文帝到了為文帝自己修建的霸陵，漢文帝站在霸陵的北面眺望。文帝的寵姬慎夫人也跟隨前行，皇帝用手指新建造的道路給她看，並感慨地說：「這是通往邯鄲的道路啊。」接著，文帝讓慎夫人彈瑟，他自己合著曲調歌唱，心裡很是淒慘悲傷，回過頭來對著群臣說：「唉！用北山的石頭做槨，用苧麻絲絮堵塞石槨縫隙，再用漆粘塗在上面，誰還能打得開呢？」在身邊的近侍都連連稱是。張釋之走上前去說道：「假若裡面有了引發人們貪慾的東西，即使封鑄南山，也還會有縫隙；假若裡面沒有引發人們貪慾的東西，即使沒有石槨，也用不著憂慮啊！」文帝稱讚他說得好，後來任命他做了廷尉。
公正的廷尉
一次，文帝出巡經過長安城北的中渭橋，有一個人突然從橋下跑了出來，皇帝的駕馬因此受到驚嚇。文帝命令騎士捉住這個人，交給了廷尉張釋之。張釋之審訊那個人。那人說：「我是鄉下人，聽到了清道禁止通行的命令，就躲在橋下。過了好久，我以為皇帝的隊伍已經過去了，就從橋下出來，沒想到正好撞到了皇帝的車隊，因為害怕就跑了。」廷尉張釋之向皇帝報告說，那他觸犯了清道的禁令，應處以罰金。文帝發怒說：「這個人驚了我的馬，幸虧我的馬馴良溫和，假如是別的馬，說不定就摔傷了我，可是廷尉才判處他罰金！」張釋之說：「法律是天子和天下人應該共同遵守的。現在法律就這樣規定，卻要再加重處罰，這樣法律就不能讓百姓信服了。而如果在當時，皇上您讓人立刻殺了他也就殺了。現在既然把這個人交給廷尉，廷尉是天下主持公正執法的人，稍一偏失，天下執法者都會任意或輕或重地去判罰，老百姓豈不會手足無措、無所適從？願陛下明察。」許久，文帝才說：「廷尉的判處是正確的。」