張伯行憤而上奏彈劾噶禮。噶禮就買通官吏，得到張伯行彈劾奏稿。然後又捏造事實反過來誣告張伯行。主審官畏懼噶禮的權勢，逢迎巴結，案情無法審結。康熙無奈中只得下令：張伯行與噶禮解任，再命主審官審理。揚州百姓聽到消息之後罷市抗議，哭聲震動了揚州城。第二天，揚州百姓擁到會館，因為平時就知道張伯行清廉不貪，肯定不會接受禮物，便用水果蔬菜相送。張伯行依然婉言拒絕，百姓們哭道："公在任，止飲江南一杯水;今將去，無卻子民一點心！(不要推脫百姓的一點心意)"萬不得已，張伯行才收下一把青菜。受審結束回來聽候結果的路上又路過揚州，百姓們為防青天有什麼不測，竟有數萬人聚集江岸護送。
到最後，案子結果下來，竟然是噶禮免議，張伯行革職治罪。康熙皇帝痛斥大臣們是非顛倒，然後親降聖旨：張伯行留任，噶禮革職。消息傳出，江蘇官民爭相慶祝，紛紛寫下紅幅貼在門旁："天子聖明，還我天下第一清官。"
更有上萬人進京到了暢春園，跪謝皇恩，上疏表示願每人都減一歲，以便讓聖上活到萬萬歲。
福建百姓也奔走相告，在供奉的張伯行像前焚香祈禱。可見張伯行受人民愛戴之深。
在康熙五十四年，有人以"狂妄自矜"的莫須有的罪名彈劾張伯行，但康熙皇帝還是認為他無罪可治，留任南書房行走(一種和皇帝關係很密切的官職)，後來，在康熙五十九年又任戶部右侍郎。康熙六十一年，張伯行奉旨赴千叟宴，康熙皇帝稱讚他是"真能以百姓為心者"。