狄仁傑，字懷英，并州太原(今山西太原)人，出生於一個官宦之家。他的祖父叫狄孝緒，當過尚書左垂。父親狄知遜，做過夔州長史。在這樣的家庭裡，狄仁傑受到的教育是嚴格而良好的，因此，他一長大成人，就通過明經科考試及弟，授汁州參軍。參軍原本是參謀軍事，至唐，已演變成參謀性質的職官，官階不是很高。狄仁傑初人仕途，並不順利，當上參軍不久，就被人污告。但誠如老子所言，禍福相依。隋唐時，全國分為十幾個道，對這些道，中央常派官員巡視，這巡視的官員稱之為黜置使。當時被派為河南道的黜置使是任工部尚書的閻立本。他接手狄仁傑一案後，便將狄仁傑召來訊問。
狄仁傑據理力爭，而閻立本通過審理，不僅還了狄仁傑一個清白，更發現了狄仁傑是一個難得的人才。他稱讚狄仁傑說：「君可謂滄海遺珠矣」！倘若狄仁傑遇到的不是閻立本，而是一個妒賢嫉能的小人，或一個糊塗官，那麼狄仁傑的仕途恐怕也就走到了盡頭。閻立本澄清狄仁傑的冤屈，認定他是滄海遺珠，就把他推薦到并州都督府當法曹。在唐代，都督府、州衙門和縣衙門都設得有法曹一職，但稱謂稍有不同。在府，稱為法曹參軍事，在州，稱為司法參軍事，在縣，稱為司法，其職能，就是掌管刑法獄訟方面的事。至今，日本和韓國，仍把律師和法官、檢察官等司法界人士合稱為法曹，大約就是受了我國這一官職的影響。法曹這個職務，對狄仁傑一生影響巨大。狄仁傑在法曹任上，認真學習，從而通曉了吏治、兵刑等封建典章和法律制度。這為他不久遷任大理承奠定了堅實的基礎。
唐高宗儀鳳元年(676年)，狄仁傑被任命為大理寺丞。大理寺丞這個職務，大約相當於現在的法院院長，負責審判工作的。狄仁傑正是在大理寺丞這一位置上，牛刀初試，一年之中，將在獄中拖延了很久、涉及一萬七千多人的案件，全都審理得明明白白。按當時的制度，大理寺丞審完案子作出判決後，要將涉案人員的家屬叫來，問他們是否服從判決。誰也沒有想到，這一萬多人的家屬，居然人人稱是，沒有一人表示反對的。狄仁傑由是名聲大震，時人稱之為「平恕」。當然，狄仁傑審理的案件若都只是一些普通老百姓的普通案件，那名聲再大，也將會是有限的。狄仁傑能以鐵面法官的形象青史留名，還在於他為伸張正義而不顧生死冒犯皇威。當時有兩個人，一個叫權善才，任左威衛大將軍，一個叫范懷義，任右監門中郎將。這兩人在不知情的情況下，誤砍了李世民墳墓昭陵的柏樹。這一來唐高宗不答應了，下旨要將二人處死。
狄仁傑得到命令卻不執行，反上奏道：這兩人罪不當死。唐高宗一聽，龍顏大怒，對狄仁傑說：這兩個傢伙砍了我父親陵墓的柏樹，使我成為不孝之子，我一定要殺了這兩個傢伙！狄仁傑據理力爭，說道：漢朝時曾有人盜高廟的玉環，漢文帝想誅殺盜環者的九族。廷尉張釋之認為處罰太重，就問文帝道，盜了玉環就誅滅九族，那麼有人若盜了長陵的一杯土，又還有什麼更重的刑法來處置呢？於是只把盜環者殺了。如今將犯不死之罪的人處死，而且只是僅僅因為誤砍了一根柏樹就要殺兩個大臣，後來的人們將會怎樣來評價皇上您呢？唐高宗聽狄仁傑說得有理，這才罷了。唐高宗也是個有頭腦的皇帝，特別是在他的早期，還是有所作為的。狄仁傑反對他殺權善才和范懷義二人，他想通後稱讚狄仁傑說：「你能堅持按法辦事，我有一個好法官了。」