漢朝時有一個名人叫楊憚，他的父親是漢昭帝時的丞相楊敞，母親是人史學家司馬遷的女兒。他自幼便受到良好的教養，未成年時就成了當朝的名人。漢宣帝時大將霍光謀反，楊憚最先向宣帝報告。
事後被封平通侯，當時在朝庭中做郎官的人，賄賂之風極熾，有錢的人可用錢行賄，經常在外玩樂；無錢行賄的人，甚至一年中也沒有一天休息。楊憚作中山郎後，便把這些弊病全部革除，滿朝官員都稱讚他的廉潔。
但他因少年得志，又有功勞，便產生了驕傲自滿，結果與太僕長榮（長榮是宣帝舊友，最得信任）發生意見。
有一次，楊憚聽見匈奴降漢的人說匈奴的領袖單于被人殺了，楊憚便說：“遇到一個這樣不好的君王，他的大臣給他擬好治國的策略而不用，使自己自白送了命，就像我國秦朝時的君王一樣，專門信任小人，殺害忠貞的大臣，結果國亡了。如果當年秦朝不如此，可能到現在國家還存在。從古到今的君王都是信任小人的，真像同一山丘出產的貉一樣，毫無差別呀！”就這樣，楊憚被免職了。
自古君王勇於改過，不信饞言者能有幾人，楊憚僅被勉職，已是不幸申之大幸了。唉！“前漢書”：“楊憚傳”的原文是“古與今，如一丘之貂。”丘，土阜也，四邊高，中央低的土堆；貉，音鶴，俗稱樹貉，狀似狐小，毛黃褐色，深厚而溫滑，可做皮袍。後來的人將這兩句話引申成“一丘之貂”一句成語，來此喻同類沒有差別，像在同一個山丘裡生長的貂一樣，形體都是相同的。
這成語在應用時，都是用來形容反面的事物，即使是形容否定的事物；含有不屑一談和譏誚的口吻。例如說有一群人專門造謠生事，無事生非，故意與人為難，他們中間沒有一個是好人，就可說：這批東西都是“一丘之貉”，那有一個是好人呢！