汲黯是西漢武帝時代人，以剛直正義、敢講真話而受人尊重。他為人和做官都不拘小節，講求實效。雖然表面上不那麼轟轟烈烈，卻能把一個郡治理得井井有條，因此，朝廷把他從東海太守調到朝廷當主爵都尉——一種主管地方吏任免的官職。
有一次，漢武帝說要實行儒家的仁義之政，為老百姓辦好事了。沒等皇帝把話說完，汲黯就說：「陛下內心裡那麼貪婪多欲，表面上卻要裝得實行仁政，這是何苦呢？」一句話把皇帝噎了回去。漢武帝登時臉色大變，宣佈罷朝，滿朝文武都為汲黯捏著一把汗，擔心他會因此招來大禍。武帝回到宮裡以後，對身邊的人說，汲黯這個人也未免太粗太直了。
從此以後，汲黯的官職再也沒有提升。他當主爵都尉的時候，公孫弘、張湯都還是不起眼的小辟，後來，他們一個勁兒住上升，公孫弘當上了丞相，張湯做上了御史大夫，可他汲黯還蹲在原地沒動窩。有一天，汲黯對武帝說，陛下使用群臣，跟碼劈柴一樣，是「後來者居上」啊！漢武帝當然聽得出這是發牢騷。於是，轉臉對臣下們說：「人真是不能不學習 啊！你們聽汲黯說話，越來越離譜了！」
故事出自《史記·汲鄭列傳》。成語「後來居上」，往往指後起的可以勝過先前的。和汲黯說這話的原意，大不相同。
後來居上的意思是：後來的超過先前的。有以稱讚後起之秀超過前輩。