“克己奉公”這則成語的克己是克制、約束自已；奉公是以公事為重。約束自己的私慾，以公事為重。比喻一個人對己要求嚴格，一心為公。
這個成語來源於《後漢書.祭遵傳》，遵為人廉約小心，克己奉公。賞賜輒盡與士卒，家無私財。
祭遵，字弟孫，東漢初年穎陽人。祭遵從小喜歡讀書，知書達理，雖然出身豪門，但生活非常儉樸。
公元24年，劉秀攻打穎陽一帶，祭遵去投奔他，被劉秀收為門下吏。後隨軍轉戰河北，當了軍中的執法官，負責軍營的法令。任職中，他執法嚴明，不循私情，為大家所稱道。
有一次，劉秀身邊的一個小侍從犯了罪，祭遵查明真情後，依法把這小侍從處以死刑。劉秀知道後，十分生氣，想祭遵竟敢處罰他身邊的人，欲降罪於祭遵。但馬上有人來勸諫劉秀說：“嚴明軍令，本來就是大王的要求。如今祭遵堅守法令，上下一致做得很對。只有像他這樣言行一致，號令三軍才有威信埃”
劉秀聽了覺得有理。後來，非但沒有治罪於祭遵，還封他為征虜將軍，穎陽侯。
祭遵為人廉潔，為官清正，處事謹慎，克己奉公，常受到劉秀的賞賜，但他將這些賞賜都拿出來分給手下的人。他生活十分儉樸，家中也沒有多少私人財產，即使在安排後事時，他仍囑咐手下的人，不許鋪張浪費，只要用牛車裝載自己的屍體和棺木，拉到洛陽草草下葬就可以了。
祭遵死後多年，漢光武帝劉秀仍對他的克己奉公精神十分懷念。