劉遂清，字得一，青州北海人，後梁開封尹劉尋的侄子。父親劉琪，以鴻臚卿身份退休。劉遂清小時聰穎仁惠，開始時，事奉後梁擔任保鑾軍使，歷任內廷各司使，唐莊宗進入汴州，沒有改任他的職務。明宗繼承皇位，加封檢校尚書僕射，任為西都監守。過了一年，因中山王都有謀反的跡象，任命劉遂清為易州刺史，使他阻扼敵人攻擊的要道，到了州郡之後，很有抵禦侵犯的謀略，境內百姓依賴他。平定王都叛亂，加封檢校司空，調任棣州刺史。天成、長光年間，歷次主管淄、興、登三個州郡，都有好的政績。
晉高祖即位的第二年，任命他為鳳州防禦史，加封檢校司徒，碰上母親去世守喪，喪期滿後起用，任內客省使、右監門衛大將軍。天福六年(941)，高祖幸臨鄴都，調任宣徽北院使兼判三司，加封檢校太保。七年，少帝即位，任右領軍衛上將軍，賜與竭誠翊戴保節功臣名號。八年，出鎮鄭州，加檢校太傅。開運二年(945)，調任安州防禦使。不久，上表稱說有病，下詔准允隨其自便，他回到上蔡，在驛館去世，當時是開運三年四月。
劉遂清生性特別孝順，任淄川郡守時，從北海迎接他的母親到淄川來，他母親到了郡境之後，劉遂清馳馬上前，拉著馬韁陪著母親走了幾十里，鄉親父老觀看的人像牆一樣站立兩旁，當時的人為有這樣的兒子感到榮耀。劉遂清一向不曾讀過詩書，但多計策謀略，主管三司時，每次發給百官俸祿，都與判官說「：這些人不一定都有才能，很多是世襲俸祿的人家，應該汰除那些沒用的廢物，留下那些有能力的人才。」有人回答說「：從前唐朝渾、郭、顏、段四家，每一次赦免令下來，都以一個兒子任官，已成為常制；並且繼續獎賞施與恩澤，成為國人的美談，沒有因按月領取俸祿而想淘汰他們的，這恐怕不妥當。」輿論因此責怪他。