劉彥節在少年時候就以宗室中的清雅恭謹者而知名。孝武帝時，他弟弟劉遐因為私通嫡母殷氏的養女雲敷，常常被殷氏禁閉。殷氏死了以後，口中出血，眾人懷疑是劉遐毒害的。孝武帝讓劉彥節的堂弟劉祗啟發劉彥節出面證明這件事。劉彥節說：「過路的人尚且不應該這樣，今日怎麼可以同門的人一塊都死？我不能接受聖旨。」眾人因此對他非常稱讚。
後廢帝即位，他逐步陞遷為尚書左僕射，參與選拔官員。元徽元年(473)，兼管吏部，增加兵士五百人。桂陽王劉休范反叛，中領軍劉面力出京守衛石頭城，劉彥節臨時兼任領軍將軍，所派給他的衛兵跟隨進入宮殿。封為當陽侯，與齊高帝、袁粲、褚彥回分天入宮值勤，平等地決定機要大事。又改任中書令，加官為輔軍將軍。後來皇帝被廢為蒼梧王，劉彥節出去參加集體議事，在路上遇見了堂弟劉韞。劉韞問他說：「今天的事，當然應該歸於兄長了吧？」劉彥節說：「我們已經讓出了領軍了。」劉韞捶著胸脯說：「兄長肉中難道還有血嗎？今年我們要全家被殺了！」齊高帝聽說後非常厭惡。順帝即位，劉彥節轉任中書令。當時齊高帝輔政，劉彥節知道宋朝的天命將要完結，秘密地懷有異圖。
沈攸之起兵後，齊高帝入京屯駐朝堂，袁粲鎮守石頭城，暗中與劉彥節以及諸位大將黃回等人謀劃夜會石頭城，決定次日凌晨出發。劉彥節平素怯弱，慌亂不能自安。下午後半晌，便從丹陽郡用車拉上婦女，全部奔向石頭城。臨走的時候，婦人蕭氏強勸著讓他吃些飯，劉彥節端著羹糊，灑在了胸前，手一直在發抖，不能自控。他的主簿丁靈衛聽到危難消息，立即進宮，對身邊的人們說：「今天的事情，難以成功，但我受了劉公的厚恩，堅守信義，決無二心。」等見了袁粲，袁粲驚愕地說：「怎麼現在就來了？事情現在要失敗了！」劉彥節說：「今天能夠見到您，就萬死無恨了。」他的堂弟劉韞在台省值勤，和直閣將軍卜伯興謀劃這天夜裡共同進攻齊高帝，正遇上劉彥節的事情被發覺，秣陵令劉實、建康令劉遐秘密地報告了齊高帝，高帝連夜派驍騎將軍王敬則把他抓住殺死，卜伯興也同時遇害。袁粲失敗，劉彥節越過城牆逃走，在鵝簷湖被捉住殺死。劉彥節的兒子劉俁和弟弟劉陔曾經賦詩說：「城上草，植根非不高，所恨風霜早。」當時都說這是妖句。事情失敗後，劉俁和劉陔剃了頭髮、披了法服逃向京口，在客舍被人認出，抓到了建康監獄全都殺死。
當初劉彥節身份變得高貴以後，士子除了三署的官員都不會被讓到上方的坐榻上，當時的人們因此而對他很有微詞。他的妻子是蕭思話的女兒，常常害怕遇禍敗亡，經常說：「您的富貴已經足夠了，所以應該為兒女考慮。」劉彥節不聽，所以遭了禍患。
劉彥節的弟弟劉遐字彥道，因為嫡母殷氏暴死，有關部門對他進行糾彈，把他遷到了始安郡。後來得以返回，位居吳郡太守，到現在也被殺死。劉遐人材非常平凡，自己忌諱自己的名字像君主忌諱自己的名字一樣，常常對客人說：「孝武帝無道，冤枉地殺死了我的母親。」他就是這樣地呆癡。等劉彥節當了權，劉遐多次要求做地方諸侯。劉彥節說：「我在這個地位，而任用你做州郡長官，在名聲上很不好聽。」劉遐說：「富貴了就說不能彼此相關，如果是連坐的時候，能夠倖免嗎？」到現在果然也被殺死。