劉巴是位高人，天下知名。當劉巴去世之後，魏國的尚書僕射陳群還專門寫信給諸葛亮，打聽劉巴的消息，稱呼劉巴為「劉君子初」，語氣非常尊敬。即便是東吳的孫權，也說：「若令子初隨世沉浮，容悅玄德，交非其人，何足稱為高士哉！」孫權稱讚劉巴為高士，主要是指劉巴做了兩件一般人都不會去做的事情。
當初，在曹操攻破襄陽之後，荊州士林震恐，大家紛紛選擇了投靠劉備，唯獨劉巴選擇了北降曹操。在後來，曹操想派桓階去招撫桂陽、長沙、零陵等荊州南部三郡，不過桓階推辭說，劉巴比自己更合適執行這個任務。確實，劉巴在荊州已經待了將近二十年，多年來，劉巴先後擔任曹史、主記、主簿等郡中重要職務，在荊州南部郡縣中擁有崇高的個人威望。可是劉巴卻很猶豫，覺得很難完成，劉巴說：「劉備據荊州，不可也。」在當時，曹操經歷烏林大敗，倉皇北歸，周瑜大軍更是窮追猛打，情勢危急，但是荊州南部郡縣卻相對穩定。可是劉巴敏銳的發覺，盤踞在夏口一帶的劉備必然會有所作為，趁亂攻襲荊州南部郡縣。曹操聽了劉巴的解釋，並不在意，曹操說：「備如相圖，吾以六軍繼之也。」只要劉備敢去攻打南部郡縣，我曹操就派大軍追著劉備的屁股打！可是，曹操沒想到自己連續遭受大敗，連早在掌握之中的南郡都落到周瑜的手中，完全是把劉巴給丟到虎狼堆中去了。
劉巴帶著曹操的使命來到了零陵，可是招撫工作還沒有正式開展，劉備的大軍就已經到來。當時，諸葛亮曾經寫信給劉巴，非常誠懇的說：「劉公雄才蓋世，據有荊土，莫不歸德，天人去就，已可知矣！」劉備在當時受到荊州士林的熱烈歡迎，南部郡縣幾乎都是望風而降。畢竟劉備在荊州多年，廣施恩義，並且劉備上表尊奉劉表大公子劉琦為荊州刺史，挾公子以令荊州，自然順風順水。可是劉巴竟然拒絕了諸葛亮的邀請，劉巴說：「受命而來，不成當還，此其宜也。足下何言耶。」既然是接受了曹公的委派，就算是任務不成功也應該回去覆命，這本是合情合理的事情啊。劉巴又說：「若道窮數盡，將托命於滄海，不復顧荊州矣！」劉巴對劉備完全不考慮，就算是在完成不了自己的使命，那也寧願選擇漂流於江海，再也不會回到荊州。
劉備聽說了這件事，對劉巴恨得咬牙切齒。那麼，究竟是為什麼，讓劉巴這麼看不起劉備？在漢代末年，有兩大神童，一個是曹操的兒子曹沖，一個是荊州的周不疑。周不疑在荊州之亂後被曹操逮住了，當時只有十三歲，可是曹操第一次見面就非常吃驚，甚至想把自己的女兒嫁給周不疑以籠絡其心，可是被周不疑拒絕。之後，周不疑一直和曹沖在一起，關係很融洽。可不久之後曹沖死了，曹操就下令把周不疑給殺了。當時，曹丕曾經勸阻曹操，曹操說，如果是你弟弟曹沖在世的話還罷了，想周不疑這樣的人不是你曹丕能夠駕馭的。小小年紀的周不疑竟然讓奸雄曹操如此擔心，可見才華何等了得。
而周不疑是荊州別駕劉先的外甥，也是劉備的親戚。當初劉備曾經寫信給劉巴，希望由劉巴來擔任小神童周不疑的老師，本來「得天下英才而教之」是很多文人的心願，何況這份聘書是身為皇叔的左將軍劉備發出的。可劉巴竟然拒絕了！劉巴先是謙虛的說自己「昔游荊北，時涉師門，記問之學，不足紀名」，自己才華淺薄，不堪此任。然後劉巴說「內無楊硃守靜之術，外無墨翟務時之風，猶天之南箕，虛而不用」，劉巴自比為天上的南斗星，但是卻覺得自己是「虛而不用」，當老師並非是劉巴的理想職業。劉巴是一個很有抱負，有志於天下的人，可是將近二十年卻委屈在荊州南部的零陵郡，為什麼呢？仔細品味「內無楊硃守靜之術，外無墨翟務時之風」，是說自己在內不能像楊朱一樣韜光養晦，在外又沒有像墨翟一樣務求實際的本領，其實細細品味，這兩句都是在嘲諷劉備。劉備此人，處處標榜自己是大漢宗室，為了復興大漢而輾轉奔波，為了拯救黎民百姓於水火而征戰四方，可劉巴看透了劉備，暗示劉備不過是以仁德，以愛民為手段，謀取自己的利益而已，而這些，都是劉巴不屑去做的。
於是，劉巴拋棄了偽君子劉備，而選擇了代表朝廷的真小人曹操。於是，收復荊州南部三郡任務失敗之後，劉巴遠走交趾避禍，之後又逃到了雲南，差點被殺，漂泊流離終於來到了益州。當初，劉璋的父親曾經得到劉巴父親的舉薦，於是劉璋看到劉巴來投非常高興。劉巴本來是想借到回到曹操身邊，可是看到劉璋也有心歸附曹操，於是就留下來做劉璋的工作。如果能夠成功的說服劉璋，那也算是失之東隅收之桑榆，完成了當初接受的使命。可沒想到劉璋派遣張松前往許都，張松因為自己受到冷落而選擇了歸順劉備，幫助劉備奪取益州。在張松、法正等人的勸說下，劉璋邀請劉備前來幫助平定張魯。當時，劉巴曾經明確的表示反對，他說：「劉備，雄人也。入必為害，不可內也。」劉巴料定劉備進入川中，必然奪取劉璋的地盤。
劉巴對劉備這個偽君子看得很透徹，劉備正是假借幫助同為漢室宗親的劉璋，平定張魯而進入川中，然後奪得益州的。