天下大亂，劉邦起兵，盧綰就以賓客的身份相隨。到漢中後，盧綰被劉邦任命為將軍，但很少真正單獨外出打仗，他似乎每天都陪在劉邦身邊。即使劉邦做了漢王之後，盧綰依然可以在劉邦的臥室內自由出入，甚至連劉邦的避孕套放在哪個抽屜裡他都瞭如指掌。明眼人看得很清楚，在劉邦這裡，沒有任何人比盧綰更吃得開。就是蕭何、曹參等人，雖然也很受重用，但那更多是一種工作關係，一種上下級關係，這些關係是無法與劉邦、盧綰之間的關係相提並論的。當然，最後盧綰叛變，那是後話，不在今天的討論範圍。
陳了盧綰，劉邦最相信的就是自家兄弟劉交，自沛縣起兵後，劉邦遭遇了造反以來第一次大危機雍齒叛變，大本營豐邑失守。為了奪回豐邑，劉邦決定投奔景駒。臨走之前，他特意安排二哥劉仲、審食其留在家中照顧太公，自己帶上小弟劉交，和蕭何、曹參一塊兒去見景駒。無奈秦軍來得太突然，這次投奔行動被迫終止，劉邦只好順勢改投項梁。項梁立了楚懷王后，劉邦奉命西征。取南陽，進入武關;戰藍田，終至灞上。這一系列交戰，劉交都全程參與，其間受封文信君。接下來，楚漢之爭，劉交繼續追隨三哥。不管是滅秦還是亡楚，劉氏兄弟中只有劉交一直陪著劉邦。劉交備受他三哥的信任，主要負責傳達劉邦所下的各種指令，而事關機密的研究討論會也總少不了他。征戰七年，劉邦的臥室只有兩個人可以自由出入，一個是盧綰，另一個就是劉交(交與盧綰常侍上出入臥內)。
劉氏兄弟四人，只有劉交是知識分子(好書)，並對漢初《詩》學的發展貢獻不菲。劉交讀書有道，年輕時候曾與魯地的穆生、白生、申公一起求學於著名《詩》學專家浮丘伯。《詩》，即我們今天所講的《詩經》，浮丘伯則是先秦著名學者荀卿的門人，因遭逢秦始皇焚書坑儒，便和其他同門散了，各自流落。劉交的《詩》學是正宗師承的學識，而重視師承也是劉交《詩》學的特色之一，並逐漸成為整個漢代《詩》學的一大亮點。