陶謙統治徐州的軍事力量是丹陽兵以及收編的闕宣部下。見於記載的武將只有丹陽籍的許耽、曹豹、章誑三人，均非出色的將帥。文士有趙昱，"廣陵太守趙昱，徐方名士，以忠直見疏。"另有名士如陳登父子、糜竺兄弟，這些人都是徐州地方的豪姓大宗。但從他們的行動看，均和陶謙持不合作態度。趙昱最明顯，"徐州牧陶謙，初辟昱別駕從事，辭疾遜遁。謙重令揚州從事會稽吳范宣旨，昱守意不移，欲威以刑罰，然後乃起。"趙昱是地方名士，大姓宗族的代表，他的政治選擇直接代表著地方宗族勢力的政治取向，他的不合作態度實際上表現了徐州地方勢力對陶謙的敵視態度。這種敵視態度的根源在於陶謙對待徐州黃巾餘黨的態度。"下邳闕宣自稱天子，謙初與和縱寇抄，後遂殺宣並其眾。"闕宣是黃巾餘黨。在黃巾起義中各地民眾多以宗族為依托組織武裝結寨自保，大姓名士更是直接參與鎮壓。趙昱就是參與鎮壓的急先鋒，"會黃巾作亂，陸梁五郡，郡縣發兵以為先辦"，被表功為第一。而陶謙和黃巾義軍的關係卻暖昧不清。"和縱寇抄"所危害的是地方宗族的利益，必然要激起大姓宗族為代表的地方勢力的仇視，其不合作也就容易理解了。對於不合作的大姓宗族勢力，陶謙除了威逼其合作外還採取了鎮壓的方法，即"刑政失和，良善多被其害"。但鎮壓並不能完全解決問題，任何軍事集團若不能得到地方以宗族形式存在的勢力的支持，想要控制地方是不可能的。陶謙當時是外有強敵，內缺謀士戰將，加之內部矛盾重重，劉備到來後，陶謙即以"丹陽兵四千益先主"繼而將徐州交給了劉備。
劉備能領有徐州是和當時的徐州內外環境相聯繫的。陶謙手下親信將領既少，才能又一般，且與徐州地方勢力不能很好地合作，所以徐州不能交給他們，即使給他們也無力守護。而陶謙更不願把徐州交給地方勢力，那樣會葬送丹陽兵的前途，也是陶謙手下難以接受的。徐州對於曹操而言是志在必得，在兩次進攻失敗後，正在整頓後方積極準備再次對徐州的攻擊。袁術更是將吞併徐州視為其爭奪天下的關鍵一步，徐州形勢極為嚴峻。陶謙既不能讓徐州落於袁術、曹操之手，手下又無各方都能接受的人選，就是在這樣的情況下劉備成了徐州牧。在陶謙死後，陳登、孔融、糜竺這些徐州的大姓名士和豪族人物紛紛勸劉備領徐州牧，也說明了相對於丹陽兵將領而言，他們更支持劉備領有徐州。
對於剛剛領有徐州的劉備而言，要處理好以下幾個問題：1、如何統領丹陽兵人。2、如何取得徐州大姓宗族為首的地方勢力的支持。3、如何保持丹陽兵集團和地方勢力之間的平衡，穩定徐州局勢，平穩接掌政權。4、以武力抗擊敵對勢力的攻擊。對於丹陽兵而言，新喪統領必然人心慌惶，如有優勢兵力，趁機分化瓦解，化整為零，徹底改編是完全可能的。但劉備以千餘兵力入主徐州，顯然沒有這樣的實力徹底解決丹陽兵。他只能採取維持現狀，以親信將領監督的辦法，暫時穩定局面等待機會，這是劉備唯一可行的選擇。劉備任命許耽為中郎將，章誑為軍司馬，曹豹為下邳相，這三位丹陽兵將領的職務或許是維持現狀，或許是有所提升，史無明載，不得而知。但對於劉備而言，只有這樣才能穩定他們，穩定丹陽兵，從而穩定徐州局勢，然後尋找機會再解決問題。對於徐州地方勢力，劉備努力爭取，在入主徐州時就得到了陳登父子的支持。在劉備的爭取下，"祖世貨殖，童客萬人，貲產巨億"的徐州地方豪族糜竺舉家相隨。在劉備失去徐州後，"先主轉軍廣陵海西，竺於是進妹於先主為夫人，奴客二千，金銀貨幣以助軍資，於時困匱，賴此復振。""孫乾，字公佑，北海人也，先主領徐州牧，闢為從事，後隨從周旋。"劉備在徐州期間，爭取到了地方豪族勢力的支持，沒有發生如陳登父子那樣在呂布統治徐州時期和曹操暗通消息裡應外合的情況，說明劉備對地方大族的政策是成功的。爭取到了大部分地方豪族的支持，更爭取到了一部分人的忠心相隨。劉備平穩地接掌了徐州並未發生變亂，也說明了劉備在徐州地方豪族勢力和丹陽兵集團之間的平衡工作是成功的。但要保住徐州不為外敵所奪，卻並非易事，劉備在領徐州牧後首先遇到了袁術的進攻，"袁術來攻，先主拒之於盱眙、淮陰，相持經月"。
強敵來攻，劉備無法以政治外交方式化解敵人的攻勢，在強弱懸殊的情況下，袁術也不可能放棄進攻，接受和解。況且也找不到那種可以居中調解的力量。同時劉備也不可能讓別人領兵抵抗袁術而自己留在徐州，他手下既無那樣的人才，即便有他也絕不放心。劉備不得不親自領兵抵抗。從史料看，劉備將丹陽兵一分為二，自己率領一部分抵抗袁術，留下一部分守徐州。同時讓張飛鎮守下邳，監督下邳相曹豹及其所領之丹陽兵。這樣既能抵禦外敵進攻，又能控制軍隊，預防丹陽兵發動事變。
從當時所能容許的選擇看這是唯一正確的選擇，"陶謙故將曹豹在下邳，張飛欲殺之，豹眾堅營自守，使人招呂布，布取下邳，張飛敗走。"，同傳注引《英雄記》："劉備中郎將丹陽許丹，夜譴司馬章誑來詣布，言張益德與下邳相曹豹共爭。益德殺豹，城中大亂，不相信。丹陽兵有千人屯西門城內，聞將軍來，大小踴躍，如復更生，將軍兵向城西門，丹陽兵便開門納將軍也。布遂夜進，晨到門下。天明，丹陽兵悉開門納佈兵。佈於門上坐，步騎放火，大破益德兵，獲備妻子、軍資及部曲將吏士家口。" 兩條史料略有不同，但有一點是肯定的，即丹陽兵集團兵士與將領之關係方面：兵為將有，外人很難取代，若動其將領，必然引起兵士叛亂。這也證明了劉備維持丹陽兵集團現狀的作法是正確的。張飛為何殺曹豹，史無明載，不得而知。但張飛"愛敬君子而不恤小人。"且"刑殺既過差，又日鞭撻健兒。"曹豹之被殺，丹陽兵之叛亂，肯定與張飛之性格有關。劉備留張飛守徐州，有用人不當的嫌疑，張飛的失誤使劉備失去了徐州，可後來關羽的失策又使劉備失去了荊州，兩位兄弟既有長處又有不足，但徐州時的劉備除了他們又能派誰呢？有意也罷，無心也罷，他是不得不如此。奪取徐州的呂布是在兗州被曹操擊敗後投奔劉備的。呂布被曹操評為"狼子野心，誠難舊養"。被時人稱為反覆無常之小人。但他擁有一支強悍的并州兵，其人英勇善戰，"布有良馬曰赤兔，常與其親近成廉、魏越等陷鋒突陣。"陳宮評其為："呂布壯士，善戰無前。"呂布作為一員勇將，手下又有張遼、高順等名將和并州騎兵，這是呂布集團在當時存在的基礎。他雖然殺丁原，誅董卓，但在"人人欲為桓文"的時代，各種勢力間的分合離散早已司空見慣，劉備收留呂布也必然是出於擴大自己的勢力，壯大自己力量之目的。在整個三國時代，很少有因戰敗投靠他人而被殺的，呂布如此，劉備亦然。況且劉備新佔據徐州，也無法以武力拒絕呂布的投奔。劉備讓呂布屯於下邳之西，其實也顯出劉備之用心，不使拒守城池，以防其據地自專或距離太遠而無法控制，將之置於州治之西，再由親信將領鎮守下邳，代為監督，既可防止呂求和，又可借力威懾丹陽兵，這在當時的形勢下是正確的選擇。劉備被呂布擊敗後隨即向呂布救濟金和，"備軍在廣陵......窮饑侵逼，欲還小沛，遂使吏請降布。布令備還州，並勢擊術，具刺史車馬童僕，發遣備妻子部曲家屬於泗上，祖道相樂。"註：引《魏書》："諸將謂布曰：備數反覆難養，宜早圖之，布不聽......"呂布之不殺劉備和劉備之收留呂布乃出於同一原因。以後發生的事也可以說明呂布之用心，"術遣將紀靈將步騎三萬攻備，備求救於呂布，布諸將謂曰：'將軍常欲殺備，今可假手於術。'布曰：'不然，術若破備，則北連泰山諸將，吾為在術圍中，不得不救也。"
收留投奔而來的軍事集團是從戰略方面來考慮的，至於其個人的品質則已是次要的了。劉備失去徐州，輾轉於呂布、曹操、袁紹三大集團之間，在官渡之戰前夕被曹軍擊敗，帶領部下投奔荊州劉表，結束了他在北方的政治活動。劉備集團雖然多次受到挫折和打擊，但始終保持軍事集團骨幹力量的獨立性，這些人不管在什麼情況下都能和劉備同生死，共進退。劉備能夠根據不同的形勢，選擇最恰當的作法，以保持、發展、壯大自己的集團力量，和呂布、曹操、袁紹集團的聯合與分裂都是以保存和發展自己的武裝集團為前提的，這是劉備集團最具特色之處。劉備在徐州期間極力改善與當地豪族大姓的關係，得到他們政治上的支持和人力物力上的援助;對陶謙部下採取維持原狀，派親信將領加以監督的辦法，平穩實現了徐州政權的接管;張飛對丹陽兵處置不當引起丹陽兵的叛亂，從反面證明了劉備對丹陽集團處置的正確;收留戰敗的呂布集團，既可以壯大自己的力量，又可以威懾丹陽兵集團。只是由於劉備親信的軍事力量太過弱小，對兩派軍事力量無法形成優勢，所以一有風吹草動便無法收拾，尤其是袁術的進攻，使劉備無法抽出時間來改善徐州的政治、軍事狀況，這也是劉備失去徐州的重要原因。