在賈詡的謀劃下涼州軍重新集結，在李傕、郭汜、張濟等人率領下浩浩蕩蕩向長安殺來。
李傕等人從陝縣出發時也只有三四萬人，但大軍一路行進，不斷有涼州軍舊部加入，樊稠、李蒙等涼州軍將領也聞訊率部趕來，人馬越聚越多，到達長安時已經超過了10萬人。各地的涼州軍舊部本來都準備散伙，聽說有人挑頭討伐王允，自然跟來了。涼州軍一到長安城外，立刻把城圍了起來，看到這陣勢，王允傻了。
王允這才想起和談，他派胡文才、楊整修出城去見李傕等人，捎話給涼州軍，只要撤兵一切都好商量。但是晚了，李傕等人看到手下有了這麼多人馬，心裡想的就不再是自己如何活命，而是想要別人的命。而胡文才、楊整修二人一見到李傕，不提和談的事，反勸李傕他們加緊攻城，告訴李傕城裡的防守兵力很有限。涼州軍挑戰，王允派胡軫和徐榮出城迎敵，不出所料的是，胡軫投降，徐榮戰死。
涼州軍繼續攻城，皇甫嵩以全國武裝部隊副總司令（車騎將軍）的身份主持守城事務，呂布協助他。長安也是京城，城牆相當厚實，攻起來並不那麼容易，但涼州軍好像發了瘋似的，死多少人都不在乎，非攻下來不可。
他們個個嘴裡嚷著為董太師復仇，其實大家心裡最清楚，城裡有糧食，有大量的財寶，僅收繳董卓的財寶就數不清。而糧食更重要，董卓被殺後李傕等人就斷了供應，涼州軍將士現在都餓得很。
打開長安城，一切都有了。
皇甫嵩是一名有經驗的老將，在他的指揮下，守城將士打得還算頑強，王允不斷給大家鼓勁：「頂多堅持一個月，關東方面的援軍准到！」但是只守了八天，城裡就出現了叛軍，長安城被攻破。
叛變的是叟兵，叟人是西南的一個少數民族，叟兵以打仗勇猛而著稱，這支叟兵人數有1000多人，是益州牧劉焉派來協助朝廷的，董卓執政時他們就來了，董卓死後，他們歸朝廷指揮。
叟兵打開東門，涼州軍殺入長安城。城破時呂布帶著幾百名騎兵殺出城去，這一行人裡應該有張遼、高順等人。呂布臨走時不忘把董卓的人頭掛在馬鞍上，這個東西他見著袁術、袁紹時還用得上。路過青瑣門，呂布看到了王允，招呼他一塊走。王允不想走，慷慨激昂地說：「如果社稷有靈，可以保佑國家平安，這是我最大的願望。如果這個願望無法實現，我願意為此獻出生命！」王允讓呂布帶話給關東聯軍的諸位首領：「天子現在還年輕，現在都依靠我。災難來時我只顧自己逃命，實在不忍心啊！你見到關東聯軍的各位同人，一定要勉勵他們時刻不能忘了皇上！」
呂布只得自己逃命，李傕、郭汜率兵攻到未央宮南宮掖門，在這裡殺了太僕魯馗、大鴻臚周奐、城門校尉崔烈、北軍越騎校尉王昕等朝廷高官。長安城裡，涼州軍見人就殺，見東西就搶，官民死了1萬多人，在當時這是一個很大的數字。
街道上到處是屍體和燒搶的痕跡，一片混亂。王允扶著嚇壞了的獻帝登上宣平門，李傕等人來到城門下，伏地叩頭，獻帝打起精神，勉強對李傕等人喊話：「你們放縱士兵，想做什麼？」李傕等人回答：「董卓忠於陛下，而無故被呂布所殺，臣等為董卓報仇，不敢造反，請求的事批准後我們自會到有關部門請罪！」涼州兵圍住樓，非要讓王允出來對話，他們大聲質問：「董太師犯了什麼罪？」王允無法回答，只好下了城樓。
涼州軍重新控制了朝廷，李傕脅迫獻帝任命自己為揚武將軍，郭汜為揚烈將軍，樊稠為中郎將。三個月後，李傕升任車騎將軍兼司隸校尉，郭汜、樊稠分別升任為右將軍和後將軍，他們共同主持朝政。張濟也升任驃騎將軍，按說這個職務高於李傕的車騎將軍，但他似乎受到了排擠，率本部出屯潼關以東的弘農郡一帶。
和涼州集團關係密切的西部割據勢力首領韓遂、馬騰等人聽說長安大亂，也帶兵前來湊熱鬧，想渾水摸魚。他們只得任命韓遂為鎮西將軍，讓他駐紮在金城，即今甘肅省蘭州市，任命馬騰為征西將軍，駐紮在董卓昔日苦心經營的大本營郿塢附近。
對朝廷裡原有的大臣，李傕等人分別對待，有的留任，有的被殺。前車騎將軍皇甫嵩因為有巨大的聲望，涼州軍不敢動他，改任他為太尉。不久，皇甫嵩因病去世，朝廷追贈他為驃騎將軍。趙謙被任命為司徒，接替王允，馬日䃅仍為太尉，楊彪擔任了司空。而王允及其追隨者，則被李傕等人殺了。
為涼州軍立下大功的賈詡被擬任為左馮翊太守，並且準備給他封侯，被賈詡拒絕了，賈詡大概很清楚，自己出的一個主意雖然是為保命所迫，但帶來了嚴重的後果，他哪裡敢再以此居功。賈詡自願到尚書檯任職，李傕想任命他當尚書僕射，賈詡又推辭，他最後只擔任了尚書，開始慢慢和涼州軍那些將領們拉開了距離。
呂布出了長安，從武關道逃往南陽郡方向，在南陽郡的宛縣呂布見到了袁術。呂布認為自己殺了袁氏的仇人董卓，理所應當接受袁術的謝恩，但袁術是個從來不做賠本生意的人，看在殺了董卓的面子上對呂布等人倒給了個好臉，但時間一長也不再待見他們，呂布向袁術要糧要錢，袁術說沒有。
呂布不高興了，不給就搶，在他的縱容下，手下的人故意在袁術的地盤上鬧事，袁術不是省油的燈，他最喜歡玩的是「空手道」，善於做無本買賣，之前就是這樣對待孫堅的，孫堅死後袁術順利地兼併了他的人馬，嘗到了甜頭。
袁術也拿這一招對付呂布，你敢鬧事，我就暗地裡策反你的人，呂布還真玩不過他。呂布在南陽郡待不下去了，只好走人。
離開袁術，呂布去依靠的人是張楊，他們過去都在并州軍共事，是好朋友，張楊現在擁有河內郡太守的正式頭銜，同時還是朝廷任命的建義將軍。張楊此時表面上依附於袁紹，又與活躍在這一帶的黑山軍、白波軍以及南匈奴都有來往，相當於結成了一個鬆散聯盟，他們相互呼應，在諸強爭霸中爭取各自的生存空間。
呂布到了河內郡，見到了張楊，張楊是個念舊情的人，儘管自己也有困難，但還是收留了呂布一行。
河東郡離長安太近，呂布到來後，大概他們也聽到了風聲，他們對呂布恨之入骨，一直在通緝他，就給張楊發了一道懸賞捉拿呂布的詔令。張楊的手下看到長安那邊開出的賞金很高，就想把呂布殺了換賞錢。呂布提前知道了消息，有些害怕，找了個借口離開了河內郡。
呂布無奈，把周圍看了半天，最後覺得投袁紹也許是條出路。
呂布到冀州去投袁紹，此前不久袁紹剛剛跟公孫瓚打了一場大仗，這就是界橋之戰。袁紹獨佔冀州後引發公孫瓚的強烈不滿，總想找機會討個說法，初平三年（192）春天雙方在界橋打了一仗，論實力公孫瓚在袁紹之上，但袁紹指揮得當，反將公孫瓚打敗，公孫瓚的白馬義從從此在疆場上消失。
從內心來講，袁紹也不大喜歡呂布，牌子倒了，政治信譽沒了，誰都不待見。但袁紹對呂布的到來還是給予了十二分的熱情歡迎，不是他一向喜歡報恩，而是他對呂布正有所需。界橋之戰雖然取勝，但沒有徹底打敗公孫瓚，公孫瓚退往幽州，雙方仍然勢均力敵，從冀州刺史部北部、幽州刺史部南部直至東邊的青州刺史部一線，雙方的爭奪全面展開。
陣線自西向東一字排開，哪一邊都吃著勁，不容絲毫鬆懈，好比兩個人摔跤，膀子扣著膀子，腦袋頂著腦袋，腳底下也都使著絆子，誰也拿不下誰。如果這個時候突然再出現一個人，朝著其中一人的肋下突然出拳，那是什麼效果？這一拳不必太猛，不用太狠，由於出的是時機，打的是地方，也足以立分勝負。袁紹很不幸，公孫瓚率先找來了這樣的幫手，給袁紹的左肋上打出了一拳。
袁紹的左翼是太行山，在這一帶山區最有實力的要算張燕的黑山軍，他們算是黃巾軍的餘部，在孫公瓚的策動下，黑山軍公開支持公孫瓚，從側翼向袁紹發起進攻。以黑山軍的實力把袁紹徹底打敗不太可能，但他們擅長游擊戰，又佔據著絕佳的戰略位置，頻頻出動，對袁紹進行襲擾，袁紹不勝其煩。
袁紹也集中兵力打了幾次，試圖把黑山軍消滅，但黑山軍利用太行山河谷縱橫的特點，不進行大兵團對決，以游擊戰進行襲擾，打得過就打，打不過就逃進山谷，袁軍成效不大。
袁紹還不能把兵力都用在這個方向，所以苦惱不已。呂布的到來讓袁紹大喜，呂布是并州軍名將，「飛將」的名字已經叫開了，對付張燕應該沒問題。更重要的是，太行山也是并州軍的地盤，呂布擅長的也是山地騎兵作戰，打運動戰呂布不吃虧。
袁紹給呂布增加了一部分人馬，讓呂布和他的手下專門對付張燕的黑山軍。張燕的主力是一支數千人的騎兵，戰鬥力很強，以步兵為主的袁紹也曾創造過戰勝精銳騎兵的戰例，但那是在雙方主力的對決戰中，給袁紹施展謀略留下了空間。張燕的策略是你來我走，你走我來，比誰跑得快，這樣一來袁紹就沒轍了。
現在換對手了，你快，上來的人比你還快；你熟悉地理，人家也都是從小生活在這片土地上的人，動起手來熟門熟路，一點兒都不吃虧。呂布讓手下的部將成廉、魏越等人挑了幾十個身手好的人，他親自率領，騎上快馬組成一支突擊隊，專門衝擊敵人的核心區，一會兒閃電戰，一會兒斬首行動，來如疾風，去如迅雷，無人能擋，打得黑山軍直犯迷糊。
論打仗呂布確實是一把好手，尤其是騎兵作戰。呂布騎的馬也跟著出了名，當時大家都在傳頌著兩句話：「馬中赤兔，人中呂布！」
張燕被打敗，退入太行山深處。
袁紹側翼的威脅解除了，呂布又為袁紹立了一大功。但袁紹對呂布只是利用一下而已，駕馭呂布這樣的人，袁紹大概並不認為自己比丁原、董卓、袁術高明到哪裡去，所以用完之後準備來個卸磨殺驢，還沒等他實施，呂布反倒咄咄逼人起來。
呂布的老毛病又犯了，他以功臣自詡，開始向袁紹伸手要這要那。呂布向袁紹提出，他要到司隸校尉部發展，讓袁紹幫他。呂布的這個建議有一定眼光，司隸校尉部是天下13個州里最核心、最重要的一個州，目前處在四分五裂的狀態，尤其洛陽一帶反而沒人去佔據，洛陽城雖然殘破，但如果有人在那一帶挑起頭來，重新集結為一處重鎮也未必不可能。
呂布不會自己去，他要袁紹幫助，就是向袁紹要人。袁紹這邊公孫瓚的事還忙不過來，哪能分兵幫呂布去發展？還有一種可能，當初為打黑山軍袁紹沒準給呂布開出過條件，等他打敗黑山軍後就幫助他到司隸校尉部發展，事情辦成了，袁紹又想耍賴，這種事袁術最拿手，袁紹也能幹出來。
呂布的目的沒達到就故技重施，放縱手下在袁紹的地盤上四處搶掠。袁紹忍無可忍，經過考慮，決心除掉呂布。這絕對是背信棄義的做法，不管呂布的既往歷史怎樣，畢竟人家殺了你們家的仇人，還幫你打張燕解除你的後顧之憂，怎麼說都是功臣吧，不答應他的要求可以，禮送出境就行，不必下此狠手。
但袁紹還是決定要解決呂布，他假裝接受了呂布的請求，表奏呂布為司隸校尉，給他撥了3000名甲士一同去上任。司隸校尉的辦公地點應該在洛陽，呂布一行走的路線應該是由冀州往南經河內郡渡黃河，然後往西。
這是呂布計劃走的線路，卻不是袁紹的計劃，袁紹沒有打算把這趟旅行走得那麼遠，袁紹的人得到命令，在半路上幹掉呂布。這些年來呂布常算計別人，所以他的警惕性比一般人高得多，他預感到袁紹會有小動作，所以提前有了準備。晚上，呂布故意讓袁紹的人住在自己大帳外，半夜裡讓人在自己的帳中彈箏，而自己悄悄逃走。袁紹的人衝進帳中，向呂布睡的床一通亂砍，卻發現沒有人。袁紹得到報告，嚇得夠嗆。袁紹擔心呂布回來報復，問左右誰願意帶兵去追呂布，飛將的威名居然讓袁紹手下眾人無人敢應徵。
袁紹越想越害怕，一度下令關閉鄴縣城門，嚴加防衛。其實呂布沒打算回去找袁紹算賬，他沒有那個能力，也沒有了那樣的心氣。逃出袁紹黑手的呂布更加體會到了窮途末路的含義，想了半天，發現只能再回去投奔老同事張楊。
要去張楊那裡，最便捷的路徑是走東方大道一直西行，如果呂布走的是這條道，現在他就首先要渡過黃河。站在黃河邊的呂布，想來心情無比沮喪。呂布現在40歲左右，多年來他縱橫馳騁，奮力拚殺，干的都是玩命的活，換來的卻是眾人的冷眼，以至於到現在都沒有一塊屬於自己的立足之地。
呂布懷著這種低落的心情過了黃河，過河之後正要向西行，卻被一夥不速之客攔下了，這些人好像是在此專門等候他的，問清是呂布本人之後，他們報上了自己的名號，原來是附近的陳留郡太守張邈的人，奉張太守的派遣專門在此迎候呂將軍。
呂布很不解，他只聽說過張邈的名字，知道這傢伙跟袁紹關係不錯，是當初關東十一路聯軍中的一路，但從來沒跟他打過交道。張邈確實是袁紹的人，但自己是袁紹的敵人，張邈在此等候自己，一定凶多吉少，如果想到了這些，呂布應該很緊張。但等對方簡要說明情況後，呂布心裡又大喜，馬上跟著這夥人去了陳留郡。