宋江自上梁山以後，就開始代替晁蓋率領部眾出征。作為梁山來說，雖然他們是一個自己說了算的「王國」，但畢竟這個王國是山寨的；儘管他們都是「好漢」，但這個好漢說到底還是綠林的。在梁山這個綠林好漢佔領的山頭上，晁蓋還是個正兒八經的首領，名義上，宋江等頭領只不過是他的小兄弟，其他的更是小嘍囉。按理說，梁山上有比較大的軍事行動，尤其是需要大隊人馬出動，都應該是晁蓋帶隊才行。可是，因為宋江救了晁蓋的關係，宋江在梁山上有了特殊的地位，所以，這宋江要代替哥哥出征，每一次都能成行。從晁蓋這方面來說，人家「擔著血海般干係」救了他，把這第一把交椅讓出來也是應該的（劉唐說晁蓋早有這個意思），但是對於其他將領以及當時好漢們所講究的那個「義」字來說，這又是不可以的。所以，當宋江打了清風寨，帶著人馬準備投靠晁蓋，因為家信半路上回家不能上梁山，花榮、燕順等人儘管知道兩人的關係，又手裡拿著宋江的書信，心裡還是沒有底，因為這梁山畢竟是晁蓋的。後來，宋江坐了梁山的第一把交椅，這梁山就成了宋氏天下，朝廷要招安，那詔書上寫著所有人都可以赦免，唯有宋江除外。如此說來，只要晁蓋坐著第一把交椅一天，這梁山泊就是晁蓋的天下。宋江要代替晁蓋出征，除了晁蓋，還必須要得到弟兄們的擁護才成。而問題恰恰在於，掌握著梁山泊兵馬調度大權的軍師吳用，總會在第一時間表態支持宋江。而這個所謂的智多星，在晁蓋征伐曾頭市的戰鬥中，卻並沒有隨晁蓋出征。可以說，宋江能夠架空晁蓋，吳用的支持起到了關鍵的作用。沒有吳用，宋江想架空晁蓋也是徒勞枉然。
那麼，吳用為什麼會選擇倒向宋江，又是怎樣支持宋江架空晁蓋的呢？
吳用和宋江本來不認識，這種恩情應該算作是私，於公還是在晁蓋
晁蓋等人劫取生辰綱事發，宋江穩住了公人，冒險來到晁蓋莊上報信。這時候，三阮兄弟已經回到了石碣村，而吳用、公孫勝和劉唐還在晁蓋莊上。因為這是「私放」，宋江需要抓緊時間回到縣裡。晁蓋也來不及多說，安排宋江和三人見了一面，宋江「略講一禮」，「飛也似望縣裡」去了。送走了宋江，晁蓋問他們三人說：「你們認得那來相見的這個人麼？」可見，他們都不認識宋江。晁蓋說：「虧殺這個兄弟，擔著血海也似干係，來報與我們。」這對於晁蓋來說，告訴這些弟兄們，不要忘了宋江的大恩大德，是一種道義。從吳用等人來說，知恩圖報，也是做人的本分。但事情還應該從另一方面來看。劫取生辰綱，劉唐、公孫勝等人從不同的地方來到晁蓋這兒，說明他們是把晁蓋當做頭領，白勝被抓招供時也說，「為首的是晁保正」。在那個等級社會，晁蓋這個大哥就是主公，就是這幾個人的「君主」，他們都是晁蓋的臣下。這就像關羽、張飛一樣，他們雖然和劉備成了結義弟兄，但劉備首先是他們的「主子」，其次才是他們的大哥。因此，吳用維護晁蓋的權威是「公理」，而報答宋江的恩德和對待晁蓋相比，只能算作是私義，更何況，宋江並不是因為七個人而私放晁蓋，私放只因為晁蓋一人。換一種說法，報答宋江的恩德是晁蓋集團的事情，晁蓋當上梁山首領後，是整個梁山山寨的事情，吳用不會也不應該因為這個事情選擇倒向宋江。這就像關羽，他幫助曹操解了白馬之圍，在華容道上私自放走了曹操，這些都是他報答曹操恩情的私義，而矢志不渝地追隨擁戴劉備，才是他一生不變的「忠義」。
當然，晁蓋和宋江的關係比較特殊，這有別於劉備和曹操，但僅僅從「君臣」關係上來說，兩者並沒有多大區別。如此說來，吳用倒向宋江，必然是另有原因。
宋江寧可當罪犯也不上梁山，吳用說，我明白了，這裡兩人的想法是一樣的。
宋江被斷配江州，晁蓋「只怕路上錯了道路，教大小頭領分付去四路等候」，終於被劉唐一路接著。劉唐要殺了兩個押送公人，請宋江上山，宋江以自刎相逼，要劉唐放他去江州。劉唐說：「哥哥這話，小弟不敢主張。」並說吳用在前方等候，領著宋江來到吳用和花榮面前。花榮說，為什麼不給兄長開了枷？宋江說：「賢弟，是甚麼話！此是國家法度，如何敢擅動！」吳用緊接著笑著說：「我知兄長的意了。這個容易，只不留兄長在山寨便了。晁頭領多時不曾得與仁兄相會，今次也正要和兄長說幾句心腹的話，略請到山寨少敘片時，便送登程。」宋江聽了這話後說：「只有先生便知道宋江的意。」
兩人一來一往之間，都說對方知道自己的「意」，那麼，兩人懂得對方的什麼心思呢？從吳用來說，宋江的心思就是寧可當罪犯，也不願意當強盜。既然要當罪犯，就要當一個「好罪犯」，因此公人不能殺，枷鎖不能開，因為這是「國家法度」。從宋江來說，罪犯離正常社會距離近，梁山泊頭領離正常社會遠，罪犯遇到大赦或者邊境有戰事，還可以做個「忠孝」之人，而上了梁山，則完全成了一個「不忠不孝的人」，這是「上違天理，下違父教」的。所以，當吳用承諾「只不留兄長在山寨便了」的時候，宋江馬上說，只有吳用知道他的意思，連花榮這般最知命的兄弟也是不懂得宋江的心意的。有了這番默契，宋江上了梁山泊，始終是帶著枷鎖的，眾位弟兄「教去了枷，也不肯除」，不用說，梁山泊的「大總管」吳用成全了宋江的這番「意」。
後來，宋江寫了反詩，不得不上梁山，坐上了第二把交椅。通過前面的事情，吳用肯定知道，宋江是時時刻刻想著回到他那個「忠孝」路上去的，這和吳用的心思是一致的。古代文人為什麼要讀書？不用說，就是為了當官。吳用是懷才不遇，他想通過劫取生辰綱證明自己的智慧，因為此前有人已經劫過一次生辰綱，成功了，他認為自己不比別人差。只不過是百密一疏，出現了一個白勝，事情敗露，這才選擇造反的，其實，他的骨子裡是想當官的。
晁蓋本來可以不造反，他只是想享受一下被人擁戴的滋味，招安不招安，無所謂。本博有一篇文章《晁蓋為什麼要劫取生辰綱》專門論述過這個事情，再重複說明一下，這不符合吳用等讀書人的理想。
宋江上梁山雖然是無奈之舉，但卻是有備而來。兩人圍繞過梁山和上梁山有了默契
宋江第一次打算上梁山，那是在打下清風寨之後，尤其是有了一個花榮還不夠，他還費盡心思再拉上一個秦明，這樣，真正有武藝的就是兩個人。宋江因父親的假信不能上山，花榮領著一般頭領上了山，梁山頭領一共是二十一位。梁山原來有四位頭領，林沖、杜遷、宋萬、朱貴，真正屬於晁蓋的也就是七人，再加上擁戴晁蓋坐上第一把交椅的林沖，晁蓋派共是九人。花榮一行是九人，假如宋江上山，宋江派就是十人。不能不說，宋江是有所算計的。從江州刑場被救出來，宋江不顧危險，拉著一幫弟兄攻打無為軍。做下了這件事情以後，宋江跪下來求江州眾人跟隨他上梁山，李俊、張橫、穆弘等江州弟兄只能是跟著他走，因為事情很明白：「今若不隨哥哥去，同生同死，卻投哪裡去？」到了梁山，經過一番推讓，宋江坐了第二把交椅。當吳用、公孫勝這個梁山決策集團的人員確定了以後，宋江馬上發令：「休分功勞高下，梁山泊一行舊頭領去左邊主位上坐，新頭領去右邊客位上坐，待日後出力多寡，那時另行定奪。」這話有一個很大的問題，頭領們既不分功勞高下，分什麼？新舊頭領都不是一個兩個，這位置難道就不用再分了嗎？既然不分功勞高下，為什麼還要說日後出力多寡再定奪？這樣一分配的結果就是，左邊舊頭領九人，右邊新頭領二十七人。
新舊頭領一說，算是讓吳用看明白了，宋江上梁山雖然是無奈之舉，但卻是有備而來。
當然，宋江也忘不了敲打一下吳用。在「宋江說起江州知府捏造謠言一事」的時候，還說了一句：「不期戴院長又傳了假書。」這假書正是吳用的失誤，所以黃文炳攛掇蔡九知府來個「先斬後奏」，差一點要了宋江的命。吳用不是晁蓋，更不是李逵，他能聽出一個弦外之音來，宋江說刑場一事，他沒有馬上回擊宋江，當宋江說到「拒敵官軍一事」的時候，吳用這才說：「兄長當初若依了弟兄之言，只住山上快活，不到江州，不省了多少事？這都是天數注定如此。」吳用並沒有接茬說宋江的那個「拒敵官軍一事」，宋江也沒有接茬說當初堅決去江州服刑一事，而是問了黃安之事掩蓋了過去。從此以後，兩人只有默契。
宋江拉隊伍，有實力，晁蓋只想守攤攤。謀士的最大的特點就是選擇「主公」為之效力。
從宋江第一次要上梁山就可以看出，宋江上山，就要有自己的絕對實力。假如第一次真的上山，宋江的勢力是可以和晁蓋勢均力敵的。第二次，宋江帶來了若干人馬，上山後馬上來了一個新舊頭領之說，而這新頭領除他宋江之外，竟然有二十七人。更令人不可思議的是，花榮等人已經在梁山成為了「頭領」，竟然也成了新人。人們一看就很清楚，所謂新舊，只不過是以宋江為界限，因為宋江而上的梁山，這就是新，在此之前這都是舊。反觀晁蓋，一行七人上了梁山，接受了王倫的班底四人，救出來一個白勝，總共是十三人，到宋江上了山，還是這十三人。
吳用是不是一個智謀超群之人姑且不說，但他是一個明白人，這種事一眼就可以看出，宋江一上來就有自己的勢力，這不是晁蓋能夠比的。晁蓋自從上了梁山，或許是因為手裡有十萬貫生辰綱財寶，也可能是真正的心存義氣，除了救宋江，竟然沒有一次重大的軍事行動。吳用選擇倒向宋江，可能有覺得自己「智慧」沒有用處的原因，也可能是看到了宋江的勢力和野心，因為在此之前，宋江攻打過清風山，還攻打過無為軍。謀士的最大特點就是選擇主公，然後為之效力，這種例子可以說是不勝枚舉。僅舉兩例：張良本來有自己的隊伍，可是他遇見了劉邦，經過一番交談後，他把隊伍交給了劉邦，自己從此只幹出謀劃策的營生；諸葛亮閒居隆中，劉表就在身邊，他沒有去輔佐。同時，他既沒有北上輔佐強大的曹操，也沒有選擇已經有自己勢力範圍的江東孫氏集團，而是選擇了劉備。原因在於，劉表難以成事，不值得輔佐；曹操謀士戰將眾多，沒有他出頭之日；江東文韜有張昭，武略有周瑜，也沒有他發展的空間。而劉備，志向遠大，天下還有西川之地可爭，所以諸葛亮才會選擇劉備。吳用能夠看明白，什麼樣的人值得他去輔佐。一個想大展抱負的「智多星」，能不倒向想得「凌雲志」的宋江嗎？
吳用從此追隨宋江，直到最後和宋江一道死去。
看明白的不僅僅是吳用一人，還有一個公孫勝。宋江上山後，晁蓋個人又擺一個宴席，慶賀宋江父子完聚，這勾起了公孫勝念母之情，要請假回家省親。晁蓋同意了，叮囑他一百天後一定回來。但是，公孫勝卻來了個一去不回頭，後來卻是宋江派人將他請了回來。宋江請他先後派人兩次，後邊這次用了李逵。李逵為了請宋江，竟然刀劈了公孫勝的師傅羅真人，可見決心之大。公孫勝是自己投靠晁蓋的，為什麼宋江上山了第一次請不到他？原因就在於，晁蓋已經給了他應有的尊重和地位，未來的宋江能不能用他這個人，他需要得到驗證，因此才會拿捏作態地再擺一次譜。
吳用選擇了宋江，從此事事順從宋江。
楊雄等人投奔梁山泊，因為在路上偷了人家的報曉雞，和人家打了起來，時遷被人捉住，楊雄、石秀逃到了梁山。晁蓋認為楊雄辱沒了梁山名聲，要將兩人殺了。宋江不但救下楊雄，還借此機會要攻打祝家莊。宋江講了四條攻打祝家莊的理由，話音剛落，吳用馬上說：「公明哥哥之言最好……」，根本就沒有給晁蓋思考的時間。攻打高唐州，晁蓋說柴大官人對山寨有恩，要親自走一趟。宋江說：「哥哥是山寨之主，如何可便輕動？小可……情願替哥哥下山。」吳用接著說：「高唐州……不可輕敵。」接著就是調撥人馬，根本就不給晁蓋表態行還是不行的時間。高俅興兵三路征剿梁山，呼延灼率領大軍前來，探馬將此消息報到梁山大寨，竟然是吳用、宋江在議論軍事，李逵在當中攪和，卻沒有晁蓋任何事情。在家門口的軍事行動，又不用再「替哥哥走一趟」，難道吳用不知道誰是山寨之主？到了三山聚義打青州那會兒，孔氏兄弟要請梁山人馬前去攻打青州城，晁蓋想去，竟然是成了晁蓋替宋江「走一遭」。至此，宋江完全實現了對梁山的控制和架空晁蓋。
最能說明問題的是脅迫朱仝上山。作為梁山的「第三把手」，吳用本來是一個「運籌帷幄」的人物，他竟然親自下山，為的就是拉一個朱仝入伙。說起來，朱仝對晁蓋等人都有恩情，但朱仝對待晁蓋的恩情和對待宋江不一樣，朱仝放了宋江，和宋江私放晁蓋差不多，那是擔著干係的。宋江逃亡之後，家裡的一應官司，都是朱仝在奔走打點。而朱仝放走晁蓋，只不過是一個順水人情！那時候，晁蓋等人已經有了準備，真要是拚殺起來，憑晁蓋、劉唐等人的本事，誰死誰活還真難說。正因為如此，宋江一定要按照自己的方式「報答」朱仝，請他上梁山。吳用也是看明白了這一點，既報答朱仝的恩情，又順從宋江的意志，所以才會親自下山。
吳用選擇跟隨宋江，為的是實現自己心中的理想，但現實的殘酷卻並不是他心中想像的那般美好。招安了，宋江只是得到了一個「都先鋒」的官銜（盧俊義為副先鋒），其他人員並沒有個一官半職。到了征方臘回來，弟兄們消失了四分之三，剩餘的雖然被授予官職，但仍然被人視為「賊寇」，時時被人歧視。宋江、盧俊義更是被所謂的「奸臣」視作眼中釘，必欲除之而後快。正因為吳用「自到任之後，常常心中不樂」，所以才會「夢見宋江、李逵二人，扯住衣服」，訴說被人陷害致死之事。等到在宋江的墳塋處見了花榮，吳用的那顆心已經死了。舊時讀書人習慣於幻想，吳用心雖然死去，可是他所做的最後一件事仍然還是幻想，那就是魂魄與宋江「同聚一處」。只不過我們不知道，吳用魂魄追隨宋江，是規勸宋江再造反堅決不受招安呢，還是打死也不再上梁山？！