奕訢與倭仁爭論過後，一些人仍在背後攻擊奕訢「以夷變夏」(夏即華夏、中國)，罵他是「鬼子」、「鬼子六」、「六洋鬼子」(奕訢在兄弟中排行第六)，罵他主管的總理各國事務衙門為「鬼使」。
奕訢是道光皇帝的第六個兒子，咸豐皇帝的異母弟弟，受封恭親王。1860年英法聯軍攻陷北京後，咸豐任命他為與英、法議和的全權大臣。1861年咸豐帝去世，他與慈禧密謀，發動政變，受命為議政王，掌管軍機處與總理各國事務衙門(又稱總理衙門)。1865年因受慈禧猜忌，被罷去議政王等一切職務。旋在許多大臣請求下，復任軍機大臣、總理衙門大臣等職。
奕訢在奉命議和，辦理外交時，即深感要辦理好外交，必須先瞭解外國情況，而要瞭解外國情況，必須先熟悉其語言文字，1862年奏請在北京創立京師同文館，招收15歲以下的八旗子弟學習西方語言文字。這雖是一所新式學校，由於只學習外國語言文字，學生限於八旗子弟，並未遇到阻力。奕訢還主張自強，學習西方，大力支持李鴻章等人辦理洋務，趕上或超過洋人，最後達到雪恥的目的。
商辦開設天文、算學館
看到洋人製造機器、槍械、輪船、行軍等，無一不與天文、算學有關，上海、浙江等地也在講求仿造洋人的輪船等事，若是不從根本上下工夫，即使學些皮毛，也無益於實用。於是在1866年12月，奕訢又以總理衙門的名義奏請在同文館內另設一館，專門學習天文、算學，招生的對象也由八旗子弟擴大到了20歲以上的滿漢舉人、五貢(恩貢、拔貢、副貢、歲貢、優貢，都算正途出身資格)、秀才，以及科舉正途出身的五品以下年少聰慧的官員，聘請洋人教習。朝廷批准照辦。
不料這件事卻在一些士大夫中間引起了很大反響。有人指出，以堂堂天朝竟要拜夷人(即洋人)為師，實乃中國人的奇恥大辱。
奕訢沒有退縮，1867年1月又上一折，進一步說明開設天文、算學館的必要性和急迫性，還提出將招生對像再擴大到翰林院編修、進士等人。朝廷又予批准。
這一來，可極大地刺激了道學先生們的敏感神經，引起京師內外的一場軒然大波。
3月5日，山東道監察御史張盛藻首先發難，上折說：若以自強而論，則朝廷之強，莫如整紀綱，明政刑，嚴賞罰，求賢養民，練兵籌餉諸大端;臣民之強，則惟氣節一端。臣民有了氣節，「以之御災而災可平，以之禦寇而寇可滅」。令正途科甲人員學習「機巧之事」，又借陞官、銀兩以誘之，「是重名利而輕氣節，無氣節安望其有事功哉？」這無異於是說奕訢犯了「方向性」的錯誤，把國家引向歧途。此折雖「為一時推重」，不過他人微言輕，朝廷沒有理會。
倭仁披掛上陣
過了半個月，大人物倭仁親自披掛上陣了。倭仁字艮峰，蒙古正紅旗人。道光九年進士，歷任侍讀、侍講學士、侍讀學士等官，是著名的理學大師。咸豐皇帝在世時，因其只會說教，不會辦事，把他視為「迂儒」，令其出任葉爾羌幫辦大臣，故意用違其才，將其投置閒散之地。慈禧執政以後，才把他召回北京，授為都察院左都御史，後任工部尚書、協辦大學士，命其教授同治皇帝讀書，並兼翰林院掌院學士。不久，他在慈禧與奕訢爭奪權勢的鬥爭中堅決地站在慈禧一邊，又被授為文淵閣大學士。
他上奏說：「立國之道，尚禮義不尚權謀;根本之圖，在人心不在技藝。」今學技藝，「又奉夷人為師」，即使學成，也不能起衰振弱。何況「天下之大，不患無才。如以天文、算學必須講習，博采旁求，必有精其術者，何必夷人？何必師事夷人？」而且夷人是我們的仇敵，咸豐十年(1860)，他們稱兵犯順，侵犯我京師，震驚我宗社，焚燬圓明園，殺害我臣民，這是「我朝二百年來未有之辱，學士大夫無不痛心疾首，飲恨至今，朝廷亦不得已而與之和耳，能一日忘此仇恥哉？」科舉出身的人都是國家培養的有用人才，若使他們「變而從夷」，正氣為之不伸，邪氣因而更盛，數年以後，就要把中國人都驅趕到夷人那邊去了。
倭仁的地位遠遠高於張盛藻，其奏折的影響力也遠遠超過了張盛藻。他不僅道貌岸然地大講「尚禮義」、「在人心」一類治國的大話、空話，拿不出一點民富國強的實際有效措施，上綱上線，給對方扣上一頂忘記帝國主義侵略「仇恥」的政治大帽子，將奕訢的招生方案徹底推翻，奏請停議。
奕訢將了倭仁一軍
慈禧見倭仁出面反對，把他與張盛藻的奏折批交總理衙門，讓奕訢作出答覆。奕訢沒有被倭仁的危言聳聽所嚇倒，又針對他所言上了一個奏折，指出：正因科甲正途人員存心正大，不會被洋人誘入歧途，才讓他們學習。倭仁主張的那一套，雖然「陳義甚高，持論甚正」，其實不過是空言，而空言不能雪恥，只會誤國。如欲救國，就要正視現實，瞭解外國，向外國學習。最後又以攻為守，將了倭仁一軍，說：該大學士既然以此舉為窒礙，自必別有良圖，如果實有妙策，可以制服外國而不為外國所制，臣等自當追隨在該大學士之後，悉心商辦，用示和衷共濟。「如別無良策，僅以忠信為甲冑(古時戰士用的鎧甲和頭盔)，禮義為干櫓(盾牌，指兵器)等詞，謂可折衝樽俎(指外交談判)，足以制敵之命，臣等實未敢信。」
倭仁仍不罷休，4月12日再次上折，爭辯說：今閱總理衙門所奏，大致謂忠信禮義之空言，不能收到制勝自強之實效，奴才以為不然。欲求制勝，必求之忠信之人;欲求自強，必謀之禮義之士。今以誦習詩書者而奉夷人為師，其志行已可概見，且不說其所學必不能精，即使能精，又安望其存心正大，盡力報國？恐怕不為夷人所用的很少。而且夷人機心最重，狡詐多端，今欲學習其秘術以制其死命，他們縱然表面上指授，安知不另有詭謀？奴才所慮墮其術中者，實非過計。他仍舊堅持忠信禮義能夠「制勝自強」，並在跟著洋人學習的人身上大做文章，說他們一經跟著洋人學習，就會變成洋人的走狗，不可能再報效國家。
倭仁敗下陣來
奕訢見其如此，非常氣憤，又上奏折，指責他聚黨私議，煽惑大眾，阻攔招生。並果斷地抓住他前次奏折中所說的「天下之大，不患無才」一句話，請朝廷命他保薦幾名精通天文、算學的中國教師，另開一館，進行教學，以觀其成。目的在於發起反擊，使其知難而退，不要作梗，同時也有故意戲弄，使其難堪之意，近乎惡作劇。朝廷當即依議，命倭仁督飭辦理。
果然，這一奇招擊中了對方的軟肋。倭仁趕緊上折申明，以前所說的「天下之大，不患無才」，不過是「以理度之」，並不是實指其人，請不必另行設館，由奴才督飭辦理。奴才並無精於天文、算學之人，也不敢妄保。這就等於宣告豎了白旗，敗下陣來。
奕訢實在氣不過，乘勢進逼，再次奏請命倭仁在總理衙門行走，讓他在對外交涉中憑借忠信禮義去制勝洋人。此舉顯然有意報復，但對倭仁這種人來說，也不算過分。朝廷又予批准。
倭仁既然「存心正大」，腦袋裡充滿了忠信禮義，而這又是制勝洋人的法寶，理應樂於接受，盡力報國，在與洋人的交涉中大展身手，制敵於死命。可是，他卻豪氣喪盡，當了縮頭烏龜，屢次上折懇請辭職，連對朝廷也不講忠信禮義了。朝廷不允。他不能再辭，裝作高興的樣子騎馬蒞任，走到中途，故意墜下馬來，遂以足疾乞求開缺休養。朝廷也不勉強，解去他的兼職，只保留了一個大學士職位。
倭仁與奕訢的爭論結束後，又有候選直隸知州楊廷熙上折，借口「天象示警，人言浮動」，力言同文館之失，請予撤銷。據說這是倭仁授意的。慈禧根本不相信「天象示警」，指斥楊廷熙荒謬，並警告倭仁開「黨援門戶之風」，但未予深究。
爭論到此結束，奕訢取得了勝利。
誰報考就與他絕交
但是，絕大多數士大夫的頭腦中仍是陳腐觀念，只知以講些「尊王攘夷」的套語自鳴得意，一聽有人談外交，就斥之為漢奸大佞，痛詆不遺餘力，絕不思取人之長，補己之短。即使到1875年與外國建交時，情況也沒有改變多少。有一位公使的隨員向禮部尚書祁寯藻辭行，祁寯藻歎道：「你好好一個世家子弟，為何也入洋務？甚不可解。」郭嵩燾出使英國時，竟然無人應選隨員。三年任滿回國後，他請假回湖南原籍，乘坐小輪船，其時湖南內河尚無輪船運行，湖南人見了大嘩，說他沾染洋人習氣，大集明倫堂，聲罪致討，並焚燬了輪船，郭嵩燾嚇得不敢過問。
當時的風氣就是這樣。因此同文館剛開始招生時，某位翰林對人說：「你如赴考，便非我輩，將與你絕交。」這次招生時，湖南、湖北的京官首先發出通知說：「凡我同鄉，如有報考同文館者，薪水較優，此後可以不分印結(清制，凡外省人在京考試及捐官，皆須在京同鄉京官為具保結，上蓋六部印。保證文書叫結，蓋印的結叫印結)，公事較繁，慶吊可以不相聞問。」表示誰報考就與誰絕交。
奕訢與倭仁爭論過後，一些人仍在背後攻擊奕訢「以夷變夏」(夏即華夏、中國)，罵他是「鬼子」、「鬼子六」、「六洋鬼子」(奕訢在兄弟中排行第六)，罵他主管的總理各國事務衙門為「鬼使」。還有一些人撰寫了這樣的對聯：「詭計本多端，使小朝廷設同文之館;軍機無遠略，誘佳弟子拜異類為師」，予以冷嘲熱諷。更有人散佈流言飛語，說什麼「胡鬧！胡鬧！教人都從了天主教。」李慈銘也在日記中極其不滿地寫道：今年開同文館，「選翰林及部員之科甲出身、年三十以下者學習行走，則以中華之儒臣，而為醜夷之學子，稍有人心，宜不肯就，而又群焉趨之。蓋學術不明，禮義盡喪，士習卑污，遂至於此。馴將夷夏不別，人道淪胥，家國之憂，非可言究。朝廷老成凋謝，僅存倭公(倭仁)，然謀鈍勢孤，無能匡正，而尚見嫉於執政，齟齬於宮廷。」
舊勢力佔了上風
在這種情形之下，只要有人前去投考，便會遭到士大夫的鄙視。故在半年之中，報考同文館的共有98人，無一是科舉正途出身。考試時又有一些人放棄，僅有72人參考，勉強錄取了30名。後因程度太差，又有20名退學，最後僅剩10名，只好併入先前的英、法、俄三館。因此，也可以說在招生問題上還是舊勢力佔了上風。
奕訢與倭仁等人的爭論只不過是一件小事，但卻反映出在傳統理學的熏陶下，頑固守舊的觀念是何等的根深蒂固。正是在這些只會吹牛，反覆彈奏早已過了時的陳詞濫調，而又標榜愛國的腐儒極力阻撓之下，一切有益於國家民族的先進新生事物，都不能得到順利地成長，使國家民族喪失了一個又一個改革發展的良機，這就是近代中國總受列強侵略，愈貧愈弱的根本原因所在。