奕訢与倭仁争论过后，一些人仍在背后攻击奕訢“以夷变夏”(夏即华夏、中国)，骂他是“鬼子”、“鬼子六”、“六洋鬼子”(奕訢在兄弟中排行第六)，骂他主管的总理各国事务衙门为“鬼使”。
奕訢是道光皇帝的第六个儿子，咸丰皇帝的异母弟弟，受封恭亲王。1860年英法联军攻陷北京后，咸丰任命他为与英、法议和的全权大臣。1861年咸丰帝去世，他与慈禧密谋，发动政变，受命为议政王，掌管军机处与总理各国事务衙门(又称总理衙门)。1865年因受慈禧猜忌，被罢去议政王等一切职务。旋在许多大臣请求下，复任军机大臣、总理衙门大臣等职。
奕訢在奉命议和，办理外交时，即深感要办理好外交，必须先了解外国情况，而要了解外国情况，必须先熟悉其语言文字，1862年奏请在北京创立京师同文馆，招收15岁以下的八旗子弟学习西方语言文字。这虽是一所新式学校，由于只学习外国语言文字，学生限于八旗子弟，并未遇到阻力。奕訢还主张自强，学习西方，大力支持李鸿章等人办理洋务，赶上或超过洋人，最后达到雪耻的目的。
商办开设天文、算学馆
看到洋人制造机器、枪械、轮船、行军等，无一不与天文、算学有关，上海、浙江等地也在讲求仿造洋人的轮船等事，若是不从根本上下工夫，即使学些皮毛，也无益于实用。于是在1866年12月，奕訢又以总理衙门的名义奏请在同文馆内另设一馆，专门学习天文、算学，招生的对象也由八旗子弟扩大到了20岁以上的满汉举人、五贡(恩贡、拔贡、副贡、岁贡、优贡，都算正途出身资格)、秀才，以及科举正途出身的五品以下年少聪慧的官员，聘请洋人教习。朝廷批准照办。
不料这件事却在一些士大夫中间引起了很大反响。有人指出，以堂堂天朝竟要拜夷人(即洋人)为师，实乃中国人的奇耻大辱。
奕訢没有退缩，1867年1月又上一折，进一步说明开设天文、算学馆的必要性和急迫性，还提出将招生对象再扩大到翰林院编修、进士等人。朝廷又予批准。
这一来，可极大地刺激了道学先生们的敏感神经，引起京师内外的一场轩然大波。
3月5日，山东道监察御史张盛藻首先发难，上折说：若以自强而论，则朝廷之强，莫如整纪纲，明政刑，严赏罚，求贤养民，练兵筹饷诸大端;臣民之强，则惟气节一端。臣民有了气节，“以之御灾而灾可平，以之御寇而寇可灭”。令正途科甲人员学习“机巧之事”，又借升官、银两以诱之，“是重名利而轻气节，无气节安望其有事功哉？”这无异于是说奕訢犯了“方向性”的错误，把国家引向歧途。此折虽“为一时推重”，不过他人微言轻，朝廷没有理会。
倭仁披挂上阵
过了半个月，大人物倭仁亲自披挂上阵了。倭仁字艮峰，蒙古正红旗人。道光九年进士，历任侍读、侍讲学士、侍读学士等官，是著名的理学大师。咸丰皇帝在世时，因其只会说教，不会办事，把他视为“迂儒”，令其出任叶尔羌帮办大臣，故意用违其才，将其投置闲散之地。慈禧执政以后，才把他召回北京，授为都察院左都御史，后任工部尚书、协办大学士，命其教授同治皇帝读书，并兼翰林院掌院学士。不久，他在慈禧与奕訢争夺权势的斗争中坚决地站在慈禧一边，又被授为文渊阁大学士。
他上奏说：“立国之道，尚礼义不尚权谋;根本之图，在人心不在技艺。”今学技艺，“又奉夷人为师”，即使学成，也不能起衰振弱。何况“天下之大，不患无才。如以天文、算学必须讲习，博采旁求，必有精其术者，何必夷人？何必师事夷人？”而且夷人是我们的仇敌，咸丰十年(1860)，他们称兵犯顺，侵犯我京师，震惊我宗社，焚毁圆明园，杀害我臣民，这是“我朝二百年来未有之辱，学士大夫无不痛心疾首，饮恨至今，朝廷亦不得已而与之和耳，能一日忘此仇耻哉？”科举出身的人都是国家培养的有用人才，若使他们“变而从夷”，正气为之不伸，邪气因而更盛，数年以后，就要把中国人都驱赶到夷人那边去了。
倭仁的地位远远高于张盛藻，其奏折的影响力也远远超过了张盛藻。他不仅道貌岸然地大讲“尚礼义”、“在人心”一类治国的大话、空话，拿不出一点民富国强的实际有效措施，上纲上线，给对方扣上一顶忘记帝国主义侵略“仇耻”的政治大帽子，将奕訢的招生方案彻底推翻，奏请停议。
奕訢将了倭仁一军
慈禧见倭仁出面反对，把他与张盛藻的奏折批交总理衙门，让奕訢作出答复。奕訢没有被倭仁的危言耸听所吓倒，又针对他所言上了一个奏折，指出：正因科甲正途人员存心正大，不会被洋人诱入歧途，才让他们学习。倭仁主张的那一套，虽然“陈义甚高，持论甚正”，其实不过是空言，而空言不能雪耻，只会误国。如欲救国，就要正视现实，了解外国，向外国学习。最后又以攻为守，将了倭仁一军，说：该大学士既然以此举为窒碍，自必别有良图，如果实有妙策，可以制服外国而不为外国所制，臣等自当追随在该大学士之后，悉心商办，用示和衷共济。“如别无良策，仅以忠信为甲胄(古时战士用的铠甲和头盔)，礼义为干橹(盾牌，指兵器)等词，谓可折冲樽俎(指外交谈判)，足以制敌之命，臣等实未敢信。”
倭仁仍不罢休，4月12日再次上折，争辩说：今阅总理衙门所奏，大致谓忠信礼义之空言，不能收到制胜自强之实效，奴才以为不然。欲求制胜，必求之忠信之人;欲求自强，必谋之礼义之士。今以诵习诗书者而奉夷人为师，其志行已可概见，且不说其所学必不能精，即使能精，又安望其存心正大，尽力报国？恐怕不为夷人所用的很少。而且夷人机心最重，狡诈多端，今欲学习其秘术以制其死命，他们纵然表面上指授，安知不另有诡谋？奴才所虑堕其术中者，实非过计。他仍旧坚持忠信礼义能够“制胜自强”，并在跟着洋人学习的人身上大做文章，说他们一经跟着洋人学习，就会变成洋人的走狗，不可能再报效国家。
倭仁败下阵来
奕訢见其如此，非常气愤，又上奏折，指责他聚党私议，煽惑大众，阻拦招生。并果断地抓住他前次奏折中所说的“天下之大，不患无才”一句话，请朝廷命他保荐几名精通天文、算学的中国教师，另开一馆，进行教学，以观其成。目的在于发起反击，使其知难而退，不要作梗，同时也有故意戏弄，使其难堪之意，近乎恶作剧。朝廷当即依议，命倭仁督饬办理。
果然，这一奇招击中了对方的软肋。倭仁赶紧上折申明，以前所说的“天下之大，不患无才”，不过是“以理度之”，并不是实指其人，请不必另行设馆，由奴才督饬办理。奴才并无精于天文、算学之人，也不敢妄保。这就等于宣告竖了白旗，败下阵来。
奕訢实在气不过，乘势进逼，再次奏请命倭仁在总理衙门行走，让他在对外交涉中凭借忠信礼义去制胜洋人。此举显然有意报复，但对倭仁这种人来说，也不算过分。朝廷又予批准。
倭仁既然“存心正大”，脑袋里充满了忠信礼义，而这又是制胜洋人的法宝，理应乐于接受，尽力报国，在与洋人的交涉中大展身手，制敌于死命。可是，他却豪气丧尽，当了缩头乌龟，屡次上折恳请辞职，连对朝廷也不讲忠信礼义了。朝廷不允。他不能再辞，装作高兴的样子骑马莅任，走到中途，故意坠下马来，遂以足疾乞求开缺休养。朝廷也不勉强，解去他的兼职，只保留了一个大学士职位。
倭仁与奕訢的争论结束后，又有候选直隶知州杨廷熙上折，借口“天象示警，人言浮动”，力言同文馆之失，请予撤销。据说这是倭仁授意的。慈禧根本不相信“天象示警”，指斥杨廷熙荒谬，并警告倭仁开“党援门户之风”，但未予深究。
争论到此结束，奕訢取得了胜利。
谁报考就与他绝交
但是，绝大多数士大夫的头脑中仍是陈腐观念，只知以讲些“尊王攘夷”的套语自鸣得意，一听有人谈外交，就斥之为汉奸大佞，痛诋不遗余力，绝不思取人之长，补己之短。即使到1875年与外国建交时，情况也没有改变多少。有一位公使的随员向礼部尚书祁寯藻辞行，祁寯藻叹道：“你好好一个世家子弟，为何也入洋务？甚不可解。”郭嵩焘出使英国时，竟然无人应选随员。三年任满回国后，他请假回湖南原籍，乘坐小轮船，其时湖南内河尚无轮船运行，湖南人见了大哗，说他沾染洋人习气，大集明伦堂，声罪致讨，并焚毁了轮船，郭嵩焘吓得不敢过问。
当时的风气就是这样。因此同文馆刚开始招生时，某位翰林对人说：“你如赴考，便非我辈，将与你绝交。”这次招生时，湖南、湖北的京官首先发出通知说：“凡我同乡，如有报考同文馆者，薪水较优，此后可以不分印结(清制，凡外省人在京考试及捐官，皆须在京同乡京官为具保结，上盖六部印。保证文书叫结，盖印的结叫印结)，公事较繁，庆吊可以不相闻问。”表示谁报考就与谁绝交。
奕訢与倭仁争论过后，一些人仍在背后攻击奕訢“以夷变夏”(夏即华夏、中国)，骂他是“鬼子”、“鬼子六”、“六洋鬼子”(奕訢在兄弟中排行第六)，骂他主管的总理各国事务衙门为“鬼使”。还有一些人撰写了这样的对联：“诡计本多端，使小朝廷设同文之馆;军机无远略，诱佳弟子拜异类为师”，予以冷嘲热讽。更有人散布流言飞语，说什么“胡闹！胡闹！教人都从了天主教。”李慈铭也在日记中极其不满地写道：今年开同文馆，“选翰林及部员之科甲出身、年三十以下者学习行走，则以中华之儒臣，而为丑夷之学子，稍有人心，宜不肯就，而又群焉趋之。盖学术不明，礼义尽丧，士习卑污，遂至于此。驯将夷夏不别，人道沦胥，家国之忧，非可言究。朝廷老成凋谢，仅存倭公(倭仁)，然谋钝势孤，无能匡正，而尚见嫉于执政，龃龉于宫廷。”
旧势力占了上风
在这种情形之下，只要有人前去投考，便会遭到士大夫的鄙视。故在半年之中，报考同文馆的共有98人，无一是科举正途出身。考试时又有一些人放弃，仅有72人参考，勉强录取了30名。后因程度太差，又有20名退学，最后仅剩10名，只好并入先前的英、法、俄三馆。因此，也可以说在招生问题上还是旧势力占了上风。
奕訢与倭仁等人的争论只不过是一件小事，但却反映出在传统理学的熏陶下，顽固守旧的观念是何等的根深蒂固。正是在这些只会吹牛，反复弹奏早已过了时的陈词滥调，而又标榜爱国的腐儒极力阻挠之下，一切有益于国家民族的先进新生事物，都不能得到顺利地成长，使国家民族丧失了一个又一个改革发展的良机，这就是近代中国总受列强侵略，愈贫愈弱的根本原因所在。