1962年1月29日，舊年將至，姚從吾老師送來一千元，並附一信。兩天以後，又轉來陶希聖「擬請李敖同學參加『中華民國開國五十年』文獻編輯事務工作按月津貼新台幣一千元」的信，姚從吾老師和吳相湘老師又分別給我一信，囑咐我「從此安心工作」，因為這一職務，「得來亦不易也」。
1962年2月1日，我去文獻會見陶希聖的時候，正是我在《文星》第五十二期發表《給談中西文化的人看看卜的同一天。這篇文章裡已點名攻擊到陶希聖。在這篇文章發表前一個月，我在《文星》第五十一期發表《播種者胡適》，已先引起各界的重視，這種重視，是從《文星》第四十九期起發表《老年人和棒子》的一貫延續。姚從吾老師信中囑咐我「若過於放肆，不但樹敵太多，亦恐於工作有妨」；吳相湘老師信中囑咐我「切忌多言」，都是他們的先見之明。他們勸我「往事已過，今後仍應潛心學問」，「從此安心工作」，顯然期許我仍舊去走做學問的路，不要亂寫文章。他們把我安排在陶希聖那裡。目的都在希望那個職務使我得以餬口，並且，「借此研究民國史，以期有些具體的成就」。事後回想起來，兩位老師似乎都太天真了一點。其實他們不瞭解陶希聖，也不瞭解我。不瞭解陶希聖的是：他們以為我們只是把李敖暫時「寄存」在你陶希聖那兒，李敖畢竟是我們的人、我們的學生，殊不知陶希聖才不這樣想呢！陶希聖慧眼識人，看到李敖是何等人才，焉有不拉為己有、拉為國民黨所有之理？不瞭解我的是：他們以為我會與陶希聖勉強相處，殊不知我才不這樣想呢！
我一去文獻會，心中打定主意就是要防被陶希聖拉我。陶希聖對我，果然備極禮遇。那時他正搬了新居，把舊宅留做文獻會工作人員宿舍，指定我住他的臥室那一間，可是我一直沒去祝他見我不去住，乃在文獻會樓上隔出三間房，由我住一間。因為與辦公廳在一起，比較單純，我就從新店遷回台北，住進杭州南路文獻會。羅家倫、陶希聖上樓來看我，並且參觀我這間臥室，看到牆上我掛的Playboy上的大幅裸體女人，兩人的有趣表情，我至今難忘。（我在1962年4月12日日記上寫：「上午羅家倫、陶希聖來參觀臥房，羅進即復出，陶見裸女不敢進，笑死人，陶哼了一聲，羅哈了一聲，真是哼哈二將。」）蔣君章在《傷逝集》中回憶說：「『五十年開國』文獻的編纂，一方面為紀念中華民國開國五十年；另一方面卻含有提供正確的革命建國史料，使研究中國近代史的國際學者，得到中國革命建國的原始資料，作為他們研究參考的根據。」「這個委員會的發起，是台灣當局的決策，得到『行政院』和『立法院』的支持，其預算初時列在『國史館』的預算中，後來改列在『教育部』的預算中，陶希聖先生擔任主任委員，羅志希先生擔任副主任委員，兩位先生看得起我，要我擔任總編輯的職務……兩位先生有意栽培後進，由台灣大學歷史研究所借調研究生若干人作為我的助理。」蔣君章的書是1979年出版的，我直到這書出版後五年，才在地攤上看到；直到看到後，我才弄清當年一些我所不知的真相。例如我一直不知道「這個委員會的發起，是當局的決策」，我一直以為它的預算只來自「國史館」，我一直以為羅家倫是主任委員（羅家倫在北大是陶希聖的學長），我一直不知道我是蔣君章的助理。事實上，我今天的感覺只是陶希聖想自立衙門而已，表面上托之於「當局」的決策、「國史館」的預算中、「教育部」的預算中，骨子裡卻是建立陶家班。蔣君章說：「由台灣大學歷史研究所借調研究生若干人作為我的助理」，這話有語玻我去文獻會，我是唯一的研究生，其他全不是，後來龔忠武、張國興來，才有了研究生的局面（張俊宏是在我走後很久，才進文獻會餬口）。會中一共七八人，以陶希聖的同鄉、親戚居多。湖北人之天下也。我到文獻會之初，從沒見過蔣君章，整天也無所事事，上班時間大家打乒乓球，中午、晚上七八人圍成一桌開飯，互開玩笑，倒也自在。會中由高蔭祖做執行秘書，高蔭祖是國民黨中央委員會第四組專員，編有《中華民國大事記》一書，為人篤厚，對我極為傾倒，常找我聊天，陶希聖也常找我聊天。聊天中有時話中有話，我總是裝糊塗。我知道他們想拉我入國民黨，我打定主意不幹，所以除了裝糊塗，也別無好法子。
從我進文獻會起，我就沒聽過姚從吾老師的囑咐，停寫「辯難文章」，我給《文星》寫文章，一直不斷。《文星》第五十三期（1962年3月1日）上就發表了《胡適先生走進了地獄》，《為〈播種者胡適〉翻舊賬》；第五十四期（4月1日）就發表了《我要繼續給人看看卜。……直到第六十期（10月1日）發表《胡秋原的真面目》、「澄清對『人身攻擊』的誤解」等，我的文章，筆鋒所指，一直風光與風波不斷。在被我批評的人之中，其中最吃不住的，不是別人，就是胡秋原。胡秋原早年參加共產黨CY，抗戰時加入國民黨做中央委員並辦黨報，大陸丟掉時「打算做共產黨百姓」，不肯出來，後來才到台灣。有一次被派出去，竟「在英國與共產黨有過接觸」而遭國民黨黨紀處分。他是一個反覆多變的人，由於反覆多變，政治上，自然也就不能被一再信任。因而在心理上，他有了一種「幻想的被迫害症」。他的自高自大自我膨脹，過分重視自己，使他老覺得有人想打擊他，他完全不能瞭解何物胡秋原？胡秋原何物？誰要打擊這樣一個宦海失意和學界走板的人呢？但在這種心病下，他總是刻意尋找「幻想的迫害者」。他公開說文星「自恃有強大後盾，這後盾即我說的參謀團，其中有教授，包括一個教邏輯的，有我們的同業新聞界人士，還有政治上的權威人士等，這是一『奇異同盟』，毫無原則的，但不知為了什麼，也許由於一種『反胡秋原Complex』，結成了一個『反胡秋原聯合戰線』」。又說反胡集團的組成分子為「青年後面有中年、有老年、比我更老的前輩。」又說組成分子的單位「是由一個教育機關，一個學術機關的人，組織了一個參謀團，還加上一個後勤機關，不斷集會三個星期。……這些自高自大自我膨脹，過分重視自己的「幻想的被迫害症」，使他一開始就不相信批評他只是李敖一個人的事。他用盡對我人身攻擊的字眼，像「豪奴」、「折犬」、「背後有中年有老年」，「有傳授有計劃」、「有組織攻擊」、「有參謀團、顧問」、「危險打手」、「幕後人」、「僱傭誹謗者」、「奉命罵人」、「問了顧問」等等。一口咬定許多機關和人士利用李敖來打擊他。胡適死後，他首先懷疑的，就是姚從吾。但他也不照照鏡子，姚從吾打擊他幹什麼？姚從吾是學界的「當權派」，是台大教授、是「中央研究院」院士，胡秋原全沒當上，是學界走板的人物，誰要打擊他啊？可是，沒有用，一個人犯了「幻想的被迫害症」，是沒救的。1962年4月14日，我有日記如下：「姚先生在課堂上說佩服我矛盾戰術，使胡秋原氣焰不敢太盛。並說日前在南港跟胡秋原打招呼，胡秋原不理他，蓋以姚李一氣故也。」這表示說，胡秋原早在四月間，就認到姚從吾頭上來了。另一方面，胡秋原又認到陶希聖頭上，但他又不照照鏡子，陶希聖打擊他幹什麼？陶希聖是政界的「當權派」，是國民黨中常委、坐文學侍從之臣的第一把交椅，胡秋原全沒當上，是宦海失意的人物，誰要打擊他啊？可是，沒有用，一個人犯了「幻想的被迫害症」，是沒救的。陶希聖告訴我說：「胡秋原說我打擊他，我打擊他幹什麼？大陸撤退時，胡秋原投共未遂，到了香港。當時不能來台，還是我設法使他入境的。——我要打擊他，我會這樣幫他嗎？」可是，當時胡秋原的「幻想的被迫害症」已深，怎麼都要一口咬定了。
為了反擊胡秋原對我的人身攻擊。為了尋求歷史的真相，我在1962年10月1日在《文星》第六十期發表《胡秋原的真面目》。第二天，我有日記如下：陶轉告以後行文務必多小心，蓋胡秋原等或將以李敖思想違背三民主義來扣帽子也。
此一公案頗有連陶也被扯下水之勢。他們總以為我寫文章背後有人主使。他們過去以為是胡適，再是姚從吾、再是殷海光、再是吳相湘、再是陶希聖，是好玩！……殊不知我李敖獨來獨往，胡姚殷吳陶等人安能浼我哉！
10月3日，我有日記如下：下午高蔭祖、陶希聖分別找我談。陶申三意：一、胡秋原此人「不擇手段」以後為文須小心，蓋已聞彼現在搜羅我文字中句子，以構成違反主義及
「總裁訓詞」之罪名。
二、胡有牽陶入此漩渦之勢。
三、陶絕不理胡等欲逐出我於文獻會之陰謀。查材料事文獻會借助我，並非我借助文獻會。
10月4日，報上登出胡秋原控告我，我有日記如下：陶希聖轉告：一、他可介紹二律師（端木愷，周旋冠），此二人皆有正義感，唯先不必與人言。
二、盡可放心打官司，文獻會絕無問題。
表面看來，陶希聖對我實在夠意思。但是骨子裡，卻大有文章。原來陶希聖是要趁機拉我入國民黨！早在七月裡，高蔭祖就不再話中有話，而是開門見山的要我入黨。我在7月11日有日記如下：「下午高秘書以中山獎學會選送公費留學理由，拉我入黨。我謝絕。」8月28日有日記如下：「上午高蔭祖言警總欲整我，但他說陶先生支持我。」高蔭祖透露這些也是要我入黨，說入黨才一切方便。10月4日我被胡秋原告了後，陶希聖、高蔭祖重申前意，明確他說還是入黨才好辦事，入黨變成了「自己人」，那時候他胡秋原是黨員，你李敖也是黨員，黨員對黨員，支持李敖，也名正言順。警總方面想整你，也可以講得上話。對這一好意，我都謝絕了。這時我早已搬離了文獻會（5月19日搬到安東街二三一號三樓，是蕭孟能和我分租的公寓），我感到離開文獻會的時機，好像愈來愈近了。
到了1963年3月，我自動在研究所休了學，這事給了陶希聖一個借口，他5月3日去日本，臨行寫了一封信給高蔭祖，說文獻會以用研究生為宜，李敖不告訴他就休學，他決定以留職發薪方式，請李敖暫時別來上班了。5月4日，我有日記如下：
下午高蔭祖執行秘書約我，出示陶希聖臨走前給他的信，顯然在胡秋原政治風暴的陰影下，陶已不得不做息事「去」人之計。高蔭祖再度向我提出入黨建議，並謂胡秋原、任卓宣他們反對你，並不是國民黨反對你，國民黨歡迎你合作。對高蔭祖的建議，我拒絕，同時謝絕留職「發」薪的好愈，謝絕「遣散費」，謝絕替我另外找事的主意。我說我是乾乾脆脆的人，決心求去，不必在這裡，彼此都惹得一身腥，他說他一定要找吳相湘，請吳出面挽留我，照常拿薪水，等官司打過了，再來上班。可是我知道他是徒勞的。
一年三個月零四天的混飯生涯，如今竟如此這般地告一結束，可歎可笑。此事給我三大刺激：
一、一切不愉快是由於我太窮，來此會以前，窮得當褲子，吳相湘、姚從吾聯名介紹，乃得此謀生之地。設想當時苟有第二條路好走（如中學教員之類），何至於有「誤上賊船」之憾？雖然，十五個月來，自許不染不妖，然究竟不快也。當時若身懷幾千元，何至於為每月一千元上「船」？二、故為今之計，似非擺脫一切，設法有一點點起碼的經濟基礎不可，我希望是五至十萬元的存款，兩袋不空，自然站得更直，自然更少不愉快。三、政場中人是什麼東西，思之可也！
5月14日，我有日記如下：
下午辦好移交，我只肯收本月一至三號三天的薪水（一百二十元），高蔭祖說我太矯情，袁英華說本會「送錢」有前例，我皆不肯。最後留信而行（將三天薪水的收據附其中）。〔秘書〕阮繼光、〔工友〕向澤洲、林明岡相送。澤洲請我留字，我為寫「此度見花枝，白頭誓不歸」等二詞。吳相湘又找我，夜訪之。談到高蔭祖向他說，李敖一年三個月來去了那麼多次的南港，沒報過一個車馬費！
陶希聖從日本回來後，5月22日，送來從日本帶回的領帶一條、襪子一雙，並留名片向我致意，並送我一筆錢。我收下領帶、襪子，把錢退回了。
語言學家、「中央研究院」院士李方桂來台，姚從吾老師請他吃飯，他說他佩服李敖，盼能約李敖一起吃。5月8日，我在心園同他們吃了一頓飯，在座有毛子水、吳相湘等。姚從吾、吳相湘兩位老師絕口不提我離文獻會事，我也絕口不提。5月26日，餘光中向我說：「梁實秋先生聽說你失了業，想替你找事。」後來我才知道，梁實秋不讓我知道，直接寫信給「中央研究院」院長王世傑和歷史語言研究所所長李濟，大意說李敖如此人才，任其流落，太可惜，該請李敖去他們那邊。王世傑、李濟收信後，先行內部作業。8月19日，我收到姚從吾老師一封信，其中說：我禮拜二在南港住了兩晚，黃彰艦陳般安、徐芸書、劉世超都看到了。一般他說，都歡迎你能來南港，正式在研究方面放些異彩。一部分人認為胡某人頭髮也花白了，你把他罵得也夠了，另換一個方向也好。只有極少的人另有偏見，反對您來南港，但他們勢孤，又不敢明言，只有暗中放冷箭。上禮拜五芮逸夫先生請劉子健夫婦。我和濟之先生坐在一起。談到您的事：（1）他說：實秋寫信給雪亭先生和我了，說得很懇切。他是不大管事的，承他建議，我們當然考慮接受。適之先生常談到李敖，我也知道一些，留有印象。（2）停一回，他又說，您也是他的學生，雖然一次考了五十八分，一次考了六十分，總算及格了。當年分數嚴，考六八十分的很少。（3）但過一回，他又說：有人說：「李敖把他的父親氣死了，您意如何？」我說：「這樣嚴重的消息，我今天第一次聽到，這怕是惡意中傷吧！我記得他曾有一長函給適之先生，送了一篇副本給我；只說到父親死後，有人強迫他披麻戴孝，他表示異議。氣死父親，怕是由此傳訛的。還有一點，李敖每月寄給母親五百元，聽說現在仍照寄。」上邊所說的冷箭，這一謠言，也是一例。
今天晚飯後子水先生來談。說：上午與濟之兄閒談，也說到了您的事憎。李說：「雪亭先生看報，知道李敖與胡秋原的訟事，要和解了。這樣就可以決定了。」毛先生並說：「這可不是條件，希望李君不要誤會。」……
姚從吾老師信中提到毛子水、談到「雪亭先生」（雪亭是王世傑的字）所說的話，是有一段故事的。自從梁實秋寫了信後，姚從吾老師也敢於介入了。王世傑表示，想先同我談一談，並盼姚從吾老師陪我一起去。我遂在姚從吾老師滿口稱王世傑「老師」的恭謹下，見到了這位大官人。王世傑跟我天南地北，談了不少胡適的事。最後說：「現在李先生和胡秋原打官司，不知道可不可以等官司告一段落後，再來『中央研究院』？」我聽了，很不高興，我說：「胡秋原是『中央研究院』近代史研究所的通訊研究員，這官司還是他主動告我的，為什麼他能從裡面朝外面打官司，就不影響他的職務；而我從外面向裡面打官司，就要對職務有影響呢？」王世傑聽了，撲克臉一張，無詞以對，我和姚從吾老師告辭而出。8月20日，我終於寫了這樣一封信：
前些日子，「國史館」的姚漁湘先生同我說：「羅家倫先生表示在官司過後可去『國史館』任職」；昨天下午，文獻會的高蔭祖先生向法官說：「過些日子（實際是官司過後），我們請李敖先生再來幫忙。」
老師您看：在官司沒了之前，沒人敢「賞」我一碗飯！我可大言：凡在官司沒了之前，猶豫給我這碗飯吃的；在官司過後，我絕不回頭來吃這碗飯！——這是古話所說的「貧賤者驕人」！這是一個有人捧罵無人敢請的臭文人的一點臭架子！……
也許，我的「罪狀」多得很。可是，我多希望那些張九齡詩裡「相猜」的動物能夠真正發掘出我的「真面目」。——他們若吸到我的骨髓，擊中我的「劣跡」，我就悻悻然小丈夫，也心服口服。可是，他們像長舌婦一般的搬弄的是什麼？能使我不暗中好笑麼？能使我這沒修養的人不出爾反爾麼？
所謂文化論戰以來，即以我們師徒二人而論，老師試想：真正瞭解我們之間的關係的有幾人？真正相信姚從吾沒從背後搗鬼的有幾人？老師再想想：誰會想到您從來就是反對我亂寫文章的？誰會知道您壓根兒就是一個老是努力阻止我「鬧事」的一個人？……
外面謠諑如彼，我內心的感慨還多著呢！他們謠言說一個「教育機關」（台大）支持我，可是我親眼在法院看到錢思亮校長寫給胡秋原「立委老爺」的委瑣信——一封毫無大學祭酒風度的信，——這就是「教育機關」對我的「支持」！他們又謠言一個「研究機關」（「中研院」）支持我，他們寫這段文字的時候，自己用的卻正是「中央研究院」近代史研究所的辦公桌！而我呢？想在「中研院」拿胡秋原在「中研院」的薪水的三分之一部拿不到！——這就是「研究機關」對我的「支持」！他們又謠言姚從吾如何，可是在我的內心深處，我卻覺得：姚從吾即使不是一個怕事的人，也是一個不好事的人。這樣一位老先生，非但不會有心情來唆使我；甚至要等梁實秋先生出面替自己學生說了話，他才肯幫自己先生進行這塊安身立命之地。……
一年半來，因我而被冤枉的，曰胡適、曰姚從吾、曰吳相湘、曰殷海光、曰陶希聖。此五位先生，誰是好人，誰是壞蛋，天下自有公論，不過扯在我頭上而說唆使云云，則完完全全是厚誣！我不甘心使此五人因我受謗，也不甘心我個人橫被打手之惡名，故此誣陷奇案，我非打個水落石出不可！
南港學苑，乃某些清白學人養清處白之地，彼等因過分清白，反視李敖，自然雙眉緊斂，憂心忡忡，或以引狼入室，殊非他們之福；但他們何不想想：引狼入室，固非他們之福，然而放虎歸山，難道是他們之福嗎？
人間趣事，如今可添一章。
此事形同春夢一常春夢醒來，恍悟儒林內史，還如一夢中。……
我在文獻會被請出門。「中央研究院」不准進門，接連的事件，使我深刻感到：原來一個人，堅守原則，不入國民黨；堅守原則，跟國民黨打官司；堅守原則，我手寫我口、決心做黨外，到頭來會混得沒有職業，混得已到手的職業會失去、沒到手的職業會泡湯。但是，這又算得了什麼呢？這些啊這些，在國民黨的統治下，豈不都是求仁得仁的必然結果嗎？
最有趣的，陶希聖在拉我加入國民黨不成，老羞成怒，在《文星》愈鬧愈凶的時候，終於對我反目相向，在國民黨第一黨報《中央日報》上寫短論批我。他先寫了一篇《保全台大的名譽》（1964年9月2日），其中說台大有好學生，「但是不肖的學生亦間有之。如某雜誌最近幾個月，連續刊載某畢業生誣蔑台大的文章，叛師毀友，極盡其架空造謠刻薄惡毒之能事。台大在校師生以及海外師友看見此種文章，至少感覺其為母校之羞，無可容忍。」「中國人一向有不入官府、不打官司的風尚。我們亦不願鼓勵任何人打官司。但是我們認為台大對於這種玷辱校譽的事情，應該依法追訴，無所用其姑息。」四天以後（1964年9月6日），他又寫了一篇《謗書》，其中說：「市場上出現一部書，名為《胡適評傳》。這本書只出了第一冊。就這一冊來說，表面上是讚揚胡適之，而實際上從胡適之的上代，到他的本人，處處都是輕雹鄙笑、諷刺，使讀者不忍卒讀。這樣一部書，若是如此一冊一冊出版，而無人提出異議，可以說是士林之恥。我們今日願以這篇短文，表示異議。」我對陶希聖站在黨報立場攻擊我，絲毫不感驚異，因為那是我不跟他們合作、不跟他們同流合污的必然發展。只是在時機上，倒別有個人原因。那時陶希聖要把他兒子陶晉生媳婦鮑家麟雙雙送入台大歷史系教書，故向文學院院長沈剛伯表態，而沈剛伯正是被我批評的焦點；另一方面，陶希聖要搶北大在台灣的龍頭地位，因而貌似擁胡，並在後來支持胡夫人江冬秀朝文星打官司。凡此種種行徑，對陶希聖這種人說來，其實都是最拿手的事。最好笑的是無恥的他居然還談什麼是「士林之恥」，他真是太妙了！
陶希聖長得小眼方臉，面似京戲中的曹操，講話深沉多伏筆。是我所見過的城府最深的人物。在他把我請走以前，他對我一直不錯，有歷史上的疑難雜症，就把我請到二樓他的辦公室，盼我解決。有一次，文獻會重金買到中國同盟會中部總會的原始文件，是當時秘密會議成立的簽名冊，上面有宋教仁等人的簽名。陶希聖很高興，拿去請於右任題字。於右任一看，簽名冊中沒他的名字，很不開心，他說他記得明明參加了革命，怎麼沒有他？他不是「開國元勳」嗎？怎麼這樣一個重要的會議，居然沒有他的名字呢？陶希聖回來，找到我，請我仔細考證考證，到底是歷史錯了，還是於右任錯了。我仔細考證後，結論如下：那一次，於右任沒參加。為了使於右任沒話說，我列舉出每一項證據，證明他老先生真的沒參加。我不知道最後陶希聖怎麼回話的，我只知道於右任「為之不寐者數日」。我真抱歉，以我的學問，實在找不出他參加的歷史，這種抱歉持續了幾天，直到我被文獻會掃地出門，我才停止了抱歉。
我離文獻會後，胡秋原在法庭提出聲請，要傳文獻會執行秘書高蔭祖作證，要高蔭祖證明我在文獻會竊盜「國家資料」打擊胡秋原。我遂寫一封信致高蔭祖，信中主題很明顯，就是聲明我立場的堅定。那場官司的被告中，居浩然、葉明勳都和解出局了，蕭孟能在親朋父執輩的壓力下幾度想和，高蔭祖承陶希聖之命也一再勸和，我寫這封信，就在塞勸和者之口，並激發高蔭祖的良知，不要做偽證。後來高蔭祖出庭了，向法官出示陶希聖親筆原件，證明了他以文獻會執行秘書名義復法院的信，並非他矯命所為，而是陶希聖親筆起草，叫他抄好發出的，原信是：
一、1963年6月28日綏刑誠字第二零四四五號大函敬悉。
二、查蕭孟能與本會無關，李敖前在本會為臨時工作人員，近已離職。
三、本會從未存儲「國家機關」檔卷，其所存報紙及雜誌等項公開發行之印刷品，本會工作人員均可閱讀使用。其會外人士對此項印刷資料洽請抄閱者，亦可抄閱。凡此皆不發生所謂竊取或盜用問題。
四、特復請關行照。此致台北地方法院
「中華民國開國五十年文獻編纂委員會」執行秘書高蔭祖
1962年7月4日
法院同時也收到「國史館」館長羅家倫的覆信：
「國史館」函1963年7月2日（「五二」）台史總字第一七二號受文者：台北地方法院一、貴院本年6月28日綏刑誠字第二零四四五號函敬悉。
二、查本館庫藏史料及檔案文書，蕭孟能與李敖並未亦無從竊取或盜用。
三、復請惠察。
館長羅家倫
以上兩封覆信，證實了胡秋原所說，全是疑神疑鬼，他「以為」我竊取，盜用「國家機關」檔案文書掀他的底，其實那些資料只是舊報紙，學界中人都可以看到。胡秋原又「以為」李敖公佈的閩變叛國照片，只有情治機關有，由情治機關提供用來打擊他，其實那些照片早都登在日本和中國的舊雜誌上，只要博學用心就可查到。不過他這一疑神疑鬼，對他倒有一個好處：情治機關為了避嫌、為了打擊文星，倒也樂得跟胡秋原更形接近。他跟總政治部王升、曹敏等的關係是不簡單的，從他的密友徐高阮身上，更可看出跟其他情治單位的暗盤，左派出身的徐高阮是攻擊文星的第一裨將，他死之日，弔喪行列裡居然出現了總政治部主任王升、調查局局長沈之岳、情報局局長葉翔之！他的背景，原來這般！——徐高阮在職務只不過「中央研究院」歷史語言研究所的一名副研究員，在這種冷衙門的清高之地，身死之後，居然冒出成群大特務為他弔喪，雙方關係的不簡單，由此可證！到於與胡秋原一同告人的鄭學稼，也同樣犯了疑神疑鬼的讚美。1961年年底，我在《文星》發表《播種者胡適》，這篇文章帶來了大是非和大麻煩，進而釀成了一次大筆仗，後來這次筆仗分成了兩個圈圈，一個圈圈是「關於中西文化問題的論戰」；一個圈圈是「關於播種者胡適的論戰」，前者的主要對手是徐道鄰和胡秋原；後者的主要對手是任卓宣和鄭學稼，大家打做一團，十分熱鬧。在筆仗當時，鄭學稼發表《我控訴》說：
當我第一次閱李敖先生的（播種者胡適）時，以為他是極接近胡適的人，否則不會知道這些非外人所知的事：獨立評論社內部諸名士主張獨栽，只胡一人反對；胡為女學生關窗戶，以示「體貼」；和胡退回宣傳費若干美元。
事實上，鄭學稼的「以為」，和胡秋原的「以為」一樣，完全「以為」錯了！其實我「接近胡適」了什麼？關於《獨立評論》上民治與獨裁論戰的事，在《獨立評論》上都登得明明白白，《獨立評論》第八十號、第八十一號、第八十二號、第八十三號、第八十四號、第八十六號、第八十八號、第一三零號以及《東方雜誌》第三十一卷一號及三十二卷一號，都文證俱在；至於胡適為女學生關窗戶的事，1932年的《論語》第一期、1934年的《英文中國評論週報》、1934年的《人間世》第三期，以及《文人畫像》哪一本書也都文證俱在；至於胡適退回宣傳費的事，1942年的CurrentBio-graph，VOL.LXXIXNo.9的Time雜誌也都文證俱在，他鄭學稼不去查書。不去瞭解，卻硬說這是我李敖獨得之秘，這不是大笑話嗎，他鄭學稼讀書這樣少，反倒以為我李敖神通如此大，大到「知道這些非外人所知的事」，這不是大笑話嗎？文證俱在，任何人，只要肯用功，都可以查到。可是這種跟國民黨總政治部關係匪淺的所謂學者卻如此不學，如此無知，這種人寧願在我與胡適有「微妙關係」上去「以為」去捕風捉影，也不願在書本上多下功夫，這種疑神疑鬼，真是害己害人。鄭學稼死後，蔣經國特頒「績學貽徽」挽額，由軍報刊出，我看了不禁一笑，「績學貽徽」？未必未必，積不學貽害，倒庶幾無愧也！我舉這些例子，意在說明，當時發生那麼多的糾紛，都禍起胡秋原他們一念之差，他們不相信剛出道的一個青年人在獨來獨往的寫文章，總是疑神疑鬼的懷疑有幕後人在打擊他們，若他們真的知道這青年人全無後台、全無背景，也許他們就不會那麼介意了。四百年前，特立獨行的大思想家李卓吾說：「吾當蒙利於不知我者……可以成就此生。」正因為「不知我者」的疑神疑鬼，最後，你萬古留令名，他們千秋挨臭罵。他們辛辛苦苦地「毀」人不倦，其實只是你「可以成就此生」的一些踏腳卵石而已。「毀人而反利之」，不亦快哉！
多年以後，胡秋原回憶說陶希聖和他前嫌盡棄了，又是好朋友了，我得知後，為之一笑。我笑陶希聖空在李敖頭上做了一場好夢，最後撇清李敖，自以為得計，殊不知他太小看了李敖。李敖是要舉行最後審判的，他難逃李敖的最後筆伐。陶希聖在開革李敖二十五年後－－1988年死去，活了九十一歲。死後，他的兒子陶龍生寫了一篇《陶希聖先生秘辛》，發表在國民黨第一黨報《中央日報》，透露陶希聖死前的秘密交代。陶龍生說：4月5日「那一天他跟我說了許多話，要我記下來，將來在適當的時候再發表。我現在寫出一二。」「寫出一二」的內容原來是：陶希聖去做漢奸，是蔣介石秘密派他去臥底的。換句話說，他去做漢奸，是暗中得到欽命的，所以別人做漢奸，一做就非死即囚或流亡海外；但他陶希聖卻是例外，仍得蔣介石重用。其實這些說詞，是站不住的。因為在我們得知的秘件中，發現滿不是那麼回事。例如陶希聖出走香港後，1940年1月15日，曾密函胡適，說：「希『聖』今後決心不再混政治舞台，但求速死耳，」，「此後希〔聖〕將去之海外，為人所忘以死矣。」可見他愧悔之情。如果他是欽命漢奸，則必欣然回中央討賞領獎矣，又何必「但求速死、去之海外」哉？何況，陶希聖在《八十自序》中明說「脫離戰地，背叛國家」，「希聖一心感激委員長不殺之恩」；在「總統蔣公」誄詞中又明說「不殺之恩，愧無以報」，可見他惶恐之情。如果他是欽命漢奸，則必欣然因臥底功成而邀功矣，又何該殺之有哉？結論是：在翻雲覆雨的政治鬥爭中，固然有的漢奸是欽命的，像殷汝耕、像唐生明，但陶希聖卻不在此類。他死前猶欲以玄虛自清欺人，臨終授命，教兒子扯謊，結果被我拆穿，適見其加倍無恥而已！
因為陶希聖城府最深，所以同他辦事，也得「陰險」一點。文獻會同仁以夏天太熱，想呈文陶希聖買電扇，我說你們呈文買電扇，陶老闆是不會同意的，你們要高抬價碼，呈文買冷氣機才成。他捨不得買冷氣機，覺得抱歉，就會給你們買電扇代替了。——這個故事，顯示了我的「陰險」，可以智勝陶漢奸。他臨終授命最後被我拆穿，真可謂「生諸葛走死仲達」了！
至於胡秋原告我的官司，由於法院是國民黨的，後果可想而知。這官司前後拖了十三年，枯燥中亦有趣聞。胡秋原有一次在法院不稱我之名，而叫「李匪幫」，我提出異議。後來才弄清楚，原來他叫我「李誹謗」，可是他的黃陂土話發音成「李匪幫」，所以嚇人倒怪。還有一次胡秋原加請法學家陳顧遠做他律師，陳顧遠不知是老糊塗了，還是裝瘋賣傻、兩面做人，竟在法庭上說我好話，並代我辯護起來，氣得胡秋原再也不請他了。這官司造成我跟胡秋原結了一輩子梁子，在他告我三十年後，我找到機會告他，他賠了我三十五萬，我嫌少，堅持把他家貼上封條，至今封條猶在，而他已老得無力出庭了。曾祥鐸勸我「得饒人處且饒人」，我說：「三十年前，胡秋原整殷海光、整我的時候，你為什麼不向他說這句話？」——我為人好勇鬥狠、有仇必報，並且沒完沒了！於胡秋原案上可見一斑。王企祥（李遠哲的老師）說得有趣：「你不能得罪猶太人，得罪了猶太人一如得罪了李敖，他跟你沒完沒了。」我聽了大笑，我說：「你終於學到了跟李敖做朋友的竅門了。」胡秋原正好相反，他學不到跟李敖做敵人的竅門，以致被我沒完沒了。1984年12月22日，我在百貨公司碰到台大老同學盧華棟，十多年不見了。上次見他是他出獄後，我去看他，並小送金錢。此後「一別音容兩渺茫」。盧華棟出獄第二年即已經結婚生子，洗手不涉及政治，對黨外活動，亦所知茫然。我勸他寫一點獄中回憶，他說他已專心從商了。我說：「就這樣的不幹了？」他苦笑了一下，說：「不幹了。」我說：「這樣被國民黨欺負了，就算了？」他說：「就算了。」我在牢裡聽黃毅辛說，特務們整盧華棟，甚至把萬金油塗在他眼珠上，其凶殘可想，可是盧華棟統統「就算了」。我的人生觀絕不如此，我從來不把恩仇「就算了」，我要「千刀萬里追」，這一性格，最像猶太人。陶希聖、胡秋原這些湖北佬，如今死的死、老的老，仍難逃我們東北人的斧鉞，惟我李敖，毋太猶乎？