我主持的《文星》雜誌是1965年12月26日被官方封殺的，自此四年的文星風雲，慢慢走向落幕。這時我三十歲。第二年開始，官方大規模地查禁我的著作，不管是文星出版的，還是我自己出版的，都在封殺之列，同時，由於胡秋原、徐高阮等的陷害，我被警備總部約談，儼然一「匪諜」矣。這時我三十一歲。1967年，雖然官方麻煩不斷，個人困難重重，但我還是義助殷海光。這時我三十二歲。1968年，我以販賣舊電器維生，暗中支援其他出版活動，並義助柏楊。這時我三十三歲。1969年，我又義助彭明敏。這時我三十四歲。這四年歲月，我整個的感覺如同陶淵明《擬古》九首中的最後一首：
種桑長江邊，三年望當采。
枝條始欲茂，忽值山河改。
柯葉自摧折，根株浮滄海。
……
本不值高原，今日復何悔？
陶淵明詩裡說他在長江邊種桑樹，種了三年，剛要收成的時候，忽然山河變色，桑樹「柯葉自摧折，根株浮滄海」，一切成績，都消失了，但他並無悔意，因為「本不值高原，今日復何悔」？——本來就不在安全地帶種樹，又有什麼好後悔的呢？這詩舊解都說以桑樹喻晉朝，但我覺得喻自己的努力，才是正解。自己的努力，在亂世之中，一切都泡了湯，泡了湯並不後悔，因為本來就志在犧牲，又何悔之有？《逸民傳》裡記鬼谷子對蘇秦張儀說：「二君豈不見河邊之樹乎？僕御折其枝、風浪蕩其根，此木豈與天地有仇怨？所居然也。子見崇岱之松柏乎？上枝幹於青雲、下枝通於三泉，千秋萬歲，不逢斧斤之患，豈與天地有骨肉？所居然也。」正因為所居之地，是易遭「斧斤之患」的所在，所以柯葉之折與根株之浮，也就毫不意外了。這首詩有強烈的「求仁得仁」味道，意態悠遠可喜。陶淵明《歸園田居》五首中第三首也是我最喜歡的：
種豆南山下，草盛豆苗稀。
晨興理荒穢，帶月荷鋤歸。
道狹草木長，夕露沾我衣。
衣沾不足惜，但使願無違。
陶淵明寫他在廬山種豆的種種辛苦，最後晚露弄濕了衣服，舊解「夕露沾衣，喻貧賤之來傷人也」，但我覺得不計一切犧牲以維持夙願，才是正解。我甚至覺得，這首詩該引申解釋做志士仁人為夙願奮鬥，有時會灰頭土臉、會犧牲自己的名譽，但名譽毀了也不足惜，只要能救國救民就好了。對我個人說來，我在文星的努力，也正有陶淵明這種詩情。
文星時代朋友中，有人是從頭到尾看到「柯葉自摧折，根株浮滄海」的局面的，其中最值得一寫的，是梁實秋先生。1961年10月1日，我在《文星》發表《老年人和棒子》，其中提到：老朽昏聵賣身投靠的一輩我們不必說，即以最開明一代的老先生而論，從寫《人權與約法》時代的胡適之到寫《容忍與自由》時代的胡適之；從《人權論集》時代的梁實秋到《遠東英漢字典》時代的梁實秋，我們多少可以看出他們轉變的痕跡。弗洛斯特在他那首《預防》（Precaution）裡說，他年輕時不敢做一個急進派，因為怕他年老時變成一個保守派，我並非說胡適之與梁實秋已變成保守派，我是說，他們今日的「穩健」比起當年那種生龍活虎意氣縱橫的氣概是不大相稱的！寫《老年人和棒子》的時候，我還不認識梁實秋先生，後來認識了，聊過許多次天，證實我那篇文章的診斷，完全無誤。梁實秋在台灣，雖然「安分守己」，卻也被國民黨猜忌過。他告訴我：他家被搜查過一次，「一天有人叫門，開了門，進來許多治安人員，問你是這家主人嗎？我說是。他們說美國新聞處丟了一台打字機，有人說是你偷的，我們要來搜查。我說我是梁實秋，是大學教授，總不至於去偷美國新聞處的打字機吧？你們各位是不是弄錯了？他們聽了，拿出一張紙，上面畫著我家的平面圖，連說沒弄錯，就是你家。於是不由分說，進了屋裡，到處翻箱倒櫃起來，鬧了好一陣，什麼也沒搜到，然後要我具結他們沒帶走任何東西，就走了。事後我寫信給吳國楨抗議，可是一直沒有下文。」據我研判，國民黨當年對梁實秋這番「戲弄」，有兩個目的，第一個目的在查他跟民社黨、跟羅隆基等的關係；第二個目的在警告他要識相，在台灣，知識分子有頭有臉而非國民黨如梁實秋者，畢竟不多，現在大家已經淪落到台灣來，對老子們要客氣一點！偷打字機事件後，還有一次他被告到蔣介石那兒，幸虧他提出毛澤東在延安抨擊他的文藝談話，才得過關。他還告訴我：他譯的那本《沉思錄》（Meditations），作者是2世紀的羅馬皇帝Marcus Aurelius，由於中文譯名是瑪克斯，竟被國民黨官方認為是19世紀的馬克思（Karl Marx）而惹過一點小麻煩。他還告訴我一些秘聞，例如《查泰萊夫人的情人》（Lady Chatterley』s Lover）的一個中譯本，擅掛他的名字，事實上根本不是他翻的；溥儒家裡養了一對夫妻，事實上全和這位大藝術家有關係……他還談到他很欣賞當時的柳腰歌星華怡保，事後我請蕭孟能買了入場券送他，他欣然而往。這些瑣事，都可看到另一面的梁實秋。梁實秋在1929年與胡適、羅隆基合著《人權論集》（上海新月書店版），靠著胡適，也對國民黨有太歲頭上動土的文章；後來又以民社黨黨員身份，靠著張君勱，也對國民黨不無失敬之處。如今淪落台灣，自然不敢造次。他在台灣三十八年，一直乖得要死，他毅然決然地從民社黨中脫隊了，遇到國民黨要他捧場的地方，不論是為反共義士做宣傳、不論是為文藝大會做樣板、不論是讓大官人向他頒獎贈勳，他都無不從命。有一次他跟我說，一次文藝什麼會上拖他去，他感覺好像被人耍了，後來轉而自思，被耍就被耍吧，也就即席安之，我聽了，心裡很難過，我覺得一代大儒，不可以軟弱如此，但梁先生卻如此軟弱，他太令人失望了！當年郭良蕙出版了一部名叫《心鎖》的書，台灣省政府新聞處以（52）公新一字第0319號函，予以查禁，同時中國文藝協會攔腰做上一票，趁機把郭良蕙開除了會籍。郭良蕙跑到梁實秋家去抱怨，梁實秋是這樣答覆的，他說：「郭良蕙啊！這件事有兩個錯誤：第一個錯誤是他們不該開除你；第二個錯誤是你不該加入。」梁實秋把這個故事告訴我了，我覺得很可以警世，所以至今沒有忘記。梁實秋說這故事的時候，他自己也是中國文藝協會會員，而我卻不是——對國民黨的任何會，我是不屑參加的。
1965年12月28日，《文星》雜誌被罰停刊一年，《紐約時報》請我寫新聞稿，乃與蕭孟能一同拜訪梁實秋，請代為英譯，但他表示為難。談了兩個小時，告辭出來，蕭孟能和我都覺得梁實秋連這點小忙都不幫，真與文星對他的尊敬不太相稱了。
文星風雨飄搖之日，我被警備總部捕去約談，最後由特務陪同，放出找保。我走在馬路上，心想這種政治性的案子，誰敢保我？看樣子只好找一位德高望重的名氣大人物保一保，方不致連累他。想來想去，以為人既放出找保，事情不大，因此路過梁府，登門為請。不期梁實秋在特務面前，婉為拒絕。他對我說：「你還是找別人保吧，實在找不到別人，我再保你。」我識相而退，最後找到「立委」王兆民先生保了。當天晚上，他打電話給餘光中，表示未能保我，至感難過。從此以後，我恍然大悟：決定自己處逆境時，絕對不要妄想正人君子會援之以手。此後二十年間，我再也不敢「連累」他了。直到1987年5月間，為了他一稿兩賣，涉及文星版權的事，我們才通過信，五個多月以後，他就死了。在他死前最後十年，他與我比鄰而居（他住在我家大廈旁邊的電梯公寓裡），古人「天涯若比鄰」，我卻「比鄰若天涯」，梁實秋說他自己在台灣過的是「苟且偷安、逃避」的生活，我卻不屑如此。雙方有這麼大的差距，多麼「天涯」呀！
我寫《胡適評傳》出版後，梁實秋寫了一篇《讀（胡適評傳）第一冊》，對我是很捧場的。那時我在文星威風八面，文星勢力如日中天，文壇中人，做「敖之頌」者，自餘光中以下，頗不乏人；而餘光中以上，梁實秋等亦與焉。後來文星被封，最早對文星不夠意思的，卻又是梁實秋、餘光中等正人君子。蕭孟能當時在日記中曾痛感於此。梁實秋在文星盛世，與我們交情，大有王婆口中之「小」，那時胡秋原罵蕭孟能「一書賈耳」，梁實秋乃寫篆文「一書賈耳」一方，以贈孟能。那時我尚未戒酒，梁實秋乃以金門名酒兩瓶，以贈敖之。後來文星被封，梁實秋與李敖劃清界限，日見其嚴。從此這篇《讀（胡適評傳）第一冊》之文，即不見收於他的文集矣！不但生前如此，他去世後，報章上炒他的遺作，解數畢出，從少不更事之文，到老猶多情之作，無不遍搜靡遺。但我奇怪，梁實秋生前的這篇重要佚文，卻為什麼總被忽略了？想是李敖問題太多，以致禍延梁文吧？
餘光中也是文星時認識的朋友，此人是王安石看不起的「福建子」，為人文高於學、學高於詩、詩高於品，但聊天時蠻有趣，尤善巧思。他為人最喜招朋引類、結黨營私，我在文星時，他極力拉攏我，邀我參加師範大學的「現代詩朗誦會」，奉我為貴賓，介紹到我時，人人爭看文化太保真面目，掌聲之大，無任何人能比。事後詩人夏菁說：「他這種散文家這樣受歡迎，我們下次非讓他也朗誦幾首詩不可！」餘光中又拿梁實秋和我的文章在師大的翻譯課班上試由學生翻譯，試驗結果，認為我的文章比梁實秋的容易譯，換句話說，語法比梁的西化得多。他又約我到他課堂上演講了一次。凡此種種，都是刻意交好的動作。後來文星被官方封門，勢利眼的餘光中也就見風轉舵。最不該的，是他明知文星被勒令停業，他在香港談話卻說文星結束，是經濟上的原因、是經濟上的經營不善！他對國民黨政府的血手封店，不敢置一詞，反倒如此曲為之諱，真是太沒脊樑了。餘光中曾有一文名《豈有啞巴繆斯？》，他不敢說真話，至少也該啞巴一下，別說假話，可見「啞巴繆斯」，亦未易為也。為了報復他的可惡，近二十年後，我受蕭孟能太太朱婉堅之托，到法院告餘光中違反著作權，為了他把賣斷給文星的著作一物兩賣，在法院，餘光中狡賴說所謂的文星書店只以出版一次為限，事實上，若只以出版一次為限，即付「三千元」，當年餘光中尚無此身價！餘光中這種自抬身價以為狡賴的方法，在我代朱婉堅控告滿臉買賣人相的蔡文甫時，也同樣發生過。蔡文甫竟說他當年跟文星簽約，是「不平等條約」，我在法庭上斥責他，說：「當年簽約你蔡先生又不是小孩子（那時他實年三十八歲）、又沒有心神喪失、又沒被暴力脅迫，契約如有不平等，你為什麼要簽？何況那個約，比你們現在九歌出版社跟作者的約，在許多地方，還對作者有利得多，你說不平等，是什麼意思？當時買斷你的大作，付了你三千元，那時一幢新公寓才不過十二萬元，三千元不是小數目，如果說有不平等，我看該是文星根本不該出那三千元！——其實一塊錢都不必付你，你也會高高興興給文星出書，因為你當時尚未成名，一登《文星》，身價十倍。如今你這麼『有名』啦，也該想想當年文星捧你有功吧？也該回饋回饋文星書店負責人蕭太太吧？可是，你出了文星的書，甚至禮貌上都不送蕭太太一本，我給你的存證信你也悍然不回，今天還說什麼不平等的話，你可真好意思！你現在也是開出版社的人了，假如有一天，你的九歌也像文星一樣，被政府給關了門，作者們這樣對你，你願意嗎？」我這番話，說得蔡文甫面紅耳赤，完全不能回嘴了，餘光中的情形，也大率類此。
文星為餘光中出書時候，他親筆寫自吹自擂的廣告詞，自道：「中國文壇最醒目的人物之一，餘光中是詩人、散文家和翻譯家。減去他，現代文藝的運動將寂寞得多，他右手寫詩，左手寫散文，忙得像和太陽系的老酋長在賽馬。」如今他簽下與文星這種約，真不知該怪右手還是該怪左手，《新約》中說不要叫左手知道右手幹的事，理論上反之亦然。但兩手相互間縱不知情，簽約者必居其一，總不能不認賬也！16世紀英國總主教克蘭默（Thomas Cranmer），在被火刑處死前，曾譴責他的手，說他的手寫了太多的違心之言，而該先遭火燒（「……I have written many things untrue. And for as much as my hand offended，writting contrary to my heart，my hand shall first be punished therefore；for，may I come to the fire，it shall be first burned.」）有的歷史沒記載總主教怪自己的右手還是左手，四百年後如時光倒流，只有餘光中能現身說法，提供解答了！基本上，餘光中一軟骨文人耳，吟風月、詠表妹、拉朋黨、媚權貴、搶交椅、爭職位、無狼心、有狗肺者也。他開會開到外國去，在加拿大參與國際筆會，大會關心大陸被捕下獄作家，餘光中與焉。令人奇怪的是，當台灣被捕下獄作家在牢中的時候，餘光中為何不關心？會喊「狼來了」的他，卻為何為虎作倀？至於筆上寫「天安門，我們來了」的詩人，卻在台北景福門納福，且為詩拍蔣氏父子馬屁，更證明此人是勢利中人，絕無真正詩人的真情可言也。
餘光中介紹一個人，叫王敬羲。梁實秋跟我講了一個笑話，他說每次王敬羲離開梁府，都要偷偷在門口留下一泡小便才去。梁實秋一直裝作不知道。有一天，王敬羲居然很神氣地自動招出來，他說：「每次我都撒泡尿才走，梁先生知道嗎？」梁實秋答道：「我早知道，因為你不撒尿，下次就找不到我家啦！」王敬羲是餘光中的朋友，人嘻嘻哈哈的，倒也爽快，只是以文化人兼市儈，可鄙而已。在蔣介石下令撲殺文星時，他在香港打出文星招牌，雖擴散文星毒素有功，但自己趁機中飽，卻是實情。他向我約稿，我寫了一本《借古不諷今》，偷裝在茶葉筒裡，由一香港來的女作家攜出台灣，他印出來了，卻一文不付版稅。我被捕後，他在《南北極》雜誌有以聲援，可以肯定。但從我復出後，他卻一路造謠，竟說國民黨有意把李敖放出來了，又在蕭孟能誣告我的案子中助蕭為虐、落井下石，種種行為，十足是文化小人。他又盜印柏楊的書，雖中飽版稅，但在柏楊出獄後向他討錢時，他卻給了柏楊一些，大概是勾引柏楊老婆後的內疚吧？柏楊做了王八頭而不知，還感謝王敬羲呢。我們深知內情的，都忍不住竊笑。
在文星時代，有一次我同何凡等聚餐，何凡揚揚得意地說他在《聯合報》寫「玻璃墊上」，「一連寫了十多年，還不出事，可見段數之高。你李敖整天惹警備總部，是何道理？」我說：「何凡啊！你還好意思說嗎？你獨佔專欄地盤，有別人享受不到的好機會，有這麼大的宣傳媒體，你整天寫的，上限不過大官的白眼，下限不過公車的黑屁，然後就是誰跳多高、誰跑多快、白菜蘿蔔多少錢一斤……你十多年來，沒把言論自由的尺度寫寬一點點，沒給警備總部這些大老爺們施以一點點教育和教訓，你不覺得你失職嗎？你還好意思這麼得意嗎？」何凡雖然討人厭，但他太太林海音卻很好。她主持《聯合副刊》時，我曾投稿，有的用了有的不用。她雖然膽子不大，但比起後來政工系痖弦之流來，卻高明寬大得多。她在文星後期，到我家看我一次，也預約過我的「告別文壇十書」，此後就不敢再和我來往了。十多年後，我出獄歸來，在路上一遇，聊了幾句，再見面時不幸已對簿公堂——我代蕭孟能太太朱婉堅追究版權，告了多人，她也在其中。她在法庭上遁詞說：「她所以沒通知蕭太太，因為找不到她。」我說：「蕭太太過去有錢的時候，你們為什麼找得到她呢？」林海音為之語塞。無論如何，林海音是位不錯的朋友，雖然我們早就「幽明異路」了。
我代朱婉堅追究版權的官司，在法院方面全部都不順利，這當然和國民黨的司法黑暗有關。不過在一片黑暗中，我倒看到一幅光明的畫面，那就是1987年6月8日《民生報》來訪問我時，做記錄的一位小女生徐開塵。她進我家門時，一片清秀脫俗、神韻飄逸，使我眼睛一亮，我一邊接受訪問，一邊偷看她，她真耐看！——習慣上，我看到漂亮女人，都一邊看一邊挑她的毛病、找她的缺點，以便不再留戀，但這小女生卻挑不出毛病，並且愈看愈有餘味。此後幾年，這小女生和她的同事邱海岳、林英哲等，與我聚餐過幾次，每次聚餐，我都忍不住要偷看她幾眼，非常舒服，有一次在敦化南路碰到她，我說你為什麼不打電話給我，她說打過一次你不在，我說為什麼不打第二次，她笑而不答——她的笑，可愛極了。又過了幾年，我從凱悅大飯店出來，看到基隆路對面有人一再向我揮手，我過馬路一看，原來是這可愛的！旁邊有兩位她的同事。我半開玩笑地點破，我說你知道這麼多年來我一直對你單戀嗎？她又笑而不答——她的笑，可愛極了。
前面談到文星時代我與梁實秋的交往，也數落了他的不是，不過，梁實秋有一事，最令我感佩感恩，就是他還有老輩的那種主動推薦人才的氣度。自我被陶希聖請出文獻會後，梁實秋認為李敖如此人才，任其流落，太可惜了，因此他不得我同意也沒告訴我，就秘密寫信「中央研究院」王世傑院長、歷史語言研究所李濟所長。對李濟來說，其實這是有點難堪的事，因為李敖是他學生，自己學生自己都不能賞識，還要勞動校外的與李敖非親非故梁實秋推薦，這不是有眼無珠嗎？儘管梁實秋甘冒不韙，推薦了李敖，王世傑、李濟他們，還是拒絕了。這一拒絕內幕，多年後我才完整瞭解。1990年3月，「中央研究院長」吳大猷、近代史研究所所長張玉法，以公帑出版了《王世傑日記》全十冊，其中1965年12月20日全天只記一件事，內文如下：
有李敖者，日前在文星書店應所刊《蔣廷黻選集》，對余被免總統府秘書長（民國四十二年12月）與簽訂中蘇條約兩事，做侮辱性抨擊。中央黨部谷鳳翔等促余向法院訴其誣毀。余殊不願給此等人以出風頭之機會。惟余對此兩事為避免牽涉他人過失之故，迄未發佈文字，抑或是余之過。李敖為台大畢業生，有才華而品行不端，梁實秋於五十二年5月曾推薦於中研院史語所，李濟之以其行為不正，不願收納，余遂拒絕之。彼即因此懷恨。
這日記一開頭說「有李敖者」四字，就是後語不對前言的話。因為這種語氣，好像他王世傑以前不知道「李敖」似的，事實上，早在1963年9月10日的日記中，他就有這樣的話：
台大畢業生李敖甚有才華，與胡秋原涉訟（彼此均以誹謗為訴由）。余頗欲成全李敖學業，勸彼等中止訴訟，但似不能說服胡秋原。
可見王世傑早知李敖是誰，兩年後竟用這種語氣寫日記，顯然別有居心。當時「中央研究院」不接受梁實秋的推薦，真正的原因明明怕「立法委員」胡秋原等人，但卻假托出一個李敖人品上的理由，這是最高學術機關負責人不該有的懦怯，也恰恰反證了人品上出了問題的，原來是他們自己。他們在人品上既未堅持道德勇氣，也未能維護學術尊嚴，甚至起碼的知人論事的求真態度，都出了問題。例如他們假托出所謂李敖「品行不端」、「行為不正」，就是毫無根據的。當時是1963年，上距我台大畢業當兵退伍才兩年，我還是台大歷史研究所學生的身份，為了貼補研究生公費的不足，在開國文獻會做「僱員」，每月賺一千元。試問這樣一個單純的二十多歲的青年人，究竟有何赫赫履歷如王世傑、李濟者，可有在人間上下其手，施展所謂「品行不端」、「行為不正」的機會？這樣一個青年人，既未有機會如王世傑之賣國、矇混舞弊，亦未有機會如李濟之奪權、佔著學術茅坑不拉屎，而王世傑、李濟諸公卻暗中對一青年誣指如此，還口口聲聲在提拔青年人才——有人才不提拔不說，反倒倒打一耙，這種年高德劭的作風，未免太菜了吧？因為姚從吾告訴我李濟的造謠，我對李濟的心態，有了研究的興趣。李濟在他的時代裡，是一個夠格的學者，但在夠格的學者以外，若說他對推動學術研究、培養學術人才一面有大功，就沒道理。李濟三十一歲起就做學閥，八十四歲才在武俠小說中死去。他壟斷學術，自己不研究也不給別人機會，《安陽發掘報告》有始無終，《中國上古史》計劃拖延不做，都是顯例（連王世傑自己，都在日記中一再表示對李濟及許倬雲不滿，指他們不依約做事。）胡適做「中央研究院院長」，蔡元培館外面的假山工程，承包價錢十一萬，李濟包庇的親信貪污兩萬被查出，李濟攔住，不准送法院，胡適死後，李濟代理院長，逼走調查貪污案的總幹事，將大事化無。另外，李濟一邊拿台大系主任薪水，住台大豪華宿舍；一邊由「中央研究院」供應車與車伕、工友等，完全不知體統為何物。……以上諸多「善行」，當然不屬「品行不端」、「行為不正」之列，不過，為人「端正」如此、治學做事如彼，也足令我們會心了！
《王世傑日記》中說李敖因被拒絕，「彼即因此懷恨」，而在《蔣廷黻選集》書中對他做「侮辱性抨擊」。其實，王世傑該不該受公評，根本跟批評者的愛憎毫不相干，相干的只是批評的內容是否正確。我在1965年寫《（蔣廷黻選集）序》裡說：王世傑賣國、賣了外蒙古，這種史論，其實只不過是歷史學家論定歷史功罪的普通公論，並不值得大驚小怪。可是，賣國者王世傑不知反省自愧，反倒在幕後透過陳雪屏、黃少谷，向蕭同茲施壓力，要求刪去李敖的序，這一幕後作業，在《王世傑日記》1966年1月5日、1月9日、3月9日中，都一一曝光。3月9日日記中他寫：「文星書店蕭同茲，將其《蔣廷黻選集》內李敖序文（攻擊我和李濟之）刪去，改裝送閱。」就是指此。起先，我為爸爸遺著《中國文學史》寫的序，因涉及李濟兒子「潛返大陸」，被調查局暗中壓迫文星書店刪除該序，方能上市。那一次李濟是否暗中勾結調查局做手腳，不得而知；但這一次刪除我為《蔣廷黻選集》寫的序，則全是王世傑暗中勾結陳雪屏、黃少谷、蕭同茲諸國民黨大員做手腳，所幹出來的鉗制言論自由的好事！《王世傑日記》還透露出「中央黨部谷鳳翔等促余向法院控訴其誣毀」，可見國民黨中央黨部自秘書長谷鳳翔以下，都計劃假王世傑之手，陷害李敖。只是王世傑心虛，不敢使事情鬧大而已。按說王世傑以黨派立場、以湖北佬的狹隘心胸，在日記中誣謗立場不同之人，並不稀奇。例如在日記中，他罵趙元任「無恥」、罵楊振寧「無恥」、罵陳省身「無恥」、罵牛滿江「無恥」、罵張捷遷「無恥」、罵任之恭「無恥」、罵何炳棣「無恥」（1977年4月22日）……如今罵到李敖，被罵程度且不及以上院士七賢，按說大可一笑置之，一併聽其妄言可也。但我李敖豈是這麼好說話的，所以我要寫出來，誅奸宄於既死、斥無恥於身亡。無恥的王世傑生前死後，欺人太甚，苛於誣人、疏於察己，包括他自己那真正「品行不端」、「行為不正」的兒子王次五在內。王次五即王德勱，其「行為不檢，尤其好賭」，明見於1962年11月4日《王世傑日記》；其「涉嫌人頭支票案」被扣押、「性好賭博，虧欠不少」，明見於1968年3月6日《中央日報》與3月9日《徵信新聞報》。當然，由於王世傑的顯赫，從台北市稅捐稽徵處主任、到基隆市稅捐處長、到台灣銀行專員，都不因「品行不端」、「行為不檢」，而照做不誤。至於王次五的太太林美智，更受王世傑用公款照拂。王世傑在「中央研究院院長」任內，曾親批兩張便條，一條上說：「支給林美智醫藥補助費二千元。世傑。1964.1.3。」另一條上說：「支給林美智醫藥補助費八百元。世傑。1964.10.12。」這樣子把公家的特別費一再給自己兒媳婦的「善行」，當然不屬「品行不端」、「行為不正」之列，不過，為人「端正」如此、辦公做人如彼，入於無恥之列，也就恰如其人了。
王世傑如此無恥，居然還有人無恥地捧他，此人即許倬雲。許倬雲是最善於諂媚權貴的一個怪胎，凡是看過他寫《尋真理的李濟之先生》的人，或是《追念王雪艇先生》的人，都不難看出他多麼會拍權貴馬屁！我在文星，也不幸認識了一些人，其中之一，是許倬雲。我主持文星時，許倬雲巴結我，十分賣力。但為了我寫文章批評他的主子李濟、沈剛伯（台大文學院長），1963年11月5日，他約我和蕭孟能、餘光中去他家。為了他行動不便，我同意去了。這天我有簡略日記如下：
一、南港來的消息：李濟讀了文章，拍了桌子。
二、夜在吳相湘家，沈剛伯托他轉告我：「在過去，我沒說過李敖什麼壞話，雖然我也沒幫他什麼忙；從此以後，我也不會說他什麼壞話，當然我也不會幫他什麼忙。」孫德中在座，對我說台大文學院，在中國還算是好的。我說，正因為文學院在台灣有領導地位，所以我們該更要求它有生氣。
三、夜在許倬雲家，互惡聲相向，光中在座，頗勸慰。
四、晚與孟能決定，拒與李濟晤面。
許倬雲那晚想在我面前充老大，結果不歡而散，為他始料所未及。後來他寫了一封信給「敖兄」，以幫我出國為餌，意圖修好，我懶得理他，因為他信中提到的洋教授，在研究胡適上，其實連做我助教都不配！我才不屑跟這些華洋學人打交道呢！過了三年，因為他又來流言又來媚眼，我有一信給他，其中說：
……現在你做了歷史系主任，算是你馬屁到家。不過你總該知道，亂來是不行的。南港你的女秘書藍小姐，已被你逼婚得下海做舞女，我特別去訪問她，她口中你的劣跡，還多著呢！我都做成了筆錄。你去台大，又不自檢束，居然整天接送居浩然的女兒，招搖校內外，成何體統？……
你又托人轉話給我說想暗中幫我出國云云，告訴你，你少來這一套。美國國務院邀我訪問我都謝絕掉，誰要你這學界掮客拉皮條？我李敖這輩子，定將守死此地，細看你們橫行，並且記錄你們的橫行。當然你們只迷信權勢，不在乎歷史，但那是你們的事；我自有我的基督山方法。我只警告你少向我送秋波，也少說誹謗我的話，你若不要「來世報」而要「現世報」，我可以賞給你，只怕你消受不起。你本是殘廢之人，又會裝出一副可憐相，我一罵你，人家就勸我「不要欺負他」，殊不知你專門欺負人，尤其是你追求不遂的女人。……
許倬雲大我五歲，他一出娘胎就有四肢萎縮的怪症，這種怪症，一百萬中只有六個，而他獨佔六分之一。按說人生有殘疾，是天生的，只怪他爸媽，你提它幹嗎？只是他的學生杜正勝馬屁文中，提到殘疾「對他日後的人生觀、治學態度，及對世情萬物所懷抱的信念，有著決定性的影響」。既然如此和他有關，也就不得不提。總之，第一，殘疾使這個人佔盡便宜；第二，殘疾使這個人心理其實有故障，他的見解，有的也就大成問題。杜正勝誇獎他「個人竟然可以沒有絲毫避諱地，拿自己外在的缺陷開玩笑」。事實上，我所知道的卻有另一面。梁實秋對我說，他們在美國學術會議，會議廳外有高台階，他看到許倬雲很辛苦地在爬，心有不忍，就跑過去扶，不料許倬雲頓時大怒，厲聲高叫，斥以「你走你的，你少管我！」——梁實秋不小心，傷了許倬雲的自「卑」心固屬不當，但別人一番好意，自己卻大發脾氣如此，實未免心理故障也，這是「拿自己外在缺陷開玩笑」的心胸嗎？
1964年7月10日，大我三十二歲的徐復觀先後撰文說：「以胡適為衣食父母的少數兩三人……豢養一兩條小瘋狗，專授以『只咬無權無勢的人』的心法，凡是無權無勢的讀書人，無不受到這條小瘋狗的栽誣辱罵。」「最近一年來，台灣大學裡有一二人利用一個特殊學生，把上自校長，下至助教，罵得一塌糊塗。」「李×罵沈剛伯拒絕朱光潛到台大來任教，這對沈也有影響。」……因為寫文章批評士林敗類、台大黑暗的，並無別人，按照文明國家的誹謗律，無他人可適用此一情況者，縱未指明姓名亦構成誹謗，所以徐復觀罵「小瘋狗」自然構成誹謗，何況他文中還用了「李×」字樣，更除李敖外別無人了。可是，當我告到法院的時候，台中地院的孫嘉祿法官和高分院的鄭紅、楊襄明、曹德成三法官，竟說「李×」是李敖，「尚屬不無置疑」！因而開脫徐復觀，判他無罪！在訴訟過程中，徐復觀最叫人看不起的一點是：他一直賴，他寫文章闖了禍，卻沒有敢作敢當的氣概、沒有公開承認的勇氣。他在法庭上，在來旁聽的自己學生的面前，公然狡賴得一乾二淨。這是很令我警異的。單告徐復觀不成後，我又找到機會，委託李聲庭律師，把徐復觀、洪炎秋雙雙告進法院，但是，1965年11月2日，台中地方法院法官鄭學通竟違法以裁定駁回。我提起抗告，指責鄭學通「根本沒把法律學通」，因為他把「行為不成立犯罪」認為與「行為不罰」相當，這就是大笑話了。我對鄭學通的指責登在《文星》第九十八期，也就是《文星》被官方封殺前的最後一期，官方不但封殺雜誌，也同時對作者下手，國民黨「司法行政部長」「鄭矮子」（鄭彥棻）借口我「語涉侮辱」法官，下令檢察官林奇福對我提起公訴。林奇福是台大老同學，兩面做人，在庭上透露他聽命上級，情非得已。起訴後法官陸祖光判我有罪，如了鄭彥棻所願。
我被國民黨大員鄭彥棻整，還有個小插曲。1967年3月16日，我開著我的凱莉小汽車，發生車禍，車的左眼被撞得凹進去、保險桿折損、左前輪撞壞、左門撞彎、上面玻璃紛飛，我的左肘和頭都受輕傷，同車的洋鬼子美國人梅心怡（Lynn A.Miles）膝部撞出血來。真夠刺激。車禍原因是我開快車，正好碰到另一個開快車的計程車司機，所以就順理成章地來了一場「相見歡」。梅心怡看我在出事後談笑自若，當場替我拍了幾張照片，他說他要洗出來送人，叫人看看「文化太保」的鎮定功夫。出事後，一個五分局的警官察看雙方的身份證，一看到我的，就對我說：「嘿，你就是李敖！我們有拘票，正要抓你，快跟我來！」我說：「跟你來可以，不過你們要抓我，卻等到我撞車時候才找到我，未免太遲了吧？」他把我帶到警局以後，叫我坐在外面，自己進去向長官嘰嘰咕咕一陣，不料卻被打了官腔，他慌忙出來，向我道歉，連稱弄錯了弄錯了，後來我才弄清楚是怎麼回事：原來是我被提起公訴時，檢察官把傳票發到文星書店，傳我不到，警官以為我故意抗傳，所以才要見我即拘。警官卻不知道，檢察官早就找到了我，所以他這次表功，竟弄得表錯了。
在我跟徐復觀的訟案中，有一妙事，即徐復觀約我在法院開庭後一起喝咖啡，此中趣聞，我回信寫給在澳洲的居浩然了：
……我們上次的筆仗，許多人（如范光陵、林語堂之流）都說我們在「打情罵俏」，他們真不知道你我相思之苦！台灣方面，許多人開玩笑說我你「同性戀」，我們這樣心肝來心肝去，倒真的有一點弄假成真的呢！上次我在台中跟徐復觀對簿公堂，他對法官大力描寫我們同性戀的可能性，他怕法官是白癡，特別加說：「同性戀的意思就是一個人在上面，一個人在下面。……」結果法官不耐煩，大聲喝止。我在旁邊，實在忍不住笑。後來出庭後，徐復觀請我喝咖啡，我們談到這件事，兩人又大笑不止。可惜當時你不在場，你若在場，我們兩人合力把他按倒在地……該多好玩！唯一的問題是不知徐復觀喜歡不喜歡洗澡，他如學王荊公（從不洗澡），那我們就划不來了！
那天開庭後喝咖啡時，徐復觀心血來潮，說了一段真心話，他說：「你李先生真是怪人，你念古書，念得比我們還多還好，你卻主張全盤西化！如果你來宣傳中國文化，你宣傳的成績，一定比我們都好！」徐復觀說得沒有錯，我真是對中國文化最有理解的人。徐復觀又說出他當年對妻子不忠在外養細姨的事，自稱有「慚德」，陸嘯釗坐在旁邊聽了，一直笑，我也笑，我笑的是：這就是徐復觀的厲害處，他會以部分坦白方式表示他跟你肝膽相見，但是別有所圖什麼，你就得當心了。總之，我的敵人徐復觀比同是湖北佬的胡秋原聰明多了，因此他可以兩面做人而人不易覺察出來。殷海光《我被迫離開台灣大學的經過》文中，提到胡秋原、徐高阮，並直斥其名，但提到徐復觀就改稱「某君」，這就看出徐復觀兩面做人的功夫，他不像胡秋原那麼笨，他知道殷海光有其清望，不能完全打死，因此既鬥爭又聯合，使殷海光衰病侵尋，他有份；但衰病侵尋後又表演問疾弔喪，他也有份，此公最拿手演這種戲——在殷海光生前，打擊殷海光；等到殷海光病了、死了，又冒充是他的知己，他一再發表改名《痛悼吾敵，痛悼吾友》等文章，並和殷海光的學生陳鼓應等串通起來，把殷海光描寫成臨終的悔罪者、臨死前對中國文化看法的轉向者，這是對殷海光最卑鄙的誣蔑。殷門弟子墜入徐復觀術中而不自知，被徐復觀統戰得七葷八素，真丟死人。可見「學術與政治之間」的奸雄，一旦混入學界，就好像美洲土狼（coyote）進入羊群，效果非凡之至。為什麼徐復觀可以又做壞事又不被惡名？除了他的狡獪外，他也會閃露一點真性情，不全是假，令人對他另眼相看。1986年3月28日《中央日報》載：三十九歲的工廠職工接瑞華，酒後觀看電視連續劇，不知何故突然搗毀電視機，凌晨被家人發現上吊自殺斷氣命絕，其妻撫屍慟哭，悲傷逾恆云云。我聯想到蔣介石當年從廣播中聽到李宗仁當選副總統時，曾搗毀收音機；徐復觀從電視中看到梁容若著書得獎時，曾搗毀電視機。可見「自天子以至庶人」，雖口誦聖人「不遷怒」之訓，但動起手腳，卻都性好此道也。只是收音機何辜，電視何辜，令人不解耳！但徐復觀能有此種動作，亦足發人一噱。更有趣的是《聯合報》駐日特派員司馬桑敦告訴我的故事，司馬桑敦說：「徐復觀雖然年輕時在日本留學，但他的日文一塌糊塗，簡直詞不達意。他老了以後再來日本，住旅館，想找女人，就向旅館老闆娘求助，他不會說叫姑娘的日文，乃抓耳撓腮，急得滿面通紅，最後一邊用手指自己的生殖器，一邊向老闆娘鞠躬作揖，示拜託狀。」司馬桑敦一邊說還一邊學徐復觀，好玩極了。徐復觀留學日本卻日文一塌糊塗，好像是真的。我中學時去省立台中圖書館聽演講，主講人是《日本法西斯主義》的作者大學棍安岡正篤，徐復觀陪他來，那是我第一次見徐復觀，可是我就沒聽見他對安岡正篤講過日文，豈不怪哉？