1976年11月19日，我第一次政治犯出獄了。這時再過五個月，我就四十二歲了。由於吳俊才安排我去政治大學國際關係研究中心做副研究員，該中心主任蔡維屏先約見了我，此公是個官僚，虛情假意，像個YMCA（基督教青年會）總幹事。言語無味。不久聘書由女職員送來，我說：「副研究員相當於大學副教授，過去按老規矩，聘書都是大學校長親自送上門的，怎麼派女職員送來了？這是哪門子禮遇？」女職員說：「蔡主任最禮遇李先生了，別人的聘書，都是工友送去的。」我聽了，恍然大悟，時代已經變得太多了。
形式上在「國關中心」十三個月後，吳俊才終於同意我自動辭職了。這時我四十三歲。再過一年，1979年6月，我四十四歲，終於東山再起，復出了。復出後最風光的四件事是出書、上報、結婚和離婚。出書是由遠景出版公司沈登恩推動，上報是由《中國時報》高信疆邀寫專欄，當然立刻引起國民黨官方的不快，後來壓力迭至，報社主人余紀忠不堪其擾，雖未逐客，我這客人，卻不得不自逐也。最後主客雙方，乃分手焉。在大大小小的官方壓力中，一個有趣的壓力是：我在文章中，自稱自己坐牢那段歲月是「蒙難」，也構成大逆不道了。這一罪狀，官方是由蔣孝武提出的，令人頗堪玩味。當時常住美國的江南聽說了，寫了一篇《「蒙難」也不能隨意用嗎？》在海外發表，為我聲援，可見當時文網之密，已經到了什麼程度，連無知之徒蔣孝武都可干涉言論了。後來蔣孝武派人殺江南，若說禍起於「蒙難」之辯，於理亦非不可通也。
胡茵夢和我的婚變，內幕也涉及政治性。胡茵夢和我結婚前，本是國民黨，她寫《特立獨行的李敖》發表，早就被國民黨透過「中影」向她警告。她和我同居到結婚，壓力始終不斷，國民黨逐步封殺她在演藝事業上的發展，使她非常沮喪。她最後抵抗不了這種壓力，而屈服、向官方表態，表演「大義滅夫」，這是很可理解的。胡茵夢出身一個不幸的家庭，又因她的美，被社會慣壞，她的反叛性，是沒有深厚知識基礎的、缺乏推理訓練的。她的舉動，太多「表演」「假戲」與「作秀」性質。最後，當這種舉動滲入政治性的時候，我覺得這一婚姻就該立刻告一結束。孟絕子有一段話說得好：「在李敖的天地中，胡茵夢找不到真善美。李敖的天地中不是沒有真善美，但那是董狐、司馬遷、文天祥那一類血淚染成的真善美，是『慷慨過燕市，從容做楚囚』式的真善美，是悲壯而深沉的真善美，而不是胡茵夢心目中的真善美。」但是，胡茵夢是不知輕重的，她被人利用，用不真實的方法傷害李敖，最後傷害到她自己。胡茵夢努力求真求善，是她的大長處，但她用作偽的方法求真、用作惡的方法求善，結果鬧得親者所痛仇者所快，最後連美都沒有了！
胡茵夢向官方表態，表演「大義滅夫」後第二天（1980年8月28日），我看了報，決定跟她離婚。我先請來原始的證婚人，孟絕子和高信疆，表示我今天下午就離婚，「解鈴還須繫鈴人」，還是麻煩你們兩位在離婚證書上簽個字。離婚證書上，我討厭一般的套語，我只寫上「協議離婚」四個字，就告完成。孟絕子簽了字，可是高信疆卻一再推托，當我得知真正的原因是高信疆太傳統、不願在離婚證書上簽字以後，我也不好勉強他，就帶著我和孟絕子先簽好的離婚證書，一邊請人送去給胡茵夢（因為我不想和她再見面了），一邊匆匆趕赴忠孝東路大陸餐廳，主持記者招待會，宣佈離婚。這時候，胡茵夢在她家得到我通知離婚的消息，大感意外，手拿離婚證書，約來律師李永然研究一番。李永然說最好請李敖過來一下。於是胡茵夢打電話到大陸餐廳找我，說她很難過，不過既然離婚，她也接受。在手續上有需面談之處，請我過去，我同意了。記者得知後，蜂擁直趨胡茵夢家。胡茵夢登時換上黑底素服，以迎記者。我在路上，特別繞道到花店，下車買了九朵玫瑰花，再上車去胡茵夢家。我到時候，整個客廳已擠滿記者，我把花送給胡茵夢，她為之淚下。胡茵夢表示，律師說你寫的離婚證書，文字太簡略了，最好能照一般寫，寫上些男婚女嫁各不相干等語，我懶得堅持，就說可以。於是胡茵夢親筆寫離婚書兩張，然後是請證人簽字，胡茵夢表示，律師說一個證人不夠，孟絕子以外，希望再找一位簽字，我說高信疆不便簽字，你找證人好了。於是胡茵夢當場向記者們說，有誰願意見證一下。大家面面相覷一陣子，忽然人叢中冒出一記者，說我願意。胡茵夢同意了，請他過來，我一看此人，不是別人，原來是「段宏俊」！段宏俊當時好像是台港地區一家小報的負責人，有記者身份，他應邀簽字，我沒有拒絕的必要與理由。當年我主持文星時，段宏俊以自由太平洋文化事業公司負責人身份登門拜訪，那時候他是因叛亂坐牢的受難出獄者、是被國民黨剛剛「掃蕩」過的，並不是後來跟著國民黨走的「中央委員」。我這次離婚，後來康寧祥推出的李筱峰趁機影射李段關係如何如何，並說段宏俊在離婚證書上「蓋章擔任見證人」，是「大家都知道」的。這又完全是造謠。看看報上登的離婚證書吧！不但證人沒有蓋章，連當事人雙方也都是匆匆以簽名表示的，誰又有備而來的、沒有必要的蓋什麼章？康寧祥推出的李筱峰，虧他還是學歷史的，對整個離婚的過程，全不求證，就貿然曲解、亂造印章，這樣子居心、這樣子用心、這樣子粗心，還被康寧祥請出來主持他們「首都公政會」中「黨外史」，這種「黨外史」，我們還敢看嗎？自古以來，作史也好、修史也罷；正史也好、野史也罷，下筆之際，無不講究「史德」「史識」「史才」，領教了康寧祥推出的李筱峰的「黨外史」，誰還敢做黨外啊？因為段宏俊是國民黨，造謠者刻意要刻畫出李敖勾結國民黨的畫面，這種用心與居心，實在格局太小了。
胡茵夢生平無不良嗜好，獨好「怪物」，任何正常的，她都不喜歡；任何邪門的，她都偏愛，什麼怪愛什麼，怪不一定要大，一塊歪七扭八的漢玉、一條塵封多年的繡片、一瓶聞所未聞的香水、一對密宗氣息的耳環……都可使她因「小怪」而「大驚」，而要百計千方，得之而後快，然後休息二十四小時，再去作怪。作怪其實不要緊，甚至有它可取之處，毛病不在作怪而在不知天高地厚。整天吃男人、喝男人、花男人的錢、戴男人的玉、坐男人的車、抄男人的文章出書，結果卻不辨親疏是非，反過頭來，與男人虛榮爭勝，或以偽證方式「大義滅親」，爭自己人的風，還貌似清高，大談人生大道理與佛門大道理，這不是不知天高地厚令人噁心的卑鄙小人嗎？
1980年，一件不幸的事發生了，就是文星老友蕭孟能告我的所謂侵佔背信案，這案子根本原因在蕭孟能拋棄了髮妻朱婉堅——跟他同甘共苦四十年的髮妻朱婉堅，我仗義執言，因而觸怒了蕭孟能的姘頭王劍芬、觸怒了蕭孟能。所謂侵佔背信案上了公堂後，我發現我被告的罪狀，是非常離奇的。蕭孟能說他去南美前，授權我代他辦事，我沒給他辦好，但是，授權辦的事，大都是蕭孟能自己解決不了的陳年老賬，有的長達十八年以上。自己十八年都解決不了的難題，丟給朋友解決，一共給了三個月零十四天，就要解決，不然就招待記者斗臭朋友、跑到法院告朋友，天下哪有這種道理？又哪有這種道德？蕭孟能授權項目共有二十四項，這只是大項，二十四項下包括的人、事、單位等一共六十九件，蕭孟能給我三個月零十四天，就是一百多天之內辦這六十九件事，平均一天半要辦一件，就是說，不到兩天，要給他辦完一件。我自己要謀生，又不靠蕭孟能養、不受酬，怎可這樣逼人，要人在這樣短的時間辦這麼多的事？
蕭孟能自己解決不了的陳年老賬，我試舉一例。蕭孟能與《西洋全史》的作者馮作民有債務關係，馮作民欠蕭孟能一筆「呆賬」。這筆「呆賬」，長達十八年之久，但蕭孟能並不催還，反在蕭孟能離台三個月零十四天之中，硬要李敖討到。蕭孟能上訴狀中說：「與馮作民之債務，因時間之延宕，坐失良機，迄今未解，嚴重損害上訴人之利益。」試問馮作民所欠為錢，還錢就是了，為何不「解」而要「未解」？十八年間，馮作民只要匯錢給蕭孟能；或在三個月零十四天中，匯錢給李敖，即可迎刃而「解」，除此而外，尚復要求李敖「解」什麼？可見全是遁詞！蕭孟能把馮作民找到法庭作證時，馮作民透露此款在蕭孟能返台後仍未償還，可見蕭孟能又不急了。有十八年長的時間自己不解決，唯獨要李敖在三個月零十四天內解決，否則蕭孟能和馮作民兩人，即在法庭上把李敖「雙殺」，這豈不是故意整人？蕭孟能與馮作民兩人什麼關係，得使馮作民配合他在法院困擾我，我一直好奇。還是我神通廣大，終於找到了答案，是1974年5月18日馮作民寫給蕭孟能的一封親筆密件，談的是兩人的同好——許女士，全信精彩無比，值得細讀：
能兄：我本以為我也可弄成一個「主婦」，和您共組一個「兩閤家庭」，所以三道門的鑰匙早就給您配好，這就是我歡迎您在我家「美人、名馬、英雄」聚會的鐵證。
豈料天不從人願，搬來石牌後情況突然變得很壞，如今我連普通秘書都請不起，遑論「伴侶秘書」？許是由我初選由您決選而成，可見在我心中也是一美。眼見美人別抱，任何男人都會有「酸溜溜」之感。兩個月來我所以能忍受，一因我倆感情有如手足兄弟，二因我對許還沒發生感情，三因我也有一美（前為祖，後為董，祖並允為我之妻）在側，使我心理獲得適度的平衡。祖是我的「噴火美人」，可使許對我不起任何惡性反應；董是我的「滅火美人」，可使我對許不起任何雜念。故始終能相安無事，而我的心波也就一直靜如止水。
董走後，我立刻陷入一片苦悶中，對許之存在反應極為不正常，但仍能運用理智勉強控制，不料18日我兄來寒齋幽會後，知您在室內和許談情說愛，我就在室外猜測你們的情節動作，內心所受刺激之大空前未有，猶如在掙扎飢餓線上的人面前大擺盛宴，心想又有誰肯能分我一杯羹呢！
我兄識我於寒微之中，十多年來深感知遇之恩，所以此次才盡全力助我兄美化人生。
弟四十年來一直在與命運搏鬥，始終浮沉在極險惡的生命浪潮中獨處空幃，時耶？命耶？弟亦無語問蒼天！所幸子女已大，可從旁助弟筆耕。故今後除非極殊特情況，絕不再延聘任何男女秘書，目的只為求一「心靜」，而不致再使弟「古井興波」。
倘我兄能諒解弟上面的苦衷（此點我曾有言在先，想必能得我兄之諒解），即請另築香閨金屋以藏，於您於我於子於女於許均極便也。專此敬祝
文安！
弟民拜書
馮作民在《書癡籲天錄》一書中有一段自謂「願站在道義立場」，為蕭孟能「說幾句公道話」，因為蕭孟能對他有「知遇之恩」。現在密件出土，另設密室為蕭孟能配好鑰匙，由他「初選」由蕭孟能「決選」美女，「來寒齋幽會」、「助我兄美化人生」，這種關係、這種行徑，可就未免太那個了吧？馮作民在《書癡籲天錄》書中第1頁就說「事無不可對人言」，但是上面密件中的事，他卻一字也不敢寫，這叫「事無不可對人言」嗎？馮作民書中提到蕭孟能王女士是「夫妻」、稱他們為「兄嫂」，這又是千古妙文！因為蕭太太一直是朱婉堅，馮作民明明知道，蕭孟能又何來一位王夫人？馮作民目無蕭孟能的四十年髮妻朱婉堅，竟將許女士收為密友、把王劍芬推做夫人，如果這些也算是人間的「恩」、人間的「道義」，人間真沒有「公道話」了！
蕭孟能告我的案子，由於國民黨官方王異以下黑手的介入、由於台灣高等法院法官林晃、黃劍青、顧錦才等的枉法裁判，害我坐了半年冤獄。看了上面蕭孟能利用馮作民的這些細節，才能覺察到這些促成冤獄的背景資料的複雜。由於我的耐磨善鬥，雖然最後蕭孟能被我打敗，以誣告罪坐牢並逃亡海外，但在過程中，我也飽受誣蔑與損失。我至今不諒解胡茵夢，為的是她在我和蕭孟能官司中作偽證，並且十八年後仍執迷邪惡，繼續在電視上歪曲事實，我只好用連續七集的「真假胡茵夢」拆穿她，用證據使她無所遁形。
蕭孟能誣告我的案子使我丟了老臉、丟了老友、丟了老婆，但最後我反敗為勝，不但恢復了名譽，並且打敗了他們，還乘勝跟國民黨算了老賬，老李飛刀，追殺十八年，至今未已，李敖的可怕，連李敖自己都有同感呢！我的可怕，不止於對活人，對死人也一樣。當年蔣介石在廬山談話時，說「如果戰端一開，那就地無分南北，人無分老幼」，都要迎戰。如今我卻以為善報仇者，要再加上「敵無分生死」，才能更盡此義。例如我對蔣氏父子，便是如此。對死者鞭屍、對生者追擊，這才是報仇者的全面公理，放眼天下，唯李敖有焉。
我和胡茵夢在一起的時候，亦有妙事堪聞。結婚第三天深夜3點鐘，有個自稱「中視」林導播的，打電話找胡茵夢，我說：「現在是夜裡3點啊！」他回答說：「沒錯，我知道是夜裡3點，你叫不叫胡茵夢來聽？她不來聽，明天我就公佈胡茵夢跟我的床上照片。」我說：「林導播，胡茵夢在跟我結婚前，就開過一張名單給我，名單裡面沒有你，可見你是冒充的，如果你有照片，那你公佈好了。」——這就是李敖的作風，我可以立刻反應，不讓你慪到我的氣。想在我面前逞口舌之利，差得遠哪。
1980年2月8日，我和胡茵夢在財神大酒店頂樓晚餐，侍者通報說他們經理想過來談談，隨即經理出現，不是別人，就是大名鼎鼎的楊維漢（白雲）。白雲當年是紅遍全中國的大明星，紅到全國照相館櫥窗多以陳列他的照片為招徠的程度、紅到同時被二十八家報紙連載事跡的程度。如今垂垂老去，也過氣了，意態頗為索寞。事後胡茵夢寫了一篇《問白雲》，討論他們演藝人員的「過橋」與歸宿。胡茵夢雖說問白雲，又何嘗不是問自己，因為白雲已老憊，不堪聞問了。兩年後，六十三歲的他，終在日月潭自殺以死，演藝人員的一生浮沉，在他身上，真對比得太強烈了。我識白雲在文星時代，他聽說我家老太是他影迷，特地跑到台中，去看「李敖先生的母親」，當年他的影迷何止千萬，如今要對一個影迷如此珍惜，光此一件小事，就可以喻大了。
我因為是政治犯和異議分子，並且是特大號的，被管製出境，自不稀奇。我第一次政治犯出獄後四年（1980年），為了試驗一下是否能夠出境，我托旅行社辦了出境手續，旅行社回話說，別人都通過了，可是李先生的出境證卻下不來，不知何故。不久，「國家安全局」的幹員林家祺來看我，說政府為示寬大，同意李先生出境了。於是，由警總保安處處長郭學周出面，約我到他刀光劍影的官衙，從他上衣口袋中掏出出境證，當面笑嘻嘻地交給我，表示情治機關不刁難了。不料旅行社把出境證送到「外交部」領護照時，「外交部」的專員級科員汪應松力持反對頒發，理由是從新聞媒體報道中，事實認定李敖與胡茵夢有離婚行為，但在旅行社送來的李敖戶籍謄本上，李敖卻是未婚，因此不能發護照。我得知後，既笑且怒，乃寫信責問國民黨偽外交部長朱撫松。1980年11月15日，由「外交部」領事事務處出面，回我一信，說：「奉交下台端本月1日致本部朱部長函敬悉。查申領護照按規定須據實填寫護照資料卡，台端所填資料卡之婚姻狀況經查與事實不符，用特函達，請即親自或以書面委託他人前來本處辦理更正，以憑發照。」我收信後，既大笑又大怒，乃再寫信責問朱撫松。我說：因為「丈母娘」扣留胡茵夢戶口圖章，胡茵夢一時遷不到我家，所以結婚時未能即時到戶政機關登記。不料還沒登記，就離婚了。所以送到貴部的戶口謄本上，仍然是未婚。但這是戶政機關的合法文件，是十足合法的「公文書」，你們是公家機關，「經查」手續自以「公文書」為依據，「公文書」上關於我的婚姻狀況，你們竟不引為依據，撇開不採，反倒轉過頭來，要根據報章來「查」，一小塊剪報就算「經查」完事了嗎？照一小塊剪報，就可以推翻附卷的「公文書」了嗎？我這樣責問後，朱撫松知道李敖惹不得了，因此下令即發護照給李敖，並把「外交部」中的讀報專家汪應松罵了一頓。
可是出境的事還沒完。延續到十年以後，大家還在扯。1990年11月10日，全美華人協會在波士頓舉行每兩年一次的全國代表大會，會中頒發傑出華人成就獎給李敖、田長霖（加州大學伯克利分校校長）、李天和（麻省理工學院教授）三人。我不能出席，只好以錄音講話，送到美國去播放。波士頓《舢舨》（Sampan Newspaper）的宋明怡小姐報道了我不能去美國的事。提到「華協頒發這個獎給李敖，是要引起世界人士對他在爭取民主自由人權上的承認」，並引述了華協總會會長潘毓剛的談話。11月21日，國民黨政府北美事務協調委員會駐波士頓辦事處致函《舢舨》，指出：「《李敖打消美國之行——台灣政府聲言出國後不予返台》報道與事實不符，經本處向國內查詢復告：李敖先生自民國六十九年（1980年）8月18日核准赴日觀光後，迄無申請出入境之記錄，目前並無依法禁止其出境情形，亦無政府人員與渠接觸談及境管問題，仍請貴報一本公正報道立場，惠予更正為荷。」對這封官樣文章的信，我在11月28日有反駁如下：所謂1980年8月18日核准我赴日觀光，與事實不符。第一，我一生討厭日本，絕不會到日本觀光，何來「核准赴日觀光」？第二，所謂8月18日核准之說，也與事實不符，因為「外交部」一直不肯發給我護照，按照「外交部」自定的作業程序，護照是四十八個小時內發下的，可是我的護照，拖了四十八天也不肯發下。從8月拖到11月，我火了，寫信質問朱撫松。半個月後，「外交部」回信了，捏造出「台端所填資料卡之婚姻狀況經查與事實不符」理由，仍舊拒絕發給。11月23日，我再寫信質問朱撫松，告訴他說你太太徐鍾佩在《我在台北》一書中罵你是「死鬼」，是有道理的，因為我所填資料卡中，全無與事實不符之處，是「死鬼」手下公務員自己弄錯了。朱撫松收到信後，緊張了，於是，「外交部」的護照無條件發下來了，「外交部」收回了「經查與事實不符」的鬼話，不再出面阻止我出境了。可是，當我買了機票，要去新加坡觀光時，到了機場，卻被攔截下來，原因是我雖有了護照，可是出境證被警備總部收回去了。我在機場打電話給警總保安處處長郭學周少將，他們推托不在，也不肯說明郭少將親手發給我的出境證收回去的原因。我當時恍然大悟：原來是「外交部」和警備總部輪流做壞人，皮球踢來踢去，結果不外是不讓我出境而已。國民黨政府在三十一年的「強迫永不分離」以後，所謂「核准」，只是騙美國人的把戲而已，一旦我真的要出境了，他們的花樣就來了！如今，北美事務協調委員會裡宣揚台灣自由的知識分子們，他們對李敖不能出境的事實，坐視三十一年都不置一詞，卻對李敖可以出境的描繪，興致勃勃地來函貼金，我看了真覺得好笑。說李敖「迄無申請出入境之記錄」嗎？太抬舉李敖了吧？張學良也「迄無申請出入境之記錄」、孫立人也「迄無申請出入境之記錄」，在官樣文章中，「目前並無依法禁止其出境情形，亦無政府人員與渠接觸談及境管問題」，可見張學良、孫立人不能出境之說，均「與事實不符」。又何必抬舉張學良、孫立人呢？希特勒殺了三百萬猶太人，也迄無官方記錄與依法殺人情形之遺痕，自也同屬「與事實不符」之尤者。願北美事務協調委員會諸君子改行去寫歷史，則希特勒將感拜無涯於地下。諸君子其勉之！
我的反駁信登出後，北美事務協調委員會挨了悶棍，一個屁都不敢放了。可是事情還沒完，我到底出不出境、去不去美國的問題，還是成謎，美國大使館的邀請雖然早已是明日黃花，但把李敖請到美國去的念頭，卻大有人在，我三姐就是此中健者。她不讓我知道，就為我申請到移民名額，美國在台協會通知我後，我大模大樣，理都不理。一拖好多年後，美國在台協會1997年10月29日給了我最後一信，說再等你李先生一年，你再不來，難得的名額恐怕就得取消了。可是我還是不動如山。此中原委，一個插曲道出了一切：1984年，美國在台協會文化中心的頭兒何龍（David Hess）下帖子請我晚飯，我謝絕了，8月16日，我寫了一封信給他，這信清楚說明了我對美國的態度：
你的請帖收到了，抱歉我不能參加你的晚宴。
二十年前（1964年5月18日），我收到發自貴國大使館高立夫（Ralph N. Clough）先生的信，邀請我訪問貴國；兩星期後（1964年6月1日），我又收到林諾華（Lynn H. Noah）先生的信，洽商訪美細節，但是我沒有成行。沒有成行的原因有兩個：一個是國民黨刁難我的出境，他們要跟我「交換條件」才讓我走，但我拒絕；另一個是我對貴國政府一路支持國民黨這種法西斯政權，深致不滿。
當伊朗法西斯政權倒台的時候，霍梅尼（Khomeini）扣留美國大使館人質，種種行為，令美國人不解，美國人說他們對伊朗流亡在外國王的關切是基於人道，但他們忘了，當霍梅尼流亡在外的時候，美國的人道又在哪兒？霍梅尼是美國一路支持伊朗法西斯政權的常年受害者，一朝他得以翻身，他會諒解美國這種偽君子的理由嗎？
同類的例子太多了。中共在延安時代，美國政府是一路支持國民黨法西斯政權的（雖然美國新聞處的主持人費正清〔John K. Fairbank〕等支持中共），美國大使都懶得到延安去；但是，一朝中共得以翻身，美國總統都得勤於上北京了。中共領導人以幾近無禮的大架子「臨時通知接見」美國總統，美國人同樣不解，為什麼？因為美國人又健忘了。
如何學到從被美國間接迫害的人的觀點看事情，對驕傲的美國人說來，太重要了。
如今，在美國在台機構和我相忘二十年後的今天，你老兄走馬上任，想補救你們過去的錯誤，我很欣賞你的慧眼，可是，好像有點太遲了。至少對我來說，除非美國政府徹底放棄支持法西斯政權，我對與美國官員會見，全無興趣……
這封信，可謂「曲中奏雅」地道出了我為什麼不去美國，而所謂出境問題，自此也被我技術擊倒，不成問題了。原因是，我在台灣，一開始是「大有為政府」不讓我走；到頭來「大無為的我」自己也不想走了。早在1982年3月16日，鄭南榕就在《政治家》上發表《李敖，不要走！》最後一段說：
應該禁止李敖出境
這個世代，有財的人想離開台灣，有才如李敖之流的人也想離開台灣，真是時代大悲劇。財、才不缺的李敖先生，應該挺身出來，以心作則，阻擋這種悲劇的潮流。李敖可以站起來，與趙耀東先生一起合唱《歸來吧，台大人！》的高歌；也可以坐下來為我們寫出第一流的自由民主政治的思想文章。
如果我是出入境管理的掌權人，以上這些論點，就會是我「禁止李敖出境」的理由。這些理由，將使我們對歷史有所交代：對列祖列宗保留了一個優秀的文化精英；對子子孫孫留下一個寶貴的文化遺產——李敖。
這是一段很好玩的文字。鄭南榕大概不知道：我從1949年起，三十多年間，根本就是陷在「禁止李敖出境」的狀態的。所以，說三十多年我一直未能離開也未能獲准離開，並沒說錯。至於三十多年後至今我能否出境，我沒辦過手續尚不得而知，照判斷應該可以，因為叛亂犯時代已逝，而我又非通緝犯或什麼犯，也無什麼欠稅記錄等被管制條件，可是我已經準備「『出』此一步，即無死所」了。我這種決定，大概死友鄭南榕最能滿意了。
我在1981年非但不能出境，反倒第二次政治犯入了監獄之境，這次「二進宮」，我被關在土城看守所半年，難友劉峰松崇拜「李敖大師」，寫了一篇《李敖在獄中》，其中寫李敖「囚房權充書房」一段，觀察可謂入微：
囚房才一坪多，裡面有一張鐵床、一個馬桶、一個水桶、一座洗臉台、一張小桌子和一盞二十燭日光燈。大師的囚房跟我們一樣，但經他精心佈置後，就是不一樣。第一，他土灰色的四面牆，都貼上白紙，就連鐵床下，也用白紙隔開，看不見床下的齷齪；房間潔淨，光線充分。第二，他在洗臉台上搭架子，放好幾包衛生紙和一些雜物，充分利用空間。第三，他有好幾套書，如《二十四史》之類，擺放在靠窗的一面，有如小書櫥。第四，他的棉被有三尺高，占鐵床的三分之一；用紙箱、棋盤（摸來的）做的桌子及兩個放剪報資料的紙箱，又佔鐵床的三分之一，室內顯得特別狹窄。
看大師的囚房，讓人有無地容身之感，不過物品雖多，卻不凌亂，凡去過他家的，都能想像到他是怎樣地把兩坪不到的小囚房，變成雅致的小天地。他的囚房不僅洋溢著書香，也散發著一股莊嚴而不可侵犯的正氣，任何人參觀他的囚房，都要肅然起敬的；據說每週抄房時（檢查房間），「戴帽子的」（獄吏）都不敢弄亂他的房間。李敖雖坐牢，並不失大讀書家的風格和氣派。
劉峰松又寫「應有盡有」一段：
牢房不准有鏡子，他有；不准有刀片，他有；不准有剪刀，他有；不准有訂書機，他有；不准看《聯合報》，他看；買不到糨糊、塑膠帶、白紙、長尺……他買到，可說應有盡有。
他不會客、不接見，哪來這麼多「家當」呢？原來他有秘密管道，不僅利用它輸出，也利用它輸入。這條管道（看守所所長）朱光軍查不出，我看不是李敖神通廣大，而是朱光軍顢頇無能。莊嚴的監獄，有這樣的漏洞，朱光軍該羞羞。
其實我的「秘密管道」主要都是透過難友石柏蒼來的，石柏蒼以法院書記官坐冤獄，白天到辦公室做外役，每天下班就「老鼠搬家」般地向我通風報信，並且支援物資，他的神通，廣大極了。劉峰松又寫「回答田中的話」一段：
日本浪人田中因涉嫌殺死情婦，被老K判極刑，但纏訟多年不得定讞。他跟我們同捨，有一天放封時，向大師說：「李先生，李先生，你看你們中國人怎麼搞的，我已經更審四次了，還不能確定。」大師正色回答他：「你們日本還有四十幾年沒定讞的呢，這有啥稀奇！」田中無辭以對。
李敖批判老K，叫老K憎惡，但對外發言不失立場、不失國格，給老K面子，理應給他一紙「愛國」獎狀。
劉峰松以「朱光軍暈頭轉向」一段收尾：
大師出獄後，以洋洋數萬言抖出黑獄內幕，觀察之仔細，記載之翔實，令人歎為觀止。李敖的旋風造成震撼，令朱光軍頭痛，令朱光軍吃不了兜著走。據說有電視台、廣播台及報社記者去採訪、去照相，又有檢察官去求證，朱光軍忙著掩飾，忙著「應變」，忙得暈頭轉向。據後來到北監服刑的難友告訴我，朱光軍的措施有：
集合孝一捨全體住客講話，要他們自動繳出李敖（送給他們）的「家當」，如鏡子、梳子、剪刀等，如不繳出，抄到必嚴懲。
把李敖的「三十二」房重新粉刷一新，才讓記者照相；採訪照相時，嚴令樓上不准用水，以防漏水，洩露偷工減料的真相。
把中央台的鞭子藏起來，暫時不准打人。
把百貨一律暫時降價，調整到合理、見得人的價格，如氈子由五百元降為三百元。
把孝一捨主管劉台生暫調病捨，避避風頭。
檢察官詢問古永城「綁擔架」的事，古某事前已被「打點」過。
孝一捨放封時間不准交談，以免交換情報，擴大事態。……
照情理說，李敖坐牢期間，上自法務部次長，下至朱光軍，都待李敖不薄，給他新被單，給他新氈子，給他保溫杯，給他熱水澡，給他燉排骨，大小牢頭又常去拜碼頭，去噓寒問暖，去效犬馬之勞，大家都是恭恭敬敬、客客氣氣的，可是李敖一出獄翻臉不認人，抖出黑獄內幕，造成天翻地覆的大震撼。也許世人要罵李敖：「這樣的傢伙、這樣的傢伙……」，然而我們知道：李敖爭的是社會公義，是是非，他不是一個容易被小人包圍、被小人灌迷湯、被小人收買的人；像這樣一個不惜衝破人情藩籬、提倡社會公義的人，當今台灣有幾個？能不敬為國士，為他鼓掌歡呼嗎？
劉峰松的描寫很有趣，最簡單的結論是：為了正義，李敖是軟硬都不吃的。難怪朱光軍做夢也搞不清怎麼會碰到這種囚犯！他送我出獄的時候，跟我拉手，雙方都笑嘻嘻的呢，怎麼李敖一回台北，就翻了臉了？夏光天後來告訴我，朱光軍一喝了酒，就發酒瘋吵著要找流氓教訓李敖，我想他真被國民黨偽法務部長李元簇罵慘了。我出獄當天，1982年2月10日，就發表文章攻擊監獄黑暗，引起軒然大波和監獄逃亡的暴動。第一是2月27日花蓮看守所喧鬧事件。由二十七名人犯鬧起，看守所急電警察局請求協助，警察全副武裝趕到，才告平定。第二是3月8日新竹少年監獄暴動事件。一千四百七十六名人犯全體出動，監獄急調鎮暴部隊（三個中隊）及新竹警方各分局人員彈壓，才告平定，暴動長達二十四個小時，監獄設備幾乎全毀。「法務部」大官人（監所司副司長王濟中）公開發表談話，說作家李敖出獄寫文章，引起社會大眾注目，給了少年受刑人心理上的後盾，認為鬧得愈大，愈能得到社會大眾的支持與同情。所以，都是李敖惹出來的云云。同時，國民黨偽行政院長孫運璿在「行政院」院會裡已對獄政表示疑慮，李元簇在「院會」裡、「立法院」裡、報章上、電視上，不斷對我「點名批判」，官方為封殺我，盡量一面倒傳播批判我的，而不傳播我的。但官方的一些議員，為了選票及其他，卻忍不住這個好題目，「立法院」中游榮茂、李志鵬等國民黨議員，提出質詢，黨外的當然也不放過。最好玩的是國民黨「立委」溫士源（司法委員會召集委員），他在2月23日書面質詢，反對對李敖做「跡近英雄式的報道」，「對青少年人來說，各報雖無獎勵犯罪之意，亦恐有導引不當行為之可慮」……老賊之言，煞是有趣。
我這次坐牢，因有石柏蒼的秘密管道，所以明著概不寫信，但有一次例外。我跟胡茵夢離婚後，林清玄、陳彩鑾介紹了一位漂亮的小女生武慰先做我的女秘書，她後來考取空姐，吵著要到牢裡來看我，我在牢裡是不見人的，但漂亮女生例外，所以武慰先要來，我自樂見。有這樣一封信是透過正式寫信方式寄出的：
慰先：
你前後七封信，全收到了。這是我七十一天來第一次寫信，就是寫給你，這種獨受青睞的「殊榮」，總該使你收不到回信的難過，得到補償了吧？
我不寫信的原因之一，也是因為照「羈押法」第38條「准用監獄行刑法」第62條規定，在押被告（含分監受刑人）通信對像以最近親屬及家屬為限，所方發給我通信對像調查表，很寬大地告訴我所謂最近親屬及家屬，如果我填上「未婚妻」就可以任我發信。我感到他們很會解釋法律，中華民國大法官先生實在該向他們學習。
你說你又恢復了長髮，我很興奮，你的短髮有它的美，長髮一定另有一種美，為了看看你的長髮，你22日來的時候，你可以告訴他們：「那個不見人的李敖，今天同意見我，請你們把他提出來。」你若成為第一位見到我的人，這是你另一次的「殊榮」。
「不畏浮雲遮望眼，自緣身在最高層。」這是王安石的自負，也是我的。我斗室獨居，乏善可陳，無惡可做，只是努力看書而已。有時半夜醒來看書，夜已微涼，披上你我共有的那件褐色夾克，恍然如昨。這次「二進宮」，使我對人情冷暖有全新拷貝的瞭解，現在是「以牢為家」，將來真要「以家為牢」了！
代我向伯父及各位問好。
敖之1981年10月19日夜
這封溫馨的短信，是獄方唯一能檢查到的李敖親筆了，我把它收在這裡，留做「二進宮」的一項紀念。
如上所述，與胡茵夢扯在一起的後遺症很多，最後一個後遺症是我寫作甚稀，原因是花了太多時間在女人身上。不過這次坐牢前後，我完成了「李敖全集」八冊，也算是具體「成就」，事實上這全是葉聖康、林秉欽的功勞。「李敖全集」出版時，遭到官方的干擾，內情有趣，值得一述。原來國民黨鉗制言論自由有一特色，就是以武夫（尤其政戰系統的武夫）審查書刊。按說書刊縱該審查，似乎也輪不到武夫者流來勞過界，但是國民黨的武夫則不然，從外放做「大使」到內定掌華視，赳赳者天下皆是也，又何況審查書刊哉？自從在台灣寫文章起，我就與國民黨武夫結不解緣。國民黨審查書刊，單位不少，但總其成者，則在警備總部。警總武夫皆蠻幹派，武而不三思者也。他們搗我的蛋，一直藏身在暗處。但是因緣際會，倒也有露白者二起。第一次是1966年警總搶劫我的「告別文壇十書」後，由李國瑾中校出面，與我料理後事。李國瑾是王昇紅人李明的弟弟。李明程度本來奇差，李國瑾更不如乃兄，且面目可憎，一如乃兄。為人又陰險討厭，一如乃師王昇。給人印象，惡劣已極。希特勒說他寧願拔掉兩顆牙齒，也不要再和佛朗哥見面，我則願意拔掉四顆，此生再也不要遇到這種政工人員！第二次是1980年。那年四季出版公司準備出版《李敖全集》第一梯次六巨冊。在頭兩冊付排的時候，警備總部負責書刊審查的人，找到了四季老闆葉聖康，交給他一紙書單，提醒他書單上的李敖著作不要出版，因為都是查禁在案的。並向他表示，願意與李敖先生見個面。在葉聖康的安排下，我與這位負責書刊審查的人吃了一頓午飯。這人自稱叫張烈，是位老先生。他說負責書刊審查的人多是政工干校出身的，他自己也是，但他不是干校學生，而是干校教職員，負責書刊審查的，包括警總政六處處長曹建中，都是他的學生。他說警備總部的人，沒人敢跟李敖接觸，他卻不怕，所以特地吃飯聊聊，以減少誤會。他所說的警總的人沒人敢跟我接觸之事，我也早有所聞，看他言之鑿鑿，我也笑而信之。那頓飯局，只有三個人：我、張烈和他帶來的一位朋友。這位朋友我本以為是來「監視」他的，但是看到他們互相交換唱酬的詩稿，似乎又純粹是他的朋友。他們把詩稿拿給我看，上面寫的都是濫套的舊詩，不過令我驚訝的是：軍中卻也有這麼以守舊的方式附庸風雅的人！一頓飯吃下來，聊得倒也毫無拘束。張烈很客氣地轉告軍方的查禁標準，除了政治上的禁忌外，「不要提到生殖器，也不要罵孔子。」關於書單上查禁的李敖著作，因為查禁在案，書名相同的絕對不要再用、篇名也要改過。所以《李敖全集》為了減少查禁的麻煩，把《李易安再嫁了嗎？》改名為《李清照再嫁了嗎？》以為掩耳盜鈴；關於「不要提到生殖器」，把文中「老祖宗們生殖器崇拜（phalliciam）」的字眼，改成「老祖宗們什麼什麼崇拜（phallicism）」的字眼，以為掩中文不掩英文。……張烈口中的這些國民黨查禁標準，最令我驚異的，不是別的，反倒是他說的那句「不要罵孔子」的道統觀念。對孔子，早在幾十年前的五四時代，大家就有了「罵」的自由，像《吳虞文錄》等是；早在千百年前的戰國時代，大家就有了「罵」的自由，像《莊子》等是。可是到了台灣，國民黨卻反動得連孔子都碰不得了。這種大開倒車，倒真令人稱奇呢！不過，有趣的是，這位張烈老先生本人，雖然言之諄諄，但在執行起來，卻也自形藐藐。大概一頓午飯建立了他跟我的交情，幾個月後，他突然打了一個電話給我，說為了金庸的書，他跟曹建中起了衝突，甚至發生了武鬥，他氣得不幹了，現在到「中國廣播公司」做事去了。臨移交前，他把《李敖全集》全六冊都放行了。所以，我如果在出書前內容有所「插播」，也沒有什麼關係了。我很感謝他這一「密電」。原來禁與不禁之間、找與不找麻煩之間，還可因人而異，有這麼大的分寸，警總之有彈性，固似女人之褲腰帶也！張烈以後，警總又藏在暗處，做「狗屄衙門」——只進不出了。照例每月查禁我的書，累積起來，有九十六冊，足可進「吉尼斯世界紀錄」而有餘。其間葉聖康有一天碰到曹建中，曹建中跟他大罵李敖。葉聖康說：「處長對李敖恐怕有所誤會，何不由我安排，見見李敖？」曹建中聞言色變，連忙搖手說：「我才不要見他，沒有人敢見他。見過他，他什麼都給你寫出來，你洗也洗不清！」我聞之大笑。
《李敖全集》雖然刀下餘生，可是序卻沒有了。本來是有序的，那篇序標題《（李敖全集）自序》，在全集還沒印好前，先發表在《四季》雜誌第十期（1980年4月20日）裡。不料一發表後，由於措辭激烈，被查禁了，四季出版公司為了全集得以順利出版，就在「李敖全集」前面，刪除了這篇序，所以，四季版《李敖全集》，是一部沒有序的大書。序和正文，身首異處，相隔千里，正像關老爺的下場一樣！
我第二次政治犯出獄後，帶頭搞黨外雜誌，帶領鄭南榕、陳水扁等，風起雲湧，跟國民黨的武夫連續鬥法十年之久，在鬥法過程中，我甚至挖到並公佈由警備總司令陳守山上將主持、由曹建中記錄的《現階段加強文化審檢措施暨現存問題座談會記錄》，令他們大吃一驚，一起開會的出席人員，從「國防部」總政治部主任許歷農上將，到國民黨「中央文工會」主任宋楚瑜等發言，均赫然在焉。有趣的還在後頭，十多年以後，國民黨從李登輝當道成主流派以後，當年當道的主流派，死的死、老的老、失勢的失勢、下台的下台，慢慢形成另一族群，我戲呼此輩「漸成人形族」——原來過去做當道的主流派時，跟著主子做壞事，不成人形，現在式微了、官丟了，天良漸現，所以漸成人形了。舉幾個例子，我曾寫文章罵華視的頭子武士嵩中將，一天他到我住的大樓來看我的鄰居何世禮上將，電梯中碰到我，拉住我手向我表示佩服，並大罵國民黨當權派，我在旁一直笑。比武士嵩更精彩的是許歷農上將。他當年做「國防部」總政治部主任時，是查禁李敖之流言論的主持人，固我宿敵也。不過此人人品不錯，是個值得尊敬的敵人。他的毛病是頭腦跟不上，以致把「救國救民」和「做蔣家鷹犬」分不開來。後來李登輝當道了，他毅然脫離國民黨，加入新黨，光明正大，挺身而鬥，不失為一條漢子。他到我家來拜訪兩次，備致拳拳。1998年汪俊容和我同過六十三歲生日，在飯店吃飯，我的好鄰居張善惠、林麗蘋在座，許歷農也來了。席上我說了一個故事。我說楊西昆「大使」從南非回來，一天帶了一根非洲朋友送他的雕刻精美的象牙給我，對我說：「二三十年來我一直佩服李先生，但因有公職在身，不便表達這一佩服，現在退休了，人也快八十歲了，特地到李先生府上，送上這一紀念品，表達我二三十年來一直藏在心裡的心意。」後來楊大使請我吃過幾次飯。有一次吃飯時，他的夫人對我說：「告訴李先生一個秘密：這次選舉，我們整個大樓住戶，全體都會投新黨的票，雖然我們現在還是國民黨。」我答道：「楊『大使』肯投新黨的票，是很了不起的變化。可是容我說一句：楊『大使』暗中投一票也只是一票而已。如果楊『大使』肯公開站出來，像許歷農那樣公開站出來，以楊『大使』的地位，登高一呼，可以為新黨帶來多少票呀！楊『大使』可願考慮考慮棄暗投明啊？」楊西昆在旁聽了，笑著搖手，說：「許歷農那樣明著干，我們可做不來。」我講了這故事，又把話題轉到汪俊容的老丈人、阮雅歌的爸爸阮成章中將身上，我說：「調查局的老人對沈之岳、阮成章前後兩任局長評語是：『沈之岳人面獸心，阮成章獸面獸心。』——因為阮成章長得濃眉凶眼、面目猙獰，所以人以獸面描寫他。」我對阮雅歌說：「雖然你老太爺也和許老爹一樣性好革命，但碰到李登輝而能繼續革下去的將軍們，今天只剩許歷農啦。」這頓飯後幾天，許歷農夫婦請我們吃飯，阮雅歌笑著對我說：「大師呀，你要原諒我，我代你說了謊話！我爸爸躺在病床問我李敖對他的印象，我扯謊說：李敖說沈之岳人面獸心，阮成章獸面人心。我爸爸聽了一直點頭笑。大師呀，你可要原諒我。」我說：「等他病好了，真的能追隨許老爹脫離國民黨，我就真的可追認這些話啦！」——許歷農的轉變，使我感到：真的、真的、真的有些國民黨大員，當他們不再是當道的主流派以後，他們有的真會跑來認同李敖了，他們對我「相逢一笑泯恩仇」，這種高速進步，多有趣啊！