胡頌平《胡適之先生晚年談話錄》1960年3月10日條下，記錄雷嘯岑去拜訪胡適，胡適「談起《自由人》上有些文章太不行了，是不是為了推銷的關係？先生（指胡適）的意見，寧可減低推銷，不可降低標準。」事實上，胡頌平這一記錄太潦草了。潦草的程度，一對照起雷嘯岑的回憶，便可明白。
1964年8月19日，雷嘯岑在《自由報》上寫《我的社會生活》，裡面說：
香港是外國殖民地，也是一個本身沒有什麼生產力，而專靠產品加工、轉口以維生存的工商業都市。一般市民對政治問題多不感興趣，他們每天看報紙的唯一注意之點，就是社會新聞和武俠、偵探小說之類，關於政論文字大家漠不關心。然《自由報》的內容，是以政論文字為中心的，這跟香港大多數民眾的胃口不相投合，就生意經設想，可說是先天的基本缺點，然就文化思想鬥爭關係看，實屬應有之義。在創刊伊始，為著遷就現實環境，曾刊載了一篇武俠小說，等我到台灣晤及胡適之先生時，他以嚴肅的態度對我說道：「為什麼你辦的報，亦登載那種時代落伍的武俠小說呢？」答以旨在應付環境，希望報紙能打開銷路而已。他又說：「你是為理想而辦報呢？抑是為營利而辦報？我相信你的目的是屬於前者，那麼，以有限的寶貴篇幅，似不宜刊載與現代文化思想潮流相背馳的文藝作品吧？」我無詞以對，馬上把武俠小說停刊了。幸而這篇小說乃是好友彭浩一兄所寫，而且是義務幫忙性質，聲明不受酬的，因而彭兄很諒解我，無所容心。但我對適之先生的關懷指教，銘感殊深。
提倡文學革命的胡適，是看不起武俠小說的。每在有人提起武俠小說，他就連說：「下流！下流！」意思是這種東西是不入流的、為有識有水準的知識分子所不取的。他勸雷嘯岑不要刊登這種「與現代文化思想潮流相背馳」的「落伍的」東西，縱使減少了報紙的銷路，也應在所不惜，是一種很講原則的勸告。我常說現代人思想的退步，許多方面還不如五四，下作的知識分子寫武俠、看武俠，便是其中之一。看到胡適對武俠小說的態度那樣明朗、那樣堅定、那樣不妥協，甚感此公先得我心，所以排比兩段資料，綜述如上。1987年2月11日