由唐至宋，中國的人文版圖漸漸南移，而海南島首先領受的卻是一些文化水準很高的被貶文官，他們為這個島留下了很多東西。
例如，李德裕是唐朝名相李吉甫的兒子，自己也做過宰相，在宦海風波中數度當政，最後被政敵貶到海南島崖州（即今瓊山縣）。這麼一個高官的流放，勢必是拖家帶口的，因此李德裕的子孫就在海南島代代繁衍，據說，今天島上樂東縣大安鄉南仇村的李姓基本上都是他的後裔。在島上住了一千多年，當然已經成了再地道不過的海南人，這些生息於椰林下的普通村民或許不知道，他們家族在海南的傳代系列是在一種強烈的異鄉感中開始的。
從李德裕留下的詩作看，他也注意到了海南島的桄榔、椰葉、紅槿花，但這一切反都引發起他對故鄉風物的思念，結果全成了刺心的由頭。他沒有想到，這種生態環境遠比他時時關切的政治環境重要，當他的敵人和朋友全都煙消雲散之後，他的後代卻要在這種生態環境中永久性地生活下去。他竟然沒有擦去淚花多看一眼，永遠的桄榔、椰葉、紅槿花。
海南島人民把他和其他貶謫海南的四位官員尊稱為「五公」進行紀念，認認真真造了廟，端端正正塑了像，一代又一代。「五公」中其他四位都產生在宋代，都是為主張抗金而流放海南的，而且都是宰相、副宰相的級別。一時間海南來了那麼些宰相，煞是有趣。主張求和的當權者似乎想對這些慷慨激昂的政敵開個「小玩笑」：你們怎麼老是盯著北方疆土做文章，沒完沒了地念叨著抗金、抗金？那就抗去吧—— 一下被扔到了最南面。
這「五公」先後上島後，日子難過，心情不好，成天哀歎連連。但是，只要住長了，就會漸漸愛上這個地方。宋朝的副宰相李光在這裡一住十幾年，大力支持當地的教育事業，希望建設一個儒學小天地，甚至幻想要在瓊州海峽架起一座長橋，把海南島與大陸連接起來。
「五公祠」二樓的大柱上有一副引人注目的楹聯，文曰：
唐宋君王非寡德，
瓊崖人士有奇緣。
意思是，這些人品學識都很高的人士被流放到海南島，從我們的眼光來看，可以不說唐宋君王缺德，而是我們海南島的一種莫大緣分，要不然我們怎麼結交得了這樣的大人物呢！這番語句，出於海南人之手，真是憨厚之至，我仰頭一讀就十分感動。
在被貶海南島的大人物中，比「五公」更有名的還是那位蘇東坡。蘇東坡流放到海南島時已六十多歲，原先他總以為貶謫到遠離京城、遠離故鄉的廣東惠州也就完了，辛辛苦苦在那裡造了一棟房，把兒孫一一接過來聚居；誰知剛喘一口氣，又一聲令下要他渡海。蘇東坡想，已經這麼老了，到了海南先做一口棺材，再找一塊墓地，安安靜靜等死，葬身海外算了。他一到海南，衣食住行都遇到嚴重困難。他自己耕種，自己釀酒，想寫字還自己制墨，憂傷常常爬上心頭。然而，他畢竟是他，很快在艱難困苦中抬起了專門發現生趣、發現美色的雙眼，開始代表中華文化的最高層次，來評價海南島。
他發現海南島其實並沒有傳聞中的所謂毒氣，明言「無甚瘴也」。他在流放地憑弔了冼夫人廟，把握住了海南島的靈魂。由此伸發開去，他對黎族進行了考察，還朝拜了黎族的誕生地黎母山。
蘇東坡在海南過得越來越興致勃勃。他經常喝幾口酒，臉紅紅的，孩子們還以為他返老還童了：
寂寂東坡一病翁，
白鬚蕭散滿霜風。
小兒誤喜朱顏在，
一笑那知是酒紅！
有時酒沒有了，米也沒有了，大陸的船隻好久沒來，他便掐指算算房東什麼時候祭灶。因為他與房東已成了好朋友，一定能美滋滋地飽餐一頓。
他還有好幾位黎族朋友，經常互相往訪。遇到好天氣，他喜歡站在朋友的家門口看行人；下雨了，他便借了當地的椰笠、木屐穿戴上回家，一路上婦女、孩子看他怪模怪樣哈哈大笑，連狗群也向著他吠叫。他衝著婦女、孩子和狗群發問：「笑我怪樣子吧？叫我怪樣子吧？」
有時他喝酒半醉，迷迷糊糊地去拜訪朋友，孩子們口吹蔥葉迎送，他只記得自己的住處在牛欄西面，就一路尋著牛糞摸回去。
蘇東坡在海南島居留三年後遇赦北歸，歸途中吟了兩句詩：
九死南荒吾不恨，
茲游奇絕冠平生。
海南之行，竟是他一生中最奇特，也最有意思的一段遭遇。文化大師如是說，海南島也對得起中國文化史了。
對海南島來說，無論「五公」的恨，還是蘇東坡的冤，它都不清楚。它只有滋潤的風，溫暖的水，暢快的笑，潔白的牙齒，忽閃的眼。大陸的人士來了，不管如何傷痕斑斑，先住下，既不先聽你申訴，也不陪著你歎息，只讓你在不知不覺間稍稍平靜，然後過一段日子試試看。
來了不多久就要回去，揮手歡送；盼不到回去的時日，也儘管安心。回去時已經恢復名譽為你高興，回去時依然罪名深重也有輕輕慰撫。
初來時是青年是老年在所不計，是獨身是全家都可安排。離開時要徹底搬遷為你挎包抬箱，要留下一些後代繼續生活，更悉聽尊便，椰林下的木屋留著呢。
——這一切，使我想到帶有母性美的淳樸村婦。