宋高宗的本職工作當然是做皇帝，在勞苦大眾看來，當皇帝是個輕鬆活，其實不然，光是整天看著一堆堆來自全國各地的奏折，估計都要頭大，加上還要和一群帝國頂尖的人才鬥智鬥勇，回到後宮還有一群漂亮女人爭風吃醋，那都是讓人操碎心的事情。於是，宋高宗干了三十來年的皇帝，五十來歲的時候就主動要求退休了。
那做皇帝之餘，宋高宗還幹些什麼，玩些什麼呢？
宋高宗很愛玩鳥。這可不是胡說。從還是康王的幸福時代，趙構就很喜歡玩鳥了。趙構玩鳥，也和常人一樣，喜歡鸚鵡、鴿子什麼的。靖康之變後，宋高宗一路逃亡，來到了建康。剛歇息下來，就看到一隻大鸚鵡從江北飛過來，還停在趙構的寢宮前面，大叫「萬歲」。太監伸出手，那鸚鵡竟然就落了下來，太監仔細一看，鸚鵡的腳上竟然還有一個小小金牌，上面刻著「宣和」兩個字。原來，這個鸚鵡是原來汴梁皇宮中養的，竟然不遠千里，追隨宋高宗飛到了江南。太監找啦一個鳥架子，鸚鵡就飛了上去，一點都不害怕。等到宋高宗吃飯的時候，因為是臨時的行宮，沒有音樂伴奏，鸚鵡就大叫卜尚樂何在，叫了很久，看到沒人回應，鸚鵡又說，卜娘子不敬萬歲。原來，在宋徽宗時代，每次皇帝吃飯，那都是要奏樂的，而領班的樂師就是卜娘子。聽到鸚鵡這麼說，趙構想起了當初的幸福童年，看看自己萬里逃亡的狼狽樣子，也不知道哪一天才能躲過金兵的追殺，不由得淚眼朦朧。等到宋高宗到了臨安之後，這個鸚鵡忽然死了，宋高宗還特意寫了一篇祭文悼念，可見情誼深長。
不過，玩鳥的宋高宗也有被鳥煩的時候。那一年，宋高宗繼續逃跑，來到一個叫做鳳凰山的地方，鳥特別多，成千上萬隻。宋高宗看到樹林比較多，好，很隱蔽，加上鳳凰山附近有個大糧倉，吃穿不愁，就住了下來。可是晚上還好，中午實在沒法子午休。要是畫眉黃鶯這樣叫聲動聽的鳥還罷了，這樹林裡多數的鳥都是烏鴉，叫聲那個難聽。
白天，鳥群鋪天蓋地飛出去啄食，辦完鋪天蓋地飛回樹林。宋高宗在汴梁皇城裡哪裡受過這樣的聒噪，就讓所有太監拿著彈弓打鳥。太監們那個辛苦啊，為了皇帝睡好覺，幾百人不眠不休的打鳥。打死了幾千隻鳥，總算是把鳥群趕到了十五六里外。宋高宗高興了，獎賞太監辦事得力。可沒想到十來天過去，鳥群又飛了回來。這也是沒辦法的事情，誰讓皇帝霸佔了鳥群的糧食呢？
不過，被鳥群煩還不算什麼，有時候一些可惡的書生還借鳥生事，就更讓人鬧心了。
在各種鳥裡面，宋高宗最愛的還是鴿子，宋朝人把一種特別擅長飛翔的鴿子叫做鵓鴿，《水滸傳》中燕青有種摔跤絕招就叫做「鵓鴿旋」。宋高宗不但讓人養鴿子，還親自去放鴿子。堂堂一國皇帝，竟然整天侍弄小鳥，實在不像話，有個書生就寫了一首詩歌：「鵓鴿飛騰繞帝都，暮收朝放費工夫。何如養個南飛雁，沙漠能傳二帝書。」言語當中譏諷宋高宗玩鳥喪志，忘記了父兄還在北方受苦。在史家看來，這個書生自然是心憂天下，關心社稷，可在宋高宗本人看來，這個書生未免大煞風景，不過就是玩個鴿子，有必要這麼上綱上線嗎？不過，宋高宗作為南宋的開國皇帝，還是有幾分氣度，不但沒有怪罪那個書生，還立刻召見，給了書生一個官做。
不過，以後宋高宗還玩鳥嗎？史書上沒說繼續玩，卻也沒說不玩。八成宋高宗在風頭過後，還是會玩的。
除了養鳥，宋高宗還愛下棋、彈琴。
有個叫做沈才之的人，棋藝超群，是江南國手。宋高宗在做康王的時候，在皇子之間，若是比起書法、繪畫，那比較低能，於是在宋徽宗面前比較抬不起頭，可是下棋還是一把好手。宋高宗還和許多大臣下棋，那些人都是官場老油子，看在趙構是康王，後來是皇帝的面上，都會讓趙構略勝一籌，搞的趙構就更加飄飄然，覺得自己天下第一了。來到了江南，聽說了沈才之的大名，趙構好勝心起，想和江南國手鬥一鬥。沈才之本是一書生，沒什麼心機。有一天，君臣二人下棋，宋高宗自認為下了一步妙棋，就說：「須仔細！」你小子小心點，我出高招了。沒想到沈才之立刻回答：「念茲在茲。」
這句話出自《尚書》，本來是說堯帝和舜帝聊天，說起名臣皋陶，都念念不忘。而沈才之說這句話的意思就更好玩了，他說，我想你下這步棋，你就下了這步棋。趙構你不是認為自己下得挺好嗎，其實一切都在我的掌握之中。宋高宗一聽大怒，這小子馬上就要贏自己了，怎麼收拾這小子呢？宋高宗就說：「技藝之徒乃敢對朕弄經語。」你小子不過就是會一點下棋的小把戲，這樣卑賤的人怎麼敢對我堂堂天子咬文嚼字，說經書中的語句呢？於是以大不敬的名義，把沈才之拖下去用竹板打了二十下屁股。
不過，宋高宗也並非不講理的人，只是做皇帝太久了，說一不二成了習慣，一旦威嚴受到觸犯，那自然而然就會雷霆大怒，也算是個條件反射吧。不過，在發威之後，趙構也並非得理不饒人，只要有合適的機會，也會就坡下驢。
宋高宗雖然當皇帝，可是生活一直很節儉，吃飯的時候，也不過就是幾個菜，在眾多食物中，宋高宗最喜歡吃的是有汴梁風味的餛飩，有一位來自汴梁的老廚師特別受寵。可有一次，老廚師一時馬虎，還沒有煮熟就給皇帝端了上來。趙構一口咬下去，見到紅紅的肉絲，還是生的呢，就下令把廚師下到大理寺問罪。本來宋高宗也沒想處死廚師，可是下面的人看到是皇帝特意交辦的差事，皇帝都討厭這個人，那還不是死路一條，就給定了死罪。
廚師的親人到處托關係，總算有個優人(演員)答應幫忙。可是怎麼幫呢，直接求情肯定不行，卑賤的戲子根本沒有資格求情啊。最後優人想出一個妙計，等到宋高宗想要聽滑稽戲了，優人就說了一個故事，結果就把人救了。故事說，有兩個讀書人路上相遇，互相問對方的年紀，一個說是甲子年生人，一個說是丙子年生人。優人說完就說：「此二人皆合下大理。」這兩個人應該抓到大理寺去。宋高宗就奇怪了，問下生辰怎麼就要下獄呢？優人就說：「夾子(甲子，指宋代有肉的煎餅)餅子(丙子，指宋代的水煮的麵餅)皆生，與混沌不熟同罪！」宋高宗聽後哈哈一笑，特意下旨把廚師給放掉了。
不過，臣子和皇帝交往，就需要加倍小心，更不要說是卑賤的藝人(廚師也算個手藝人吧)了。有一個琴師叫做黃震，棋藝高超，宋高宗非常喜歡，經常把黃震叫到御前，每次聽黃震彈琴之後，都賞賜一兩黃金，半年下來，黃震發了大才。可是，黃震卻不讓自己的兒子學琴，改學別的手藝。別人就奇怪了，說，難道你的兒子太笨，學不來琴嗎？黃震長歎一聲，說：「幾年幾世，又遇這一個管家。」黃震的心態很好，多數人都會貪得無厭，希望自己的好日子天長地久，希望自己的兒孫繼續自己的風光。
可黃震卻明白，今朝遇上宋高宗如此欣賞他的琴藝，一方面是他的琴藝確實不錯，另一方面卻是自己實在幸運。確實，之後的宋孝宗和宋高宗的喜好就完全不同。做人有黃震這個覺悟，也算是超凡脫俗了。