漢光武整頓內政是從兩方面著手：一方面節省朝廷的開支，一方面減輕老百姓的負擔。打了這麼多年仗，各地人口減少。他就下了一道詔書，要按著實在的情形合併一些縣，裁減一些官員。這麼一來，人口不多的縣合併了四百多個，十個官吏裁去了九個，只留下一個，公家的開支就大大地減少了。就在那一年年底，漢光武又下了一道詔書，說前幾年軍費大，田租一直是按產量的十分之一徵收的，現在糧食湊合著有些積蓄了，從今年起恢復原來的制度，仍舊徵收三十分之一，這麼一來，大大減輕了老百姓的負擔，漢光武的皇帝座位也就穩當了。
漢光武一面整頓內政，一面盡力搜羅人才。他打發使者到各地訪問名士，邀請他們到朝廷裡來做官。可有的名士有名士的怪脾氣，他們愣不來。漢光武也有他的怪脾氣，人家越不肯來，他越要人家來。
太原有個名士叫周黨，禁不住使者的催促，只好坐著車馬來了。他穿著舊衣服，戴著破頭巾，到了朝堂上，氣呼呼地往地下一趴，怎麼也不肯磕頭，更別說叫一聲「皇上」了。漢光武請他做宮，周黨才不希罕做官吶。他說：「我是個鄉下老百姓，不懂朝政，放我回去吧！」大臣們見他這麼傲慢，都很不服氣。漢光武扭不過他，只好說：「從古以來，就是多麼賢明的君王，也有人不肯做他的賓客。周黨不肯做官，各人有各人的心意，送他四十匹帛，讓他回去種田吧！」周黨總算還來了一趟。還有的假裝害病，乾脆不來；有的隱姓埋名，逃到小村裡去了。這些人中間，最出名的要數嚴光了。嚴光也叫嚴子陵，是會稽人，跟漢光武同過學，兩個人挺要好。漢光武當了皇帝，就老想著他。可人家早就更姓改名隱居起來了，誰知道上哪兒去找吶？漢光武就把嚴子陵的長相詳詳細細說了一遍，吩咐畫工畫一張像。畫工按照漢光武說的，畫了個大概，漢光武拿來一看，還真是個嚴子陵，就叫畫工照樣又畫了幾張，派人把這些畫像分送到各郡縣，叫官吏和老百姓尋找嚴子陵。隔了不多日子，齊國上書給漢光武，說那邊有個男子披著羊皮，老在河岸上釣魚，相貌有幾分像，可不知道是不是他。漢光武馬上派使者準備了上等的車馬，到齊國去接他。
使者見了嚴子陵，奉上禮物，請他上車。嚴子陵推辭說：「你們看錯了人啦。我是打魚的，不是做官的。禮物拿回去，讓我安安靜靜地過日子吧。」使者哪兒肯聽，死氣白賴地把他推上了車，飛一般地送到京都來了。漢光武特意準備了一所房子，派了好些手下人去伺候他，還親自去看他。嚴子陵聽說他來了，臉朝裡躺在床上，只裝不知道。漢光武走過去，摸摸他的肚子說：「喂，子陵，你怎麼啦，不願意幫幫我嗎？」嚴子陵翻過身來，盯了他一眼，說：「各人有各人的心意，你逼我幹麼？」漢光武歎了一口氣，說：「子陵，我真不能收服你嗎？」嚴子陵聽了，更不理睬他。
漢光武再三請他搬到宮裡去，對他說：「朋友總還是朋友吧。」嚴子陵這才答應他到宮裡去一趟。那天晚上，漢光武跟他睡在一起。嚴子陵故意打著呼嚕，把大腿壓在漢光武身上，漢光武就讓他壓著。第二天，漢光武問他：「我比從前怎麼樣？」嚴子陵回答說：「好像好一點。」漢光武樂得大笑起來，當時就要拜他為諫議大夫。嚴子陵怎麼也不幹。他說：「你讓我走，咱們還是朋友，你逼著我，反倒傷了和氣。」漢光武只好讓他走了。
嚴子陵已經露了面，不必再更姓改名了。他就回到家鄉富春山〔也叫嚴陵山，在浙江省〕，種種地，釣釣魚，過著悠閒的生活。富春山旁邊就是富春江〔這條江上游叫新安江，中游叫富春江，下游就是錢塘江〕，江上有個台，據說就是當年嚴子陵釣魚的地方，所以稱為嚴子陵釣台。嚴子陵不願意做官，他的清高的名望越來越大；漢光武能夠這麼低聲下氣地對待嚴子陵，他的謙恭下士的名望也越來越大。這一來，兩個人的地位都抬高了。漢光武收服不了名士，可對那些有戰功的將軍們，倒很有一些辦法。