在福建延平府南平縣儒學擔任教諭一職，是海瑞仕途的起點，而他在這一時期獲得的「筆架博士」的外號正好彰顯了他為人為官的性格特徵，他後來的仕途發展和受挫大致上都是因為這種不事權貴不懂阿諛的性格。
海瑞雖然性格狂狷、執拗，但是擔任南平縣儒學教諭四年的功績有目共睹，因此在嘉靖三十七年（1558年）春天被擢升為浙江嚴州府淳安縣知縣，在廣泛調研後，他認為地方官員「剝民以媚人，多科而厚費」，而這直接導致了老百姓「憊困不能安賦役，樸直不能勝奸強」。針對此情此景，海瑞不畏強權進行了一系列的改革，即便是觸及朝廷權貴也無所畏懼，因此成為歷史上有名的「拗縣令」。
海瑞於嘉靖二十八年（1549年，時年35歲）在瓊州參加鄉試，寫有《治黎策》分析海南黎患不絕的原因，並提出開通十字路等主張，因此得中舉人。嘉靖二十九年（1550年）、三十二年（1553年）連續兩次進京參加會試，但均告失敗，決定就此放棄科舉考試。而在這一年，海瑞接受吏部指派前往福建南平縣擔任教諭，從此開始了宦海沉浮。
恪守師道拒絕逢迎的「海筆架」
嘉靖三十三年閏三月，海瑞被派往福建延平府南平縣儒學擔任教諭一職。延平府是當時福建所屬十邑之一，而南平又是其中的大縣，縣儒學歷史悠久，設施相對齊全。縣儒學是一縣最高教育機關，教諭是其中的最高長官，但是職務是很低的，《明史·職官志》說：「縣，教諭一人，訓導二人。」可以說，教諭一職在較為完備的封建官制史上連「九品芝麻官」都算不上。但是這對於知識分子出身的海瑞來說，卻是一個頗具光榮感和使命感的職務。他在後來撰寫的《興革條例》中如此說：「教官掌一邑之教，門下皆凡民之秀，所事事比俗吏簿書詞訟不同。師道立，善人必多矣。於以推之，功效不淺。」這是對教諭職務的認知，也是自己使命感的體現。
明朝中後期以來，社會風氣日益腐敗，縣學風紀遭到嚴重破壞，生員中學業優秀者寥寥無幾。作為縣儒學的負責人，海瑞上任伊始，依據朱熹在白鹿洞書院講學時所定的五條學規以及朱氏弟子輔漢卿總結的「會萃六事」，並結合自己在瓊州讀書時的切身體會以及南平縣儒學的實際情況，制訂頒行《教約》十六條。《教約》對生員在修身、處事、待人接物甚至作息、禮儀等方面都做了明確的規定，告誡他們要博學、審問、慎思、明辨、篤行，在整飭學風、提高生員道德修養和學識水平方面起到了應有的作用。
在海瑞看來，接受教育的重要前提是德育，因此《教約》十六條中有相當多內容涉及到德育的問題。例如第九條就明確說：「諸生接見上人，會典諸書明有禮節。今後於明倫堂見官，不許行跪，學前迎接亦然。本學在郭外接官，不許離關門出郊野。憲司官至本縣，一見後不許再同有司行三日揖。有犯於各衙門，罪人也，亦勿得免冠叩頭，奴顏哀免，自貶士氣。」作為知識分子，應當有相應的骨氣，絕不能奴顏婢膝，自貶士氣；作為學校，更是要維護師道尊嚴。海瑞是這樣說，也是以身作則的。南平儒學的成績引起上級的關注，御史前來檢查工作，海瑞帶著兩名訓導前往迎見。在古代官場，下級迎接上級行跪拜之禮是常見的。面對上級，兩名訓導跪地相迎，而海瑞卻拒絕逢迎，只站在兩人中間行抱拳之禮。這三個人兩低一高，活脫脫一個「山」字，儼然一個筆架，讓御史大為惱火，訓斥海瑞不懂為官禮節，並且譏諷為「安所得山字筆架來」。但是，面對訓斥，海瑞不但不認錯，反而不緊不慢地說：「此堂，師長教士地，不當屈。」（《明史》）意思是說學堂是教書育人的聖地，不應當屈身施禮。海瑞因為這一驚世駭俗的一站，從此被人冠之以「筆架博士」的外號。
被人稱為「筆架博士」，這讓海瑞非常生氣，再加上在御史面前受的窩囊氣，他對官場非常失望，於是提出辭職。這時，擔任福建按察司提學副使的朱衡邀請海瑞到正誼書院修書。在朱衡的多次勸解下，海瑞不久又返回南平擔任教諭。時間長了，海瑞習慣了「筆架博士」的稱號，甚至一度將「筆架」與自號「剛峰」相提並論。
在南平縣儒學擔任教諭一職，是海瑞仕途的起點，而他在這一時期獲得的「筆架博士」的外號正好彰顯他為人為官的性格特徵，他後來的仕途發展和受挫大致都是因為這種不事權貴不懂阿諛的性格。海瑞之所以名震天下、青史留名，也是因為執拗的性格推動他鋤奸除惡、鐵面無私的緣故。
厲行節儉不畏權勢的「拗縣令」
清末民初的海南地方名人王國憲在《海忠介公年譜》中如此說：「公在南平四年餘，以禮為教。其講道論德以及經義治事，一一實事求是，不為俗學所染。是教職中最難得者。至此，巡按監司交章薦之。」海瑞雖然性格狂狷、執拗，但是擔任南平縣儒學教諭四年的功績有目共睹，再加上「海筆架」不事權貴剛直不阿的性格也得到部分人的賞識，因此在嘉靖三十七年（1558年）春天被擢升為浙江嚴州府淳安縣知縣。
淳安縣山多地少，且土地貧瘠，山上只出產茶葉、楠竹、杉樹、柏樹等，百姓生活非常困窘。海瑞到任後，「初閱冊籍，民之逃亡者過半」，在廣泛調研後，他認為地方官員「剝民以媚人，多科而厚費」，而這直接導致了老百姓「憊困不能安賦役，樸直不能勝奸強」。針對此情此景，海瑞不畏強權進行了一系列的改革，即便是觸及朝廷權貴也無所畏懼，因此成為歷史上有名的「拗縣令」。
海瑞淳安任上，正是嚴嵩專權時期，上下腐敗成風，滿朝賄賂公行，淳安也毫無例外，但是他卻特立獨行，並且說出了擲地有聲的話：「盡天下而不為上官之賂也，豈盡不遷；又盡天下而為上官之賂也，豈盡不黜！安可自以其身甘溝壑也！」意思是說，全天下的官員都不給上級行賄，難道都不能陞官？全天下的官員都給上級行賄，難道不能降職罷免？怎麼可以拿這個來自欺欺人自甘墮落呢？在污濁遍地的時代，海瑞以自己高尚的人格真正做到了出污泥而不染。
淳安縣雖然窮困，但是處於新安江下游，是水陸交通樞紐，各路官僚經常往來經過，地方上不得不出面進行接待，如經過一個普通官員，就要耗銀二三十兩，經過巡按御史等監察官員要耗銀一二百兩，巡撫出巡則要用銀三四百兩。同時，他們坐船需要地方指派船夫，走陸路需要地方支付馬匹伕役，這給當地百姓帶來深重災難。海瑞在淳安倡導節儉之風，對上級官員的接待一律從簡，還率先垂范，讓夫人親自下廚，在自家院內空地種菜，派僕人外出打柴，以節省日用開支，甚至在為老母親祝壽時也只買兩斤肉，為時任江浙等七省總督的胡宗憲所笑話。
上級「打秋風」
不畏強權一律抵制
對於上級前來「打秋風」的所作所為，海瑞不畏強權一律抵制，最終使得不少官員懼其清名繞道而走。歷史上流傳兩則典故，很能夠說明海瑞的性格和為官秉性。有一次，胡宗憲的兒子帶著隨從到淳安縣耀武揚威，因為接待不周而大發脾氣，甚至把驛吏捆起來吊在樹上。海瑞得報帶人趕來，當場將胡公子痛斥一頓，沒收了他隨身攜帶的大量銀兩充入官庫，還給胡宗憲寫了一封信說，胡總督曾頒令各地方不許超標招待過往官差，現在這個人排場這麼大，又索要招待，所以肯定不是總督的兒子，而是一個冒牌貨在敗壞總督名聲，建議嚴厲處罰。胡宗憲接到海瑞的書信，恨得咬牙，但是自知理屈，只好忍下這股惡氣，還不得不說海瑞辦得好。如果說這段故事還存在誇張和渲染的成分，那麼海瑞對付鄢懋卿的經過則確鑿無疑。
鄢懋卿是首輔嚴嵩的親信，當時以左副都御史的身份總理兩浙、兩淮等地鹽政。總理鹽政是一個肥缺，再加上仗著嚴嵩的權勢，鄢懋卿四處接受賄賂，敲詐勒索，帶著小老婆威風八面，窮奢極欲，卻標榜「素性簡樸，不喜承迎」，給各地帶來很大的負擔。海瑞得知鄢懋卿要來淳安，便用以子之矛攻子之盾的辦法，給他寫了一封信，讓其無話可說，自覺無趣地繞道而行。這就是著名的《稟鄢都院揭帖》。在這封信中，海瑞說，您說您一向喜歡簡樸，不喜歡迎逢，我相信您是為國為民真誠的流露，絕非空話。但是我最近聽到各地傳聞，說大人您所到之處都置辦酒席，每席耗銀三四百兩，都是山珍海味，供應非常奢華，甚至連便壺都是銀製的。淳安縣是一個窮縣，如果按照傳聞來辦，是無法負擔的，而且這也有違大人的形象。但是我們又怕這個傳聞是真的，如果不按照高規格接待，又會得罪大人。我們左右為難，不知道怎麼辦才好，所以在此請大人明示。海瑞的書信義正言辭卻又極盡委婉，讓鄢懋卿氣得發抖卻又無法可說，只好繞開淳安去別的地方了。
海瑞因為自己的執拗和不畏強權而得罪了胡宗憲、鄢懋卿等權貴，但是他們忌憚海瑞的清廉名聲，也不敢貿然對其進行革職處理。他們授意巡鹽御史袁淳想辦法彈劾陷害海瑞，海瑞馬上寫了一份《交印文》，理直氣壯，認為自己堅持聖賢之道，奉皇帝旨意辦事，問心無愧，讓其無話可說，悻悻然作罷。不久有人推薦提拔海瑞擔任嘉興通判（知府的副職），鄢懋卿和袁淳從中作梗，以手續不合適為由向朝廷告發，最終於嘉靖四十一年（1562年）年底將其平調為江西興國知縣。在興國，海瑞繼續為民辦實事，平反了不少冤假錯案，受到百姓的歡迎，被稱為「海青天」。嘉靖四十三年（1564年）冬，在吏部尚書陸光祖的推薦下，海瑞到京城擔任戶部雲南司主事。京城任職，為海瑞發揮政治才幹，張揚道德人品提供了更為廣闊的平台。