從總的情況看，海瑞用在娶妾上的費用不會少，即便只有三次，怎麼說也總要三四百兩銀子。這對只取有限的法定工資的海瑞來說不能不說是一個非常沉重的負擔，與他的生活貧困不能說沒有關係。要知道，這些費用差不多是一個七品縣令十年的工資了。
海瑞四歲喪父，由母親一手帶大。海家三代單傳，家庭關係比較簡單。但是，在海瑞的妻妾問題上卻顯得迷霧重重，異常的複雜。
黃仁宇先生的《萬曆十五年》說海瑞「曾經結過三次婚，又有兩個小妾」。這個說法為許多著作所繼承，比如易中天的《品人錄》。以黃仁宇先生歷史學家的素養，「三妻兩妾」之說自然是有根據的，根據是海瑞同鄉、侄女婿梁雲龍所寫的《海忠介公行狀》。但是，同樣是這篇文章，也提到了有人說海瑞娶過六次七次妻妾，甚至以此認為海瑞在這一點上「認真太過」——意思大概是有點花心了。另外，攻擊海瑞的人還有「九娶」的說法，並說海瑞自己年紀很大了(「瑞已耄」)，還娶年輕漂亮的女孩子做小老婆(「妻方艾」)。〔1〕《萬曆十五年》的說法不妨認為黃仁宇先生是相信「五娶說」。而「六娶七娶說」和「九娶說」有沒有依據呢？從可靠的史料來看，海瑞先後有過三位夫人，又至少納過三個小妾，因此「七娶」、「九娶」雖不能確定，「六娶」則是完全成立的。
海瑞的第一位夫人姓許，兩人什麼時候結的婚現在已弄不清楚，能夠知道的是，嘉靖二十五年(1546)海瑞34歲的時候，許夫人被海瑞休棄了。在那個時代，一個女人被休棄是莫大的羞恥，何況這時候已經育有兩個女兒，讓一個女人離開自己生養的兒女必然也是莫大的痛苦。而且，似乎許夫人還在經濟上吃了虧，為此，她還告過海瑞。
許夫人到底是什麼原因被休，犯了「七出」中的哪一條？從「以大故所出婦許氏」的提法來看，許夫人似乎有過什麼大差錯，但是所謂的「大故」到底是什麼呢？也許是沒有生男孩，海家無後，這是比較靠譜的理由。是否如此已經無從查考。不過許夫人年紀尚輕，生育問題似乎不成理由。
另一種原因，也是許多人曾經猜測的，可能是她與海瑞的母親海太夫人之間的婆媳矛盾有關。這樣的事，在著名的漢代長詩《孔雀東南飛》裡有過詳細的描述，在單親家庭中是一種比較常見的現象。問題在於，許夫人如同不幸的劉蘭芝，海瑞是不是也有焦仲卿那樣的感情？歷史材料顯示，海瑞並不是焦仲卿，他是個著名的孝子，他永遠是無條件地站在母親這一邊的，這就決定了海家的媳婦不好當。
海瑞和許夫人離異之後，又娶了潘氏夫人。但是，潘夫人到海家之後不到一個月又被休棄，休棄的理由不得而知。
接著海瑞又娶了王氏夫人。王夫人比較爭氣，在海瑞到達淳安之前兩年為海瑞生了個兒子，取名中砥。海瑞到淳安任上之後的當年，王夫人又為海瑞生了個兒子，取名中亮。王夫人還生了個女兒，不過什麼時候生的不太清楚。嘉靖四十三年(1564)十月海瑞被調到北京戶部(財政部)工作，海太夫人不喜歡到寒冷的北方去生活，海瑞沒有辦法，只好讓王夫人攜同二男三女扶侍海太夫人從海瑞在江西興國縣令的任上南歸，而海瑞則帶了兩個僕人北上任職，這一年海瑞52歲。於此可知，當年海瑞任淳安縣令的時候，他身邊至少已有兩個已經十幾歲的女兒，和兩個年幼的兒子。
王夫人於隆慶二年(1568)七月二十四日晚上去世，據海瑞說是生病死的，但也有人說是自殺的，《萬曆十五年》說王夫人「於1569年在極為可疑的情況下死去」(1569年的說法有誤)。在王夫人去世前11天，海瑞的妾韓氏上吊自殺。這兩件事聯繫起來，使海瑞的家庭生活變得撲朔迷離。韓氏為何自殺？王夫人到底因何而死？這些事已經成了歷史之謎，但海瑞在官場上卻有了非常不好的名聲。這時候的海瑞在南京任正四品的通政司右通政(相當於副省級幹部)之職，他是半年多前才到南京來的。那麼，海瑞納韓氏為妾可能是在北京，也可能是到南京之後的事，無論哪種情況，韓氏跟隨海瑞的時間都不算長。
必須交待的一件事是嘉靖四十四年(1565)十月海瑞上了震驚朝野的尖銳批評嘉靖的「直言天下第一事疏」——《治安疏》而在次年二月下獄，兩個兒子就在這一年死了，一個11歲，一個9歲，而海瑞已經54歲了。可以想見，這個打擊對海家來說會是怎樣的致命。妻死妾亡，海瑞的心態如何呢？據一封寫給朋友的信件透露，海瑞說自己「每一思及，百念灰矣」，可見他未必是人們想像的那種無情之人，對妻妾也不是沒有感情。而釀成這樣的家庭悲劇，癥結可能還是出在已近八十高齡的海太夫人身上。
海瑞還有一妾姓邱，史料中只說她為晚年的海瑞生了一個兒子，但長到三歲就夭折了。
海瑞於隆慶四年(1570)四月申請退休，獲准後離開南京回家鄉瓊山閒居，從此離開官場15年，直到萬曆十三年(1585)正月已經73歲時才重新回到官場，到南京任都察院右都御史及吏部右侍郎之職。邱氏什麼時候所納史無明文，或許是海瑞在家鄉閒居時所納，但萬曆十五年十月十四日海瑞死的時候有「二媵四僕」。媵是側室，也就是小妾。這二妾中有一個可能是邱氏，另一個則可能是重回南京後所納(因韓氏已死)。當然，也不排除這二妾中邱氏不在內的可能。假定這二妾一個是邱氏，一個便是政敵攻擊海瑞時所說「瑞已耄，而妻方艾」的那個「方艾」的女孩，那麼海瑞也已經有過三個小妾，這樣「六娶說」就不是高估，而是有確切證據的最低估計。
海瑞已經70多歲了，頭髮已白，在這樣的年齡納一個年輕漂亮的女孩為妾，雖然這在帝國時代也不算是什麼稀奇事，但畢竟也不是什麼光彩的事，政敵以此來責備海瑞，即使是那些為他辯護的人，對此也只好避而不談。海瑞身邊至少已有一妾，他還要納一個年輕漂亮的女孩為妾的正當理由是什麼呢？也許是為了傳宗接代。本來這些事只是海瑞個人的私事，他人沒有資格說三道四，三四百年之後的我們更沒有必要重提這些陳谷子爛芝麻，但是這涉及海瑞貧窮的原因問題，因此是不能迴避的。要知道，納妾是要花錢的，這錢從哪裡來？娶妾要有經濟基礎，不僅娶的時候要花錢，進門後的用度也要花錢，海瑞有這樣的經濟基礎嗎？
明代納妾的身價如何呢？在明代，如果要贖買一個色藝俱佳的名妓為妾，通常需支付千兩白銀的身價。明末的那些秦淮名妓，恐怕還不止這個價。
一般的情形，如《金瓶梅》告訴我們的，收婢女為妾約需50兩，如果是討一個妾，就要百兩以上，一般需要300兩銀子光景。這是明代的數據，清代的情況類似。比如康熙時候在蘇州買妾或奴婢的價格，少的是140兩，多的需450兩。(康熙四十六年四月二十四日至九月二十三日王鴻緒奏折)晚清同治、光緒年間，名士李慈銘在自己的日記(《越縵堂日記》)裡面詳細記下了自己三次買妾的花費：1.同治四年(1865)，娶歌女張珊，銀400圓，犒賞16圓;2.光緒四年(1878)，買席氏，花銀130兩，另付媒婆賞錢、道喜錢等項，共費銀134.6兩、錢60000文(當時京錢16250文約值銀1兩);3.光緒十三年(1887)，納王氏，花銀180兩。
可見當時娶妾至少得花一百多兩銀子。從總的情況看，海瑞用在娶妾上的費用不會少，即便只有三次，怎麼說也總要三四百兩銀子。這對只取有限的法定工資的海瑞來說不能不說是一個非常沉重的負擔，與他的生活貧困不能說沒有關係。要知道，這些費用差不多是一個七品縣令十年的工資了。