歐陽修活了66歲，做了42年的公務員，一生三次被貶，兩次與范仲淹有關，還曾兩次遭遇緋聞。
第一次被貶是在1030年5月。當時范仲淹上《百官圖》，批評宰相結黨營私，任人不唯賢，結果反遭誣陷，貶至饒州。歐陽修對范仲淹主張改革、為政清廉向來尊重，公開發表言論表示支持，結果也被貶到湖北夷陵。第二次被貶是在1045年秋，與范仲淹「慶歷新政」失敗有關。第三次被貶是在1067年，英宗去世，神宗即位。國喪期間，歐陽修內穿紫襖，被御史彈劾，貶，知亳州。
歐陽修遭遇緋聞，起於第二次被貶前。1043年，青年皇帝仁宗親政，面對內憂外患，他號召群臣出謀獻策，改革吏治。范仲淹提出的十項改革方案，得到仁宗的讚賞。短短幾個月，范仲淹就被提升為參知政事，擔任副相。在「慶歷新政」推行過程中，越來越尖銳地觸及既得利益者，譬如裁減冗員、懲治腐敗，必然引起保守派的強烈反對。有人攻擊范仲淹搞派系鬥爭，利用少壯派打擊元老派，鬧得仁宗不知如何收場。次年6月，西北邊事吃緊，仁宗正好趁機讓范仲淹去守邊。11月，進奏院的劉巽和蘇舜欽召集文人聚會，說了一些不該說的話，被人舉報，仁宗大怒，批捕數十人，史稱「奏邸獄」。
1045年新年剛過，杜衍被罷相，富弼被免職，推行「慶歷新政」的主要人物作鳥獸散。歐陽修不識時務，公開為改革派鳴怨叫屈，惹仁宗不悅。但仁宗惜歐陽修之才，不想拿他怎麼樣。此時歐陽修的朋友田況由真定改任秦州，仁宗就讓龍圖閣直學士、河北都轉運按察使歐陽修臨時代理真定府事宜。可是，一個險惡的陰謀正在向他襲來，始作俑者就是諫官錢明逸。
錢明逸嫉恨歐陽修，說出來令人啼笑皆非。據《錢氏私志》載：歐陽修「後修《五代史·十國世家》，痛毀吳越，又於《歸田錄》中說文僖數事，皆非美談。從祖希白嘗戒子孫，毋勸人陰事，賢者為恩，不賢者為怨。」也就是說，歐陽修在參與編纂《新五代史》時，貶斥了錢氏的祖宗，即吳越國王錢氏家族。
錢明逸將誣告歐陽修私吞財產的狀紙遞到開封府。開封府尹楊日嚴閱狀而竊喜，因為他主政益州(今成都)時，大肆斂財，貪污官銀，曾遭到歐陽修彈劾，一直懷恨在心，這下正好撞到他槍口上。狀紙經開封府遞達朝廷，宗仁即刻著人調查。結果查無證。但錢氏家族並不就此罷休，換了一種方式攻擊歐陽修，製造了「盜甥」和「私從子婦」的緋聞。
「盜甥」事件是誣陷歐陽修與外甥女通姦。歐陽修妹妹嫁張氏不久便守寡，張氏前妻遺一女，歐陽修可憐她們，將她們接到家裡撫養。其外甥女長大成人後，嫁與歐陽氏遠房侄子歐陽晟，但她不守婦道，與家僕私通，被人告發。後受人利用，屈打成招，竟然說歐陽修和她有亂倫，還欺佔了她娘家的財產——有人事先用張氏的家財購買田地，落在歐陽修名下。顯然這是一起有預謀的政治鬥爭，目的就是置歐陽修於死地。
儘管仁宗皇帝不相信歐陽修會做出如此傷風敗俗之事，並多次作出批示，表明態度，但人言可畏，何況那些人不依不饒，仁宗只好將歐陽修貶到滁州。到滁州後，歐陽修還是比較樂觀的，遊山玩水，賦詩作文，如散文《醉翁亭記》、七古詩《菱溪大石》等，幾乎看不出他有什麼失意的牢騷。可是，「盜甥」緋聞被小人四處傳播，如影隨形，歷時長久，歐陽修心情豈能不受影響。
「盜甥」事件之後，那些小人又編造出「私從子婦」的緋聞，說歐陽修與兒媳亂倫——宋司馬光《涑水紀聞》言：「士大夫以濮議不正，鹹疾歐陽修，有謗其私從子婦者。御史中丞彭思永、殿中侍御史蔣之奇，承流言劾奏之。之奇仍伏於上前，不肯起。詔二人具語所從來，皆無以對，俱坐謫官。先是之奇盛稱濮議之是以媚修，由是薦為御史，既而攻修，修尋亦外遷。其上謝表曰：『未乾薦禰之墨，已彎射羿之弓。』」
經歷兩次緋聞的打擊後，歐陽修心灰意冷，淡薄仕途，多次要求退休。1071年，歐陽修辦好退休手續後，回到安徽穎州，次年與世長辭。