段氏一生功過可任人評說，但其晚年拒不附日，僅這一點，便可青史留名。
在中國近代史的教材中，將段祺瑞定性為親日軍閥。但是就是這位親日軍閥，卻在晚年拒絕了日本人的拉攏，堅決不當漢奸，支持蔣介石政府抗日。在抗日大潮中，段祺瑞走完了他複雜的一生。在袁世凱死去後，作為北洋軍閥皖系首領，段祺瑞曾是中國政治舞台上權傾天下的人物。孫中山領導的護法運動，反對的就是以段祺瑞為首的北洋軍閥。但是1920年的直皖戰爭，卻成為段祺瑞政治生涯的轉折點。段祺瑞的皖軍不敵直系軍隊，不過五日即土崩瓦解。段祺瑞見大勢已去，不得不通電下野，寓居天津。
寓居天津之後，段祺瑞在家裡辟了一間佛堂，每天焚香誦經，煞有其事。段祺瑞吃齋念佛，不過是為了掩人耳目而已，目的在等待政局發生變化。1924年爆發了第二次直奉戰爭，馮玉祥與張作霖聯合打敗了吳佩孚，請段祺瑞出山，任中華民國臨時執政。但是時局已今非昔比，在北京任臨時執政的一年半時間裡，段祺瑞寄人籬下，不得不仰承張作霖和馮玉祥的鼻息。1926年4月執政府垮台後，段祺瑞在張學良所派軍隊護送下，從北京抵達天津日租界，重新過寓公生活。
段祺瑞除了每天靜坐唸經，看書會客，飯後午睡之外，便是與棋友切磋棋藝。段祺瑞愛好下圍棋，且棋藝較高。得勢時，專門養了一批棋手陪他下棋，其中不乏棋壇高手。這些人每天必到，伺候段下棋，段對他們也以禮相待。後來成為圍棋大師的吳清源，當時年紀不大，但棋藝超群，頗受段祺瑞青睞，總叫他陪著下棋。
隨著時光的流逝，段祺瑞日漸老邁。而中國政局也發生了很大的變化，蔣介石成為國民政府領袖，日本人步步緊逼。「九·一八」事變後，日本侵佔了我國東北。1933年初又進攻熱河，華北危急。與此同時，日本當局在京津物色合適人選，以便組織華北傀儡政權，推行「以華制華」的政策。段祺瑞因過去聲威顯赫且比較親日，故成為日本積極爭取的對象之一。日本駐天津的特務頭子土肥原賢二曾經數次拜見段祺瑞，請他出面組織華北政府，推倒蔣介石，並表示日本願意全力支持。正在此時，陳炯明見蔣介石內外交困，認為時機已到，便派人北上，與段祺瑞接洽聯合倒蔣。段祺瑞對陳炯明來使表示：「我已年老，無能為力，最好請陳炯明速來主持，我當全力支持他一切大計。」
情報機關把消息報告給蔣介石後，他顯得焦慮不安。蔣介石深知，段祺瑞雖在野多年，但在華北尚有一定的勢力和影響。為防患於未然，蔣介石急忙三管齊下：一是派交通銀行董事長錢新之為特使，持自己親筆簽名函件到天津請段祺瑞南下，共商國是。蔣介石向段祺瑞許諾，等將來國內局勢稍微安定後，擬改組政府，請段祺瑞出任總統，他自任副總統，直到段祺瑞「百年」後，他再自任總統。二是讓段祺瑞的心腹王揖唐、段宏綱等人捏詞造謠，說土肥原賢二已準備像把溥儀裹脅到東北一樣，對段祺瑞軟硬兼施，誘逼他在華北當傀儡。三是由上海地方協會、交易所聯合會等民眾團體致電段，促使段祺瑞「速發宣言，表明態度，勿墜日人狡計」。
段祺瑞見八字尚無一撇，天機卻已洩露，天津成為不可久留的是非之地，覺得不如先南下敷衍蔣介石一番為好，所以雖不樂意，還是應邀赴南京了。
在公開場合，段祺瑞矢口否認南下的政治含義，聲稱「此行無所謂任務。二小女在滬讀書，余思之切，故前往一看」。「余研究佛學多年，將往普陀一遊。余素患腿病，時愈時患，藉此長途旅行，以活動筋骨」。「適蔣派員希望過京時一談，蔣系余之學生，余當然可以見他談談」。
但段祺瑞決定南下並非一帆風順，受日寇差遣拉段祺瑞出山、後來當了汪偽政府要員的王揖唐，一再勸阻其離津。據段祺瑞女兒段式巽回憶，當王揖唐得悉段南下的決定後，曾不止一次地對他吵吵嚷嚷：「我們一向是北方的，去南方能幹得成什麼？不要去南方，守在北方好。」
行期既定，蔣介石派張群到津，用專車迎駕。就在段祺瑞南下前，王揖唐還不死心，急忙趕來阻攔。段式巽正色對王揖唐說：「王大哥，別再來出主意了。」並叫聽差：「快送王老爺回去！」同時急忙攙扶其父上汽車，駛出府邸前往車站。
1933年1月21日，段祺瑞在親信吳光新、魏宗瀚和侄兒段宏綱陪同下，踏上了南下的火車。在火車上他雙眉緊蹙，心事重重，心想此次應蔣介石之邀赴南京，不知是禍還是福，會不會受到禮遇，今後該怎麼辦。
段祺瑞抵達南京之日，蔣介石通令南京少將以上軍官著軍服過江至浦口車站歡迎，而他本人則親往下關碼頭恭候。輪渡一靠岸，蔣介石就登船迎接，見面時執弟子禮甚恭，口口聲聲稱段「夫子」，自稱「學生」。
段祺瑞也給蔣介石面子，當即向記者發表對時局書面意見，宣稱：「當此共赴國難之際，政府既有整個禦侮方針和辦法，無論朝野，皆應一致起為後援。瑞雖衰年，亦當勉從國人之後。」
1月24日，段祺瑞乘車抵滬，《申報》記者就華北問題向他提問。段祺瑞答稱：「日本暴橫行為，已到情不能感，理不可喻之地步。我國唯有上下一心一德，努力自救。語云：求人不如求己。全國積極準備，合力應付，則雖有十日本，何足畏哉？」「愛國朝野一致，救國唯有自救耳。」段祺瑞本來打算不久就返回天津，爾後又決定暫不返津，以避謠遠嫌。
日本當局在段祺瑞南下後，仍不死心，仍想引誘他出山搞「華北五省自治」。不久，日本當局在天津成立所謂「中日密教會」，謊稱段祺瑞為會長，更有人假借他的名義四處活動，組織便衣隊，擾亂社會治安，助紂為虐。
段祺瑞雖在上海，但他還是很快知道了這一消息。他感到，倘若謠言四處傳播，假的也會成真的。5月20日，段祺瑞斷然致電王揖唐等人，表明了自己的態度：「余養痾海上，不問世事。目下華北局勢嚴重，恐有假借名義，為軌外行動者，殊非愛國之道。盼諸弟嚴密訪察，告知地方當局，嚴加制止。」
王揖唐投靠日本當漢奸的決心已下，不遺餘力為日效命，並試探段祺瑞對重返天津的意向。為此，他給段祺瑞發了一封隱晦的電報，引起了外界的紛紛猜疑。
1935年的一天，王揖唐給段祺瑞發了一封令外人一頭霧水的電報：「玉裁詩集，已預約五部，余詩接洽，再待奉告。王賡。」段祺瑞卻是心知肚明。原來，王揖唐初名志洋，後改名王賡。「玉裁」原指清代文字學家段玉裁，但此處則隱喻段祺瑞。「五部」是指所謂的「華北五省自治」。
段祺瑞看出，日本當局仍要他出山。他考慮到，現在畢竟在上海，日寇也奈何他不得，但如若含糊其辭，恐日後蔣介石知道後必生疑心。於是，段祺瑞斷然拒絕了王揖唐的邀約，並復一封電報如下：「專電轉陳。玉公謂：股東決不同，不約其他方面，切勿接洽。即已預約者，請作罷。」
就在段祺瑞復電的第二天，上海一家報紙用醒目的大字標題登出了一段讓局外人頗為不解的文字：「預約詩集有五部，段祺瑞不出售;津王某來電，措詞閃爍;段復告務須一切作罷，態度堅決可佩。」
一時猜測紛起，不少記者索性跑到段公館探問究竟。段祺瑞感到這是向國人表明自己心跡的大好時機，就乾脆請《申報》記者把往來的電文公佈於眾。段祺瑞此舉很高明，一時間輿論紛紛讚揚段祺瑞的「愛國舉動」。
段祺瑞在上海起初住在市政府為其安排的舊福開森路世界學院，後移居霞飛路前安徽省長陳調元的公館。蔣介石每月撥付兩萬元生活費，至於讓段祺瑞出任總統之事，以後再也沒有提起。而段祺瑞對這類空頭支票只是姑妄聽之而已，並不期望其兌現，也未接受蔣介石給他的國府委員虛銜。
寓居上海期間，蔣介石曾親自登門拜訪段祺瑞。據段祺瑞女兒段式巽回憶：「那次蔣氏來訪，管門的不認識，竟未啟大門迎車入內，聽任蔣車停在路旁、局處車內坐待。我從二樓遙見似有客至，下樓向僕役詢問，接過名刺，則赫然蔣氏。急忙迎入，並扶老父出見。蔣氏向老人先致問候之意，坐定後又對老人的起居寒暖、身體現狀及醫療情況等，詢問甚詳。情意慇勤，言詞親切。坐了一個多小時方辭去。」
在滬期間，段祺瑞與國學大師章太炎曾有過交往。但苦於雙方語言隔閡，南腔北調，多有聽不懂對方言語之處，故常有不能暢談之憾。儘管如此，章太炎仍對段祺瑞推崇備至，寄予莫大的希望。段祺瑞七十誕辰時，章太炎專門作了《合肥段公七十壽序》，除了歌功頌德之外，還殷切期望段祺瑞能公忠體國，傚法唐代的郭子儀和清朝的李鴻章，肩負起保住長城以內國土之重任。可惜，章太炎的希望落了空，段祺瑞非但未能保全華北，而且因年邁體弱，連自身也難保了。
段祺瑞在天津時已患有神經性關節炎，染過猩紅熱，到上海那年已是69歲的老人，鬚髮皆白，體力日見衰弱，但生活習慣仍與天津時無異，每天早起誦經、下棋，有時也約客人打麻將。1934年春夏之交，段祺瑞患了嚴重的潰瘍，大量出血，經宏恩醫院(今華東醫院)搶救，雖然免於一死，精神卻十分萎靡了。
這年5月，日本著名棋手木谷實(當時六段)、吳清源(當時五段，尚未入日本籍)一行來滬訪問。吳清源與木谷實是日本棋界的兩顆巨星，所向披靡，少有敵手，當時上海自然無人可以同他們下對子局的。
吳清源不忘故舊，造訪段祺瑞，一個是風華正茂的青年，一個是老態龍鍾的遺老，兩人相遇，感慨萬千，他們再次交手，結果吳清源卻以小敗終局。段祺瑞心中明白：這一局以尊敬長者為目的的「交際棋」，大概是對他當年慘敗的一種安慰吧！
1934年夏天，應蔣介石之邀，段祺瑞曾前往廬山避暑，隨行者有段宏綱與顧水如。段祺瑞見蔣介石後，曾談及圍棋，並提到吳清源，說起這位稀有的天才有可能加入日本籍，將是中國的一大損失，應設法召吳回國，指導國人棋藝，否則日本圍棋越來越強，中國會越來越落後。
蔣介石當面表示「很好」，其實完全是推托之辭，他當時哪有心思管圍棋這類事，結果也就不了了之。段祺瑞死一年後，有人撰文說：「老段死了，斯人而在，斯道(圍棋)尚有人提倡。現在我國圍棋高手們自段合肥(祺瑞)一瞑不視之後，惶惶然有曙後孤星之感。」
1936年11月1日，段祺瑞胃潰瘍病復發，出血不止，經搶救無效，於翌日晚八時駕鶴西去，享年七十一歲。彌留之際，段祺瑞親筆留下遺囑稱：「餘年已七十餘，……一切無所縈懷。惟我瞻四方，蹙國萬里，民窮財盡，實所痛心。」「國雖危弱，必有復興之望。復興之道，亦至簡單。勿因我見而輕啟政爭，勿空談而不顧實踐，勿興不急之務而浪用民財，勿信過激之說而自搖邦本;講外交者勿忘鞏固國防，司教育者勿忘寶存國粹，治家者勿棄固有之禮教，求學者勿鶩時尚之紛華。本此人勿，以應萬有。所謂自力更生者在此，轉弱為強者亦在此矣。」
11月5日，南京國民政府明令表彰段祺瑞民國初年兩造共和的功勳，稱頌段祺瑞「持躬廉介，謀國公忠」，宣佈「應即特予國葬」。「平生事跡存備宣付史館，用示國家篤念耆勳之至意」。
段祺瑞去世後，段夫人遷居愚園路近江蘇路口的一幢花園洋房，蔣介石仍派人每月送去生活費5000元，直至其終享天年。
段祺瑞病重時，蔣介石曾撥款二十萬元，在皖南黃山購置了一塊墳地，擬將段遺體安葬在那裡。段祺瑞去世後，其家人親友都主張葬於黃山。然而段祺瑞長子段宏業對此堅決反對，他聲稱：「蔣介石不是好人，將來一定沒有好結果，老爺子的遺體，千萬不要和他沾邊。」段宏業力主將靈柩運往北平安葬。
按舊時規矩，長子代父，喪禮以長子意見為重，故段家人不得不從其主張。12月9日，段祺瑞靈柩運抵北平，暫放於西山臥佛寺。
段宏業曾在八寶山等地為其父尋覓一塊風水寶地，但始終找不到一塊合適的塋地。1937年7月日軍佔領北平之後，徵用了臥佛寺，催段家速將段祺瑞的棺材搬走。當時正值兵荒馬亂，段家連活人都自顧不暇，哪裡顧得上死人，於是匆匆忙忙把靈柩起出，移到北平西郊段祺瑞的三弟段子猷的墳地南面，就靠在大道邊挖個坑，埋了下去。有些段祺瑞生前友好聞此，不禁感歎地說：「沒想到老頭子轟轟烈烈一輩子，死後會沒有一塊葬身的地方。」如此可悲的結局，想必也是段本人始料所不及的。
段祺瑞自己沒有房產，他不抽、不喝、不嫖、不賭、不貪、不佔，人稱「六不總理」。他一生酷愛圍棋，資助過中國大批的圍棋手，包括吳清源、汪雲峰和顧水如等，被稱作「中國圍棋的大後台」。因致電逼迫清帝退位、討伐張勳復辟和抵制袁世凱稱帝這三件事，有「三造共和」的美譽。
解放初期，章士釗到北京後，曾將段祺瑞的歷史以書面形式報告了毛澤東。毛澤東閱後，付之一笑：「有功有罪，已經化敵為友了嘛。」
1953年春，段祺瑞的女兒段式巽去北京，章士釗、李濟深兩位國民黨元老對她說：「你想，政府買下你段氏一處產業，花三千元，使用你們的房產，也每月按糧價折款付給租賃費，何曾作為『敵產』對待？」這正說明，人民政府也肯定了段祺瑞在晚年保持民族氣節的表現。
段祺瑞去世二十六年後，1963年，段宏綱和章士釗才在北京萬安公墓覓地安葬了段祺瑞。墓碑上寫什麼好呢？章士釗等反覆斟酌，本來想到以下兩種寫法：一「執政段公之墓」;二「故中華民國執政段公之墓」。最後大家覺得還是不提舊官銜為好，於是就由章題寫了墓碑：「合肥段公芝泉之墓。」