李大釗白天接待訪客，晚上寫文章和做報告，這曾一度瞞過日本使館——日本使館距蘇聯使館、兵營都不太遠，他們發現俄國兵營常有人進進出出，形跡可疑，但因為不瞭解夜間的情況，所以並不敢輕舉妄動。
首先窺探出秘密的是法國人。俄國兵營的西隔壁有一座法國醫院，醫院的值班人員經常在晚上聽到兵營裡傳來大聲爭論的聲音，於是便報告給了法國使館。法國使館一面向親法的外交次長吳晉通報，一面與日本使館進行聯繫，雙方達成一致，支持北京政府對俄國兵營進行搜查。
搜查俄國兵營是件牽涉外交的大事，據說英美使館就不同意，他們認為東交民巷是使館區，有治外法權保護，中方搜查人員無論是穿制服還是穿便服，都違反了國際法，破壞了多年的傳統、常規、慣例。
儘管英美提出了抗議，但在法日兩國的支持下，吳晉仍與警察總監陳興亞等人共同做出了突擊搜查的決定。為了避免引人注目和遭到英美的干涉，參與搜查的人員一律不穿制服，不帶武器，每人身著一件中式斜大襟的藍褂子，褂子長至膝蓋以下，乍一看，就好像是一群僕人一般。他們還在領口右邊的扣子上拴一根一寸長的白線條，用以識別彼此的身份。
4月8日，上午8點多，二十名搜查人員開始行動，其中的十人裝作在馬路邊曬太陽，實際是望風，同時阻止中國人進入（但對外國人則不加阻攔），另外十人跳牆闖了進去。聽到外面有動靜，李大釗等人立即焚燒文件，但因為文件繫上等紙張印製，不容易燒著，所以當對方闖入時，仍未燒透。搜查人員將火撲滅後，從中查出了很多帶有燒痕的文件，裡面有中文也有俄文，有一些內容非常機密。接著，所有原在屋內的人都受到了搜查，被認為是不相干的人經詢問後就放走了，李大釗等人則未能脫險。最後，李大釗承認他是國民黨（當時國共合作，共產黨全體加入國民黨，對外也以國民黨員為公開身份），從事著革命工作。
直到搜查結束，吳晉才就這一行動向張作霖進行報告。他告訴張作霖，北伐軍是「由蘇聯派的鮑羅廷組織共產黨人參加的軍隊」，其任務是要「消滅北京政府，搞共產主義的無產階級專政」。按照吳晉提供的說法，李大釗等人潛伏在俄國兵營內，任務就是要組織暴動。
張作霖聽後，便令吳晉調集相關人員，對抄到的俄文文件進行翻譯。翻譯人員以張作霖的御用俄文翻譯、外交官張國忱為首，分成兩個組，每組各五人，日夜加班翻譯文件。大家忙了一個多禮拜，卻並沒有發現有組織的暴動計劃和蘇聯準備出兵的材料。誠然，文件中有軍情報告，比如記錄東北軍將領王樹常在哈爾濱駐軍，共有兵力多少，還有其他軍隊的一些駐紮情況，但這些並不足以說明人家要進行暴動。
眾人為此大失所望，可張作霖偏偏還天天催問進展：「搞出來什麼沒有？」張國忱在無可奈何之下，只好利用晚上陪張作霖吸鴉片煙的時間，讓張作霖寬限時日，說這麼重要的事，哪能很快搞完。
大約一個月後，翻譯組印出了四本《蘇聯陰謀文件彙編》，送給張作霖的是一套特製線裝本，封面和書套都是用黃緞子做的。雖然裡面仍然沒有暴動的材料，但在張作霖看來，也算是「人證物證俱全」，所以他看了很高興。
英美從一開始就反對到東交民巷進行搜查，曾要求北京外交部認真清查搜出的文件，看裡面是否有外交文件，如果有，外交文件是神聖不可侵犯的，不能擅動。涉及對李大釗的處理，兩國都提出李大釗不夠判處死刑的條件，因為文件裡沒有發現有搞軍事暴動的材料，可以從輕處理或釋放。日法則與之意見相左，他們堅決主張殺掉李大釗。
在內政問題上，張作霖對外國的態度向來並不特別買賬，殺與不殺還是取決於他自己，而與此同時，社會各界也早已展開了積極的營救行動。梁漱溟聞知李大釗被捕後，即自西郊入城拜訪章士釗，提出願與章士釗一同出面，先將李大釗的家眷保釋出來，以免李大釗掛念（實際其家眷並未被捕）。
章士釗是交好軍政各界的社會知名人士，段祺瑞當政時曾以之為核心幕僚，他剛剛由天津趕到北京，為的也是對李大釗進行營救。當著梁漱溟的面，章士釗把胸脯一拍，表示自己與張氏父子、楊宇霆都很熟，只要他去打招呼，不但李大釗的家眷不會受到連累，就是李大釗本人也可免於被害。
章士釗言出必行，當下就先找了張學良、楊宇霆。他對張、楊說，共產主義在中國國內，尚處於空洞談論理論的階段，「不宜窮治」，因此可以判處李大釗等人有期徒刑，並准許其帶上《資本論》等書籍，移押瀋陽監獄。這些人當中情節較輕的，甚至可徑行開釋，如此「既可遏止黨人活動，亦可免生枝節」。
張學良點頭答應，楊宇霆當場也同意了，章士釗大喜，於是便與張、楊一同求見張作霖。張作霖聽後躊躇良久，說這件事不能獨斷，必須與前方的十一名將領商量後才能定奪。
章士釗是個聰明人，馬上就知道張作霖是在推托，解救李大釗已經無望。儘管如此，他仍抱著一線希望，請張作霖分別緻函各將領，而不要以聯銜通電的方式。
張作霖分別去函不久，多數將領就發來復電，稱李大釗等國共黨人並非僅空談理論，實際都是北方罷工罷學的組織者，還說前線部隊在「討赤」戰役中不知傷亡了多少人，李大釗既是共產黨的首領，「不置諸法，何以激勵將士」？
接獲復電，張作霖遂下令對李大釗等二十名國共被捕人員處以死刑。1927年4月28日，李大釗英勇就義。當天，他毫無懼色，泰然自若地走向絞刑架，表現出了一個共產黨人所具有的風骨和浩然之氣。
張作霖的一雙手從此沾染了革命志士的鮮血。