「為了工人大眾的事業，各國人民必須團結一致，對付我們共同的敵人！」「我們要團結起來解放自己！」
這是1864年9月28日，倫敦聖馬丁教堂裡工人們互相發言的熱烈場面。
原來，這裡正在舉行集會，聲援波蘭人民反抗沙皇統治的鬥爭。會議大廳裡掛滿了許多國家的國旗。
當時，也來出席大會的馬克思看到這種場面非常高興，他感覺到，有必要把全世界的工人無產者聯合起來，組成工人聯合組織，以便更好的開展工作。
這次大會就是英國工人聯繫法國工人而召開的，英法工人率先發言，鼓勵倡導大家團結起來，共同鬥爭。
這標誌著工人運動已進入一個新的發展時期，建立國際工人組織的時機已經成熟。
在馬克思的支持下，各國工人一致要求，大會成立了「國際工人協會」即「第一國際」，還選舉成立了其領導機構——中央委員會，後改稱為「總委員會」，馬克思當選為總委員會委員，擔任德國通訊書記。
大會委託馬克思起草綱領和章程，在起草之前，還有一段不小的風波。
本來，大會決定由總委員會領導起草綱領和章程，馬克思因為有病而未能參加，這樣，各國代表之間便產生了嚴重的分歧。
英國代表起草綱領時，把改善工人的地位放在首位，要求工人階級為了經濟利益而鬥爭，而意大利代表則要求把意大利工人協會的章程作為第一國際的章程，甚至提出要成立一個以意大利人為首的「歐洲工人階級中央政府」，這明顯是偏向於意大利的工人，會在第一國際中造成不和，甚至分裂。不管是英國或意大利代表，他們所提出的問題都是圍繞經濟利益，而沒有涉及到工人階級所迫切要求的政治地位問題，而工人的政治利益才是最根本的利益，有了政治地位作保障，其他一切問題都好解決。
德國代表看到這麼多不同意見，便寫信把情況告訴馬克思，馬克思接到信後，立刻意識到，這樣下去會產生嚴重問題，會背離組建第一國際的實質與意義。所以，10月18日，馬克思帶病來參加會議。
總委員會又經過長時間激烈的爭論，於10月20日作出最後決定，由馬克思負責對文件作具體的修改。
於是，馬克思不顧疾病纏身，嚴肅認真地把所有文件進行審閱、修改。經過七晝夜的辛勤勞動，馬克思於10月28日，向總委員會提交了修改後的文件。文件共有兩份：《第一國際成立宣言》和《第一國際共同章程》。
總委員會在隨即召開的全體會議上，一致通過了馬克思修改後的《成立宣言》和《共同章程》。
《成立宣言》是第一國際的綱領性文件，它對國際工人運動的要求十分清楚，它說：「奪取政權已成為工人階級的偉大使命。」國際工人階級要團結起來，形成一支強有力的隊伍，只有這樣，才能最終戰勝資產階級。工人階級也只有團結在自己的組織周圍，才能促進國際工人運動的發展，贏得自身的解放。
第一國際成立之後，立刻組織各國工人開展運動，掀起了國際工人運動的高潮。如1866年英國裁縫工人大罷工，1867年法國青銅工人大罷工，1868年日內瓦建築工人大罷工等，這些鬥爭，在第一國際的有力支持下，都取得了勝利。第一國際在支持各國工人反對各國資產階級，爭取自己應有的權益的同時，也在同各種機會主義者作頑強的鬥爭。這些鬥爭主要有與普魯東主義和巴枯寧主義的鬥爭。
普魯東主義的代表人物是普魯東，是一個無政府主義者的典型代表，他主張取消國家、取消政黨，實現個人的絕對自由，不受任何約束。這種想法說透了，就是要求世上所有的人，想幹什麼就幹什麼。這種主張明顯是在搗亂，也是根本行不通的。但是，真是蘿蔔白菜，各有所愛，這種無政府主義思想居然在法國、西班牙、意大利等國家有不少信徒，不少人在為之搖旗吶喊。
本來，普魯東在世界各地搗亂，還沒有形成什麼氣候，也就算了，可是，他居然找到了第一國際來搗亂，這就使第一國際的領導們不能視而不見了。
1864年秋，普魯東趁人不備，加入了第一國際，到1865年1月，他就死了。他雖然死了，可是，他的信徒卻有不少也偷偷摸摸地混進了第一國際，而且已經形成一股不小的勢力，到處搗亂。有時還試圖奪取第一國際的權力，用他們的無政府主義思想改變第一國際的性質。
如1865年9月，第一國際代表會議在倫敦召開，會議剛一開始，就有不少人違背第一國際的綱領，如第一國際要組織工人鬥爭，他們說，那沒有必要！各國有各國的情況，無法指導，更無法組織等。第一國際要援助波蘭工人反對俄國沙皇統治，他們又說，那是波蘭工人自己的事，第一國際沒有必要去把這件小事列入議事日程等。
第一國際總委員會的委員以及第一國際的其他代表們感到奇怪，為什麼這些人專門和大多數代表們的意見相對抗？經過調查瞭解後，委員們知道了，這夥人都是法國第一國際支部派來的，他們都是普魯東主義者。
認清了他們的身份與目的，馬克思對他們作了尖銳的駁斥。馬克思指出，各地工人階級的鬥爭，是第一國際總行動的一部分。第一國際綱領中指明了進行政治鬥爭的必要性，不進行政治鬥爭，就無法贏得被壓迫的無產階級的徹底解放。政治鬥爭是第一國際的主要任務，今後仍然要全力支持各國工人的政治鬥爭。至於援助波蘭工人的鬥爭，實際上也是第一國際爭取民族解放的主要任務中的一部分，第一國際就是要反對專制政府，反對剝削制度，提倡被壓迫者的徹底解放，實現人人平等的大同世界。
經過鬥爭，大會代表一致通過了支持波蘭工人的決議。普魯東主義者失敗了。
但像所有失敗者一樣，普魯東主義者並不甘心自己的失敗，他們在會議上又提出了一個荒謬的問題。他們說，第一國際是工人組織，因此，應該全部由體力勞動者參加，不應該吸收腦力勞動者。他們這樣說的目的，是想擠走馬克思、恩格斯等人，因為他們都是知識分子。
馬克思又痛斥了這種思想，指出排斥一切知識分子就是不要知識作指導，那麼，工人運動就會變成蠻幹，結果只能是失敗。
在全體代表的支持下，普魯東主義者張口結舌，無話可說，他們中的不少人灰溜溜的溜走了，另有不少人離開了普魯東主義陣營，來到了第一國際這邊。
第一國際所開展的第二個鬥爭，是與巴枯寧主義的鬥爭。巴枯寧也是一個無政府主義者，曾參加過奧地利1848年革命，但被捕後三次寫信給俄國沙皇，奴顏卑膝地乞求政府寬恕。以後竄到英國。加入第一國際時，把這段不光榮的歷史隱瞞了。
1868年10月，巴枯寧在日內瓦背著第一國際，組織了一個「社會主義民主同盟」組織，大肆宣傳「廢除國家」、「階級平等」、「主張個人絕對自由」等無政府主義思想，還派人到意大利、西班牙、法國等去建立支部。巴枯寧這樣做的目的是想造成強大的聲勢，提高自身的威望，最後奪取第一國際的領導權。
1868年12月，他還給馬克思寫了一封信，說了一大堆恭維馬克思的話，並希望馬克思接納他的「社會主義民主同盟」所有成員，集體加入第一國際。
馬克思接到信後，立即意識到巴枯寧的險惡用心，於是他代表第一國際總委員會給巴枯寧寫了一封回信，告訴他，第一國際本身就是一個國際組織了，其內部不能再有一個國際組織。拒絕了巴枯寧的無理要求。
巴枯寧口頭表示同意，並「解散」了「社會主義民主同盟」，但他卻指使心腹以個人身份，加入第一國際，妄圖伺機搗亂。
機會終於來了，1869年，第一國際在巴塞爾召開代表大會，巴枯寧分子便偽造了許多證件，冒充代表，試圖取得多數選票，擠走馬克思及總委員會主要成員。馬克思發現後，立刻予以斥責，並揭穿了他們的陰謀。這樣，巴枯寧主義者的搗亂也以失敗而告終。
第一國際在鬥爭中不斷發展壯大，更加有力地團結各國工人，支持各國無產階級的鬥爭，在世界各國的工人運動中，起到了巨大作用。