「黨必須非法地工作。」一開始，馬林便指出了這一點。
中國共產黨是以推翻當時中國的社會制度從而建立社會主義制度為行動宗旨的，當然不合當時中國的「法」。正因為這樣，中國共產黨「一大」在極端秘密的狀態下舉行。任何不慎，都將招來全軍覆滅的危險後果。
不得不謹慎行事。最初商定，「打一槍換一個地方」，每日更改開會的場所，以免被密探盯住。
不過，除了李公館之外，已找不出別的恰當的開會場所——不論老漁陽裡二號，還是新漁陽裡六號，一個是《新青年》編輯部所在地，一個是外國語學社所在地，都是半公開的紅色場所。
無奈，只得繼續在李公館開會。不過，馬林和尼柯爾斯基不再出席會議，因為兩個外國人進出李公館，畢竟太惹人注意了。
秘密舉行的中國共產黨「一大」，在7月22日的預備會、23日晚的開幕式之後，經邵維正考證，大約按以下日程繼續進行，開會的地點均為李公館：
日期 會議次數 主要內容
24日 第二次 各地代表報告工作情況
25日 休會 起草黨的綱領和工作計劃
26日 休會 起草黨黨綱領和工作計劃
27日 第三次 討論黨綱和今後實際工作
28日 第四次 討論黨綱和今後實際工作
29日 第五次 討論黨綱和今後實際工作
每日會畢，由張國燾向馬林、尼柯爾斯基匯報會議情況，聽取他們的意見。
會議的氣氛，起初是平靜的。在第二次會議上，各地的代表匯報著各地的情況，如同一根根平行線似的，沒有交叉。毛澤東也作了一次發言，介紹長沙共產主義小組的情況。這是毛澤東在中國共產黨「一大」唯一的一次發言。他言語不多，卻很留心聽著別人的發言。
第二次會議上推選了幾個人負責起草中國共產黨的綱領和決議。張國燾是會議的主席，當然被選人起草小組。李漢俊懂四國外語，博覽馬克思著作，劉仁靜有著「小馬克思」的雅號，也被選入起草小組。據董必武回憶，他也參加了起草工作。他還提及，好像李達也是起草者之一。
在起草綱領和決議的過程中，平行線交叉了，爭論開始了。
最激烈的爭論，常常是在兩位飽讀馬克思著作的人物——李漢俊和劉仁靜之間進行。
爭論的焦點在於，中國共產黨應當有什麼樣的黨綱。
在李漢俊看來，世界上的革命，既有俄國的十月革命，也有德國社會黨的革命。他以為，中國共產黨要走什麼樣的路，最好派人到俄國和歐洲考察，再成立一個研究機構，經過一番研究之後，才能決定。他以為目前中國共產黨最實際的做法是支待孫中山先生的革命運動，待這一革命成功之後，中國共產黨可以加入議會開展競選。
劉仁靜反對李漢俊的見解，他以為歐洲的議會道路在中國行不通，中國共產黨也不應成為一個馬克思主義的研究團體。他拿出《共產黨宣言》，說中國共產黨應該按照馬克思、恩格斯所說的那樣去做，即以武裝暴動奪取政權，建立無產階級專政，實現共產主義。
雖有陳公博部分地同意李漢俊的意見，但劉仁靜的看法受到多數代表的支持。李漢俊有個長處，當他的意見被大多數人否定之後，他並不堅持。
關於中國共產黨的組織原則，早在1921年2月，李漢俊便曾與陳獨秀髮生爭執：陳獨秀主張中央集權制，李漢俊主張地方分權制。
在這次會上，李漢俊又一次提出，中國共產黨中央只是個聯絡機關。他又一次處於少數地位，被大多數代表所否決。
很自然的，由此便產生了共產國際與中國共產黨之間關係的討論。馬林在開幕式上已經把共產國際的意見說得清清楚楚。尼柯爾斯基也從伊爾庫茨克的共產國際遠東書記處得到明確的指令，中國共產黨的會議「必須有他參加」[1]。
在這個問題上，代表們倒是贊同李漢俊的意見，即中國共產黨可以接受共產國際的理論指導，並採取一致行動，但不必在組織上明確中國共產黨是共產國際的一個支部。代表們主張在黨綱中寫上「聯合共產國際」。這「聯合」一詞，實際上沒有接受馬林所說的「上、下級關係」。後來，直至一年之後，在中國共產黨「二大」上，才通過了《中國共產黨加入共產國際決議案》，才明確寫上：「中國共產黨為國際共產黨之中國支部。」
一個意想不到的問題，竟然引起空前激烈的大辯論，那便是在討論黨員條件時，黨員能否在現政府中做「官」？陳公博主張可以，因為他正在廣東擔任「宣傳員養成所」所長，而陳獨秀正擔任廣東省教育委員會委員長這樣不小的「官」。李漢俊也同意他的意見。不過大多數代表以為，中國共產黨是無產階級政黨，黨員不應在資產階級政府裡當官。兩種意見爭執不休。最後，「這個問題有意識地迴避了，但是，我們一致認為不應作部長、省長，一般的不應當任重要行政職務。在中國，『官』這個詞普遍應用在所有這些職務上。但是，我們允許我們的同志作類似廠長這樣的官」。[2]
經過一番又一番爭論，黨綱和決議的草稿紙上。畫滿了蜘蛛網般的修改記號，總算接近定稿了。
屋頂花園。張國燾向馬林和尼柯爾斯基講述著討論的意見，講述著黨綱和決議的初稿。馬林聽著、聽著，當他聽到那句「聯合共產國際」，頓時雙眉緊鎖。作為共產國際的執行委員，他以為應當不折不扣地貫徹共產國際的決議。
馬林要求出席大會，他要親自向代表們說明共產國際「二大」所通過的決議……
[1]李玉貞：《參加中國共產黨「一大」的尼柯爾斯基》，《黨史研究資料》，1989年7、8期合刊。[2]《中國共產黨第一次代表大會》，《「一大」前後——中國共產黨第一次代表大會前後資料選編》（一），22頁，人民出版社1980年版。