在滿洲社會，阿哈(奴僕)沒有披甲當兵的權利，他們只能跟隨主人出征，充當「庫圖勒」(kutule)，也就是通常所說的廝卒、跟役，在戰爭中或打草餵馬，采薪燒飯，或協助家主搶掠人畜財物。八旗兵沒有龐大的後勤系統，原因就是隨征的庫圖勒們分別承擔了這項工作。在這樣的歷史環境中，漢兵的組建，也必須是從一部分歸降漢人被承認為「伊爾根」(irgen)即「民」開始的。
漢人不堪階級壓迫越過遼東邊牆逃往建州由來已久，其中最著名的人物劉興祚就是萬曆三十三年(1605年)投奔努爾哈赤的。但這批人數量畢竟很少，而且，他們在生活習俗、語言以至心理素質方面也滿洲化了，漢人大量歸順滿洲是在天命三年(1618年)明金戰爭揭幕之後，這一年四月努爾哈赤偷襲撫順得手，俘獲人畜30萬，其中的人口一律設為阿哈，他們當然沒有資格當兵。不過，在這次戰役中，明軍撫順游擊李永芳被迫歸降，此外還有數以千計的漢人降附。對這一部分漢人，努爾哈赤沒有作為戰利品，而是編成了「一千民戶」，「照過去尼堪國的舊制委任大小官員，歸原來的官李永芳管轄」，遷往赫圖阿拉。明末邊將降金始於李永芳，而大規模編漢族降人為民戶則自撫順之役始。
此後，金軍相繼攻佔清河、開原、鐵嶺等遼東城鎮，天命六年(1621年)又揮軍南下，席捲遼河以東，翌年再克廣寧、錦州、義州等遼西重鎮，努爾哈赤最後雖然決策放棄遼西，但還是把那裡的漢人驅趕到了遼東。以上各次戰役，有明軍大小將領如鮑承先、石廷柱、金礪、吳守進、王一屏、金玉和等降金，他們都成為日後漢軍的重要骨幹;同時又有大批漢人歸降，他們同樣被編為民戶，並被徵調從征，日後的漢軍即濫觴於此。
與八旗「三丁披甲一副」的兵役制不同，遼東漢民實行的是20丁抽1人當兵。天命六年七月，努爾哈赤曉諭漢民「計丁授田」規定「二十男丁內，一人當兵」，從當年年底開始，就按照「計丁授田諭」徵兵比例抽調漢兵。第二年年初，為準備進攻遼西，特降諭：「尼堪官員管轄四千人者，出兵二百，管轄三千人者，徵兵一百五十，……;管轄二千人者，徵兵一百……」。
除徵兵制度外，在漢民中所實施的土地、賦役、行政管理制度也與八旗有別。佔領遼東之初，努爾哈赤任命「游擊八員，都司二員」管理漢民事務。八游擊之上，以佟養性管轄遼東五衛漢民，李永芳管轄瀋陽中衛漢民，劉興祚管轄金、復、海、蓋所謂「南四衛」漢民;八游擊之下，又設千總、百總作為管民的基層官吏。
總之，努爾哈赤開始佔據遼東的時候，給予了歸降的漢人以民的地位，從他們享有的權利和應盡的義務看，其身份接近於滿族國人，亦即牛錄屬員。考慮到這些漢民與滿洲的文化傳統迥異，努爾哈赤也沒把他們編入八旗。在這一歷史背景下出現的漢兵，可以說是滿洲統治者組建被征服民族的軍隊的最初嘗試。不幸的是，這種嘗試很快就失敗了。
天命七年(1622年)以後，滿漢之間的民族矛盾迅速激化，其原因錯綜複雜，但從根本上講，是滿族落後的生產方式與漢族先進的生產方式交匯之初不可避免的對抗，由於歷史原因形成的民族隔閡使這種對抗呈現出極其殘酷劇烈的形式。
天命十年(1625年)十月，努爾哈赤竟下令屠戮仇金的漢民，結果是火炎昆岡，玉石俱焚，而原來明朝的地主紳士、青衿生員首當其衝，遭到一場空前的浩劫。經過這次慘絕人寰的大屠殺，倖存的漢民被強制編為莊屯，分隸八旗，給諸貝勒、大臣為奴。絕大多數漢民淪為滿洲奴僕，只有極少的漢民才被保護下來。在下達屠殺、編莊命令的同時，親金的漢官被告誡說：「你們尼堪官員要各自收取各自的近親，遠親勿得收取。若納賄亂收，恐爾等臉面羞辱。」佟養性、李永芳、石廷柱等漢官及其族屬總算逃脫了被戮或為奴的噩運，但他們也分別隸屬於八旗之下。天聰年間所謂「舊漢官」、「舊漢兵」指的就是這些人。
隨著努爾哈赤晚年對漢族政策的急轉直下，遼東漢民大部分淪為八旗權貴的奴僕，因此，相當長的一段時間裡，漢兵也就銷聲匿跡，不復成軍了