最早的八仙出現在漢代，是號稱「淮南八仙」的八個文學家，當時稱作「八公」。《小學紺珠》記載：「淮南八公：左吳、李尚、蘇飛、田由、毛披、雷被、晉昌、伍被。」
由此可見，淮南八仙只是八個文人，並非神仙。但後來因為有淮南王成仙的傳說，後世便附會在他門下的八公也成仙了，稱作「八仙」。
晉代譙秀所著《蜀紀》中，載有：「蜀之八仙」，依次是：「首容成公、隱於鴻閈\，今青城山也;次李耳，生與蜀;三董仲舒，亦青城山隱士;四張道陵，今鶴鳴觀;五莊居平，卜肆在成都;六李八百，龍門洞在成都;七范長生，在青城山;八爾朱先生，在雅州。」上述的「八仙」與現在所傳的八仙，都毫無關係。
八仙的事跡多散見於唐、宋時的書籍中，但當時還沒有形成「八仙」這樣一個群體。真正集八人合稱「八仙」的，是在元人創作的雜劇中。這些雜劇都並稱八位神仙，但人名有出入，各家不盡相同。
馬致遠的雜劇《呂洞賓三醉岳陽樓》第四折末《水仙子》，以呂洞賓的口吻，依次介紹八仙道：「第一個是漢鍾離，現掌著群仙菉;這一個是鐵拐李，發亂梳;這一個是藍采和，板撤雲陽木;這一個是張果老，趙州橋騎倒驢;這一個是徐神翁，身背著葫蘆;這一個是韓湘子，韓愈的親侄;這一個是曹國舅，宋朝的眷屬;則我是呂純陽，愛打的簡子愚鼓。」上述八仙，均為男性，沒有現在所傳八仙中的何仙姑，卻多了個徐神翁。
自從明代吳元泰的演義小說《東遊記》一書問世後，「上洞八仙」才選定了。吳元泰排定了八仙的順次：一、鐵拐李，二、漢鍾離，三、監采和，四、張果老，五、何仙姑，六、呂洞賓，七、韓湘子，八、曹國舅。這八仙的組成及排名次序，已經與現在所傳八仙完全吻合，說明大多數人接受了吳氏的說法。