度過21世紀初的互聯網嚴冬，馬雲又有了新的想法。這想法在孫正義的支持下得到了實施，由於阿里巴巴的B2B網站屬於批發類型，中國民間的普通買家與賣家還不能在這上面交易。同時，2003年一場極為恐懼的傳染性疾病橫掃亞洲，很多人躲在家裡，包括阿里巴巴的員工都盡量在辦公室裡操作，減少了去公共場所的頻率。
為此，建設一個民間可以使用、個人可以交易的網站成了馬雲的首選。也就是在這種情況下，淘寶網誕生了。
化名為「小寶」的柴棟至今還記得，2003年4月10日，阿里巴巴的戰略總經理跑過來讓他留下，說有要事同他聊。結果他一進辦公室，就發現馬雲和其他高管也在裡面。馬雲對他說：公司要準備做一個項目，但現在不能告訴你，你只有答應做了，才能告訴你做什麼。
柴棟沒有猶豫就接下這個神秘的項目，他與另外9個人同公司簽訂了「保密」協議。幾天後，他們被帶到杭州文一西路176號的湖畔社區，這裡的風荷院16棟1號202房，曾是馬雲的房子，後來創辦阿里巴巴時，又成了公司的辦公室。
帶上行李，從公司搬來了電腦和辦公桌，馬雲花了幾千美金從美國買了一套C2C交易系統，就這樣淘寶網開始運營了。「看看這些投入，你就知道那時淘寶還是試驗品。」柴棟回憶說。
沒有任何經驗，柴棟和同事，就成天泡在易趣和eBay上購物，仔細研究從商品發佈到用戶收貨的每一個細節。「eBay上的用戶，多數來自於歐美，最初是拍賣用過的傢俱，雖說是置換，但很多還是古董，拍賣一件商品價格並不低，利潤可以高達200%到300%，所以eBay收費完全沒問題。」柴棟說，經過對比，他們發現中國沒有這樣的基礎。
他把自己的意見反饋給馬雲，馬雲也大膽採用了阿里巴巴的慣例，用免費來招攬賣家。「淘寶網3年內不許盈利。」這是馬雲最初對淘寶網下的死命令，事實上這也就是個宣傳噱頭，因為創建之初的淘寶，根本也不可能盈利。
但是，馬雲這一決策無疑是正確的，它給淘寶的生存和發展帶來的影響無論怎樣評估都不為高。
張林 (化名)就是被感召的早期賣家，他的淘寶小店，最早賣的產品是一種骷髏頭圍巾，每條能賺兩塊錢，這樣一點一點賣起來。「15塊錢的東西，有些人還會要你包郵。有個朋友賣5毛錢的頭繩，每條賺1毛錢，有個新疆的買家還問包郵嗎——郵費就要20塊!」
他形容這個時期的淘寶為「蠻荒時代」，「全靠賣家自身能力和對產品的感覺去賣東西，沒有任何可以利用的工具」。
從2006年開始，淘寶的運營部門開始篩選一些優質賣家，做一些針對活動，比如單款打七折包郵，或者搭配其他商品減價等。這也是淘寶開始嘗試將流量轉換成交易額的開始。當年，淘寶推出「招財進寶」，這個產品讓賣家通過付費，獲得更靠前的搜索結果排名，而賣家則根據成交額跟淘寶協議支付費用，但推出沒幾天，就遭到4600名賣家罷市反對，最終只有取消。
「招財進寶」的設計，不難看出其中「中國供應商」的影子，都是用流量來換取收益的產品思路，只是前者被沒有多少財力的賣家認為不公平，導致淘寶第一次盈利探索以失敗告終。其後，淘寶小心翼翼地推出「淘寶直通車」、旺鋪等廣告和增值服務收費。
張林說，這時期淘寶進入了「鐵器時代」，營銷工具開始豐富起來，一些剛畢業的大學生紛紛選擇到淘寶創業，到2007年、2008年，淘寶銷售額狂飆突進，到淘寶購物一度成為城市小白領和大學生們的生活方式。
此時的淘寶在C2C領域成為王者，但外面卻興起了B2C熱潮，當當、京東、紅孩子、凡客誠品一個接一個吸引人們的眼球，很多人買書會選擇去當當，買家電到京東，買襯衫到凡客，而這些網站如今都發展成為綜合商城，有的還已上市，在美國，B2C的標桿企業亞馬遜市值也早已壓過C2C的標桿企業eBay。
於是，2007年，B2C的淘寶商城開始出現在淘寶頁面上；2008年4月，淘寶成立商城事業部，由淘寶前副總裁黃若帶隊，淘寶商城首次「獨立」；4個月後，商城事業部解散，「商城」再次併入淘寶;到2009年8月，商城事業部恢復，由淘寶CFO張勇兼任「商城」總經理，再次嘗試獨立運營。
這一次到2010年11月1日，淘寶商城啟用新域名，成為獨立站點。如今淘寶分拆後，張勇成為新公司總裁。
淘寶商城起起伏伏，一波三折，但重要性日益突出，各種活動和規則也都明顯往商城方向發展。從2008年開始，張林注意到，很多淘寶賣家，已經越來越多採用企業化運作方式來經營自己的店舖。他認識的一個賣家，不僅自己設計品牌，自己找加工廠代工生產，還聘請專職客服，甚至僱用專業的數據分析師，及時對網購市場的變化做出反應。
這個時期的淘寶給他的印象，是一個講究精雕細琢營銷的「木匠時代」,秒殺、淘品牌、淘寶天下、聚划算、一淘促銷……淘寶上的營銷工具和營銷活動多達幾十個，以前做淘寶，張林總覺得最重要的是貨源，第二是攝影，廣告也不去打。結果是常常感到不知所措：「每次淘寶規則一變，我的生意就又差了一點，我從來都不善於分析這些規則。」
然而，成立之初壓根就沒考慮賺錢的淘寶，儘管開發出多達幾十個不同的收費項目，卻依然沒有一個主力營收項目。而淘寶分拆後，淘寶網被認為將以廣告和服務費模式賺錢，淘寶商城目前是佣金和入駐費用，「一淘」網則可以採用競價排名。
事實上，淘寶網的廣告收費增長空間有限，「一淘」是否採用競價排名尚未明確，淘寶商城自然被認為在「大阿里」戰略中背負重任。淘寶商城資深總監馬學軍就正在進行一些嘗試，他主導的線下家裝體驗館「淘寶商城愛蜂潮店」剛剛在北京開業。這個愛蜂潮店的商品全都來自淘寶商城家裝市場近300家廠商，已涵括了眾多OEM廠商、網貨品牌，也包括曲美、全友等傢俱企業，馬學軍的設想是讓用戶到線下2.5萬平米的實體店體驗傢俱，然後再到網上交易。
「我們有一款價值2.6萬的沉船木傢俱，這種傢俱一般都用於別墅，當時我們還在想，會有顧客來淘寶光顧這樣的商品嗎?誰知第一天就賣出了。」馬學軍對此始料未及，但他總結在愛蜂潮店，貴的傢俱往往十分暢銷，「富人們居然也喜歡到淘寶購物」。
很明顯，淘寶商城將觸角伸進了奢侈品市場。這也正是淘寶商城為何一年前交易額還排在京東之後，而在一年後卻排名第一，並比其餘29家B2C網站交易額總和還要高的原因。當京東商城董事長劉強東還在強調向所有暴利行業開戰時，淘寶商城早已向高價商品敞開了胸懷。
張林說，他們很多小賣家私底下將這個時期稱為淘寶網的「黃金時代」。
在馬雲的宏偉藍圖裡，支付寶是連接所有環節的通道。但在現行的金融政策下，這條通道卻並不好走。支付寶從一誕生，就面臨著種種政策限制。支付寶銀行服務部副總經理袁雷鳴回憶，2005年，馬雲親自拜訪時任中國銀聯總裁萬建華，他希望與銀聯合作，讓中國境內所有銀行發行的銀聯卡，不用開通網銀就能在網上支付。
當時網銀不僅申請步驟麻煩，有的銀行還需要到櫃檯綁定U盾，同時每一家銀行，支付寶還需要單獨談判才能支持接入。
馬雲的這個想法來自PayPal。因為有VISA和Master等卡組織支持，只要是兩個卡組織的信用卡或銀行卡，都可以通過 PayPal進行支付，而不需要用戶再額外向銀行簽約。
但萬建華還是對他搖了頭。跟歐美不同，中國的銀行卡只能給其他銀行卡匯款轉賬，而如果其他銀行或組織要從銀行卡裡扣款，就絕對行不通。原因是中國沒有健全的銀行卡賠付體系，比如在美國，即使持卡人被盜刷、盜現再多金額，個人最多也只需承擔50美金。中國的商業銀行都不願意為此承擔風險，所以就算央行也不可能從任何一家銀行卡裡扣款。被拒絕的馬雲，也只得回到現實，讓支付寶慢慢地同各個商業銀行談判，直至今日，使用支付寶，最後的支付頁面都來自於各家銀行系統。
在這個漫長過程中，2008年1月，馬雲讓原淘寶網副總裁邵曉鋒出任支付寶執行總裁。邵曉鋒曾經任職杭州重案隊長，擁有多年刑偵經驗，為人穩重，也許當時馬雲是想憑借邵曉鋒的經歷，讓中國的商業銀行覺得支付寶安全可靠。
邵曉鋒就任後，極力推動了支付寶走向獨立，他將業務發展部除負責淘寶外的同事全部抽調出，分別組建了航空旅遊、B2C平台、公共事務繳費、保險、虛擬產品、教育考試、海外購物和數字娛樂等八個支付小組，每個小組都積極向外拓展外部商戶。
到2010年，支付寶的外部商戶達到46萬家，支付寶的應用範圍也越來越廣，2009年底邵曉鋒以黑禮帽、黑墨鏡、黑披風以及一條紅短褲的「佐羅」造型，通過「裸奔」方式來慶祝支付寶日交易量突破12億元大關。
但馬雲對這樣的成績卻並不滿意，支付寶與銀行關係仍然推進得太慢，邵曉鋒任上，甚至發生民生銀行信用卡停止支付寶交易的事情，在信用卡還款上，支付寶也不比財付通或者快錢有優勢，支持支付寶還款的銀行只有11家，而財付通及快錢則都有18家。
在2010年支付寶年會上，從來不輕易公開指責員工的馬雲，從頭到尾都黑著臉，痛罵支付寶的故步自封，用戶體驗「爛、爛、爛，簡直爛到了極點」。連續幾個爛字，甚至把五大三粗的邵曉鋒當場罵哭了。
實際上，支付寶內部人士評論說，邵確實對支付寶業務的複雜性與安全性考慮很充分，但他也對前方存在的安全風險和政策風險過於擔憂。支付寶的支付方式一直都十分麻煩，唯一便捷的支付方式一卡通，還需要到銀行簽署協議，才能開通，而且支持卡通的銀行一直都很少，信用卡更是沒有。
正因為此，馬雲在痛罵過後，更作出了人事更換的決定，由集團首席人力資源官彭蕾接替邵曉鋒，出任支付寶公司首席執行官。彭蕾是阿里創業元老，一直負責整個集團的價值觀文化，並掌控集團高級幹部培養與管理大權，被視為阿里巴巴團隊中僅次於馬雲的「二號人物」。
不僅如此，馬雲還對支付寶的內部人事和組織結構進行了大調整，金融事業部、商戶事業部和用戶事業部三個部門負責人，全部在2010年7月更換。支付寶商戶事業部高級經理程維，正是在這次更換中來到了支付寶。
「我們最緊要的任務，就是要確立屬於支付寶的商業模式，這套商業模式的基礎就是我們現在正在做的快捷支付。」程維說，他們這批中層來到崗位，用了半年時間思考公司未來方向，他們發現馬雲說的用戶體驗問題，主要就集中在使用網銀實在太麻煩，支付寶支付成功率一直維持在60%左右這一點上。
成功率如此之低，支付寶在向外部商戶合作時，自然就不可能收到較高的手續費。據支付寶內部人事透露，普通支付方式，支付寶向外部商戶收取佣金只有千分之二，而使用新的快捷支付，支付寶可以收取到千分之五以上的佣金。
所謂快捷支付，就是只要有銀行卡或信用卡，用戶無須辦理網銀，直接輸入支付寶支付密碼即可完成付款，且所有開通程序只需在網上操作。「要讓銀行合作，我們只有提高付給的手續費，而且還得拿出部分資金作為保證金。」淘寶新業務部總經理袁雷鳴說。
終於，支付寶宣佈包括工行在內的10家銀行信用卡支持支付寶快捷支付，馬雲還讓支付寶成為內資公司。後來，央行終於發放首批第三方支付牌照，支付寶是所有27家公司中獲得業務許可最多的公司。