劉老頭子的確沒替祥子宣傳，可是駱駝的故事很快的由海甸傳進城裡來。以前，大家雖找不出祥子的毛病，但是以他那股子干倔的勁兒，他們多少以為他不大合群，彆扭。自從"駱駝祥子"傳開了以後，祥子雖然還是悶著頭兒干，不大和氣，大家對他卻有點另眼看待了。有人說他拾了個金錶，有人說他白弄了三百塊大洋，那自信知道得最詳確的才點著頭說，他從西山拉回三十匹駱駝！說法雖然不同，結論是一樣的——祥子發了邪財！對於發邪財的人，不管這傢伙是怎樣的"不得哥兒們"１，大家照例是要敬重的。賣力氣掙錢既是那麼不容易，人人盼望發點邪財；邪財既是那麼千載難遇，所以有些彩氣的必定是與眾不同，福大命大。因此，祥子的沉默與不合群，一變變成了貴人語遲；他應當這樣，而他們理該趕著他去拉攏。"得了，祥子！說說，說說你怎麼發的財？"
這樣的話，祥子天天聽到。他一聲不響。直到逼急了，他的那塊疤有點發紅了，才說，"發財，媽的我的車哪兒去了？"
是呀，這是真的，他的車哪裡去了？大家開始思索。但是替別人憂慮總不如替人家喜歡，大家於是忘記了祥子的車，而去想著他的好運氣。過了些日子，大夥兒看祥子仍然拉車，並沒改了行當，或買了房子置了地，也就對他冷淡了一些，而提到駱駝祥子的時候，也不再追問為什麼他偏偏是"駱駝"，彷彿他根本就應當叫作這個似的。
祥子自己可並沒輕描淡寫的隨便忘了這件事。他恨不得馬上就能再買上輛新車，越著急便越想著原來那輛。一天到晚他任勞任怨的去幹，可是幹著幹著，他便想起那回事。一想起來，他心中就覺得發堵，不由的想到，要強又怎樣呢，這個世界並不因為自己要強而公道一些，憑著什麼把他的車白白搶去呢？即使馬上再弄來一輛，焉知不再遇上那樣的事呢？
他覺得過去的事像個噩夢，使他幾乎不敢再希望將來。有時候他看別人喝酒吃煙跑土窯子，幾乎感到一點羨慕。要強既是沒用，何不樂樂眼前呢？他們是對的。他，即使先不跑土窯子，也該喝兩盅酒，自在自在。煙，酒，現在彷彿對他有種特別的誘力，他覺得這兩樣東西是花錢不多，而必定足以安慰他；使他依然能往前苦奔，而同時能忘了過去的苦痛。
可是，他還是不敢去動它們。他必須能多剩一個就去多剩一個，非這樣不能早早買上自己的車。即使今天買上，明天就丟了，他也得去買。這是他的志願，希望，甚至是宗教。
不拉著自己的車，他簡直像是白活。他想不到作官，發財，置買產業；他的能力只能拉車，他的最可靠的希望是買車；非買上車不能對得起自己。他一天到晚思索這回事，計算他的錢；設若一旦忘了這件事，他便忘了自己，而覺得自己只是個會跑路的畜生，沒有一點起色與人味。無論是多麼好的車，只要是賃來的，他拉著總不起勁，好像背著塊石頭那麼不自然。就是賃來的車，他也不偷懶，永遠給人家收拾得乾乾淨淨，永遠不去胡碰亂撞；可是這只是一些小心謹慎，不是一種快樂。是的，收拾自己的車，就如同數著自己的錢，才是真快樂。他還是得不吃煙不喝酒，爽性連包好茶葉也不便於喝。在茶館裡，像他那麼體面的車伕，在飛跑過一氣以後，講究喝十個子兒一包的茶葉，加上兩包白糖，為是補氣散火。當他跑得順"耳唇"往下滴汗，胸口覺得有點發辣，他真想也這麼辦；這絕對不是習氣，作派，而是真需要這麼兩碗茶壓一壓。只是想到了，他還是喝那一個子兒一包的碎末。有時候他真想貴罵自己，為什麼這樣自苦；可是，一個車伕而想月間剩下倆錢，不這麼辦怎成呢？他狠了心。買上車再說，買上車再說！有了車就足以抵得一切！
對花錢是這樣一把死拿，對掙錢祥子更不放鬆一步。沒有包月，他就拉整天，出車早，回來的晚，他非拉過一定的錢數不收車，不管時間，不管兩腿；有時他硬連下去，拉一天一夜。從前，他不肯搶別人的買賣，特別是對於那些老弱殘兵；以他的身體，以他的車，去和他們爭座兒，還能有他們的份兒？現在，他不大管這個了，他只看見錢，多一個是一個，不管買賣的苦甜，不管是和誰搶生意；他只管拉上買賣，不管別的，像一隻餓瘋的野獸。拉上就跑，他心中舒服一些，覺得只有老不站住腳，才能有買上車的希望。一來二去的駱駝祥子的名譽遠不及單是祥子的時候了。有許多次，他搶上買賣就跑，背後跟著一片罵聲。他不回口，低著頭飛跑，心裡說："我要不是為買車，決不能這麼不要臉！"他好像是用這句話求大家的原諒，可是不肯對大家這麼直說。在車口兒上，或茶館裡，他看大家瞪他；本想對大家解釋一下，及至看到大家是那麼冷淡，又搭上他平日不和他們一塊喝酒，賭錢，下棋，或聊天，他的話只能圈在肚子裡，無從往外說。難堪漸漸變為羞惱，他的火也上來了；他們瞪他，他也瞪他們。
想起乍由山上逃回來的時候，大家對他是怎樣的敬重，現在會這樣的被人看輕，他更覺得難過了。獨自抱著壺茶，假若是趕上在茶館裡，或獨自數著剛掙到的銅子，設若是在車口上，他用盡力量把怒氣納下去。他不想打架，雖然不怕打架。
大家呢，本不怕打架，可是和祥子動手是該當想想的事兒，他們誰也不是他的對手，而大家打一個又是不大光明的。勉強壓住氣，他想不出別的方法，只有忍耐一時，等到買上車就好辦了。有了自己的車，每天先不用為車租著急，他自然可以大大方方的，不再因搶生意而得罪人。這樣想好，他看大家一眼，彷彿是說：咱們走著瞧吧！
論他個人，他不該這樣拚命。逃回城裡之後，他並沒等病好利落了就把車拉起來，雖然一點不服軟，可是他時常覺出疲乏。疲乏，他可不敢休息，他總以為多跑出幾身汗來就會減去酸懶的。對於飲食，他不敢缺著嘴，可也不敢多吃些好的。他看出來自己是瘦了好多，但是身量還是那麼高大，筋骨還那麼硬棒，他放了心。他老以為他的個子比別人高大，就一定比別人能多受些苦，似乎永沒想到身量大，受累多，應當需要更多的滋養。虎姑娘已經囑咐他幾回了："你這傢伙要是這麼幹，吐了血可是你自己的事！"
他很明白這是好話，可是因為事不順心，身體又欠保養，他有點肝火盛。稍微稜稜著點眼："不這麼奔，幾兒能買上車呢？"
要是別人這麼一稜稜眼睛，虎妞至少得罵半天街；對祥子，她真是一百一的客氣，愛護。她只撇了撇嘴：
"買車也得悠停著來，當是你是鐵作的哪！你應當好好的歇三天！"看祥子聽不進去這個："好吧，你有你的老主意，死了可別怨我！"
劉四爺也有點看不上祥子：祥子的拚命，早出晚歸，當然是不利於他的車的。雖然說租整天的車是沒有時間的限制，愛什麼時候出車收車都可以，若是人人都像祥子這樣死啃，一輛車至少也得早壞半年，多麼結實的東西也架不住釘著坑兒使！再說呢，祥子只顧死奔，就不大勻得出工夫來幫忙給擦車什麼的，又是一項損失。老頭心中有點不痛快。他可是沒說什麼，拉整天不限定時間，是一般的規矩；幫忙收拾車輛是交情，並不是義務；憑他的人物字號，他不能自討無趣的對祥子有什麼表示。他只能從眼角邊顯出點不滿的神氣，而把嘴閉得緊緊的。有時候他頗想把祥子攆出去；看看女兒，他不敢這麼辦。他一點沒有把祥子當作候補女婿的意思，不過，女兒既是喜愛這個楞小子，他就不便於多事。他只有這麼一個姑娘，眼看是沒有出嫁的希望了，他不能再把她這個朋友趕了走。說真的，虎妞是這麼有用，他實在不願她出嫁；這點私心他覺得有點怪對不住她的，因此他多少有點怕她。老頭子一輩子天不怕地不怕，到了老年反倒怕起自己的女兒來，他自己在不大好意思之中想出點道理來：只要他怕個人，就是他並非完全是無法無天的人的證明。有了這個事實，或者他不至於到快死的時候遭了惡報。好，他自己承認了應當怕女兒，也就不肯趕出祥子去。這自然不是說，他可以隨便由著女兒胡鬧，以至於嫁給祥子。不是。他看出來女兒未必沒那個意思，可是祥子並沒敢往上巴結。
那麼，他留點神就是了，犯不上先招女兒不痛快。
祥子並沒注意老頭子的神氣，他顧不得留神這些閒盤兒。
假若他有願意離開人和廠的心意，那決不是為賭閒氣，而是盼望著拉上包月。他已有點討厭拉散座兒了，一來是因為搶買賣而被大家看不起，二來是因為每天的收入沒有定數，今天多，明天少，不能預定到幾時才把錢湊足，夠上買車的數兒。他願意心中有個準頭，哪怕是剩的少，只要靠准每月能剩下個死數，他才覺得有希望，才能放心。他是願意一個蘿蔔一個坑的人。
他拉上了包月。哼，和拉散座兒一樣的不順心！這回是在楊宅。楊先生是上海人，楊太太是天津人，楊二太太是蘇州人。一位先生，兩位太太，南腔北調的生了不知有多少孩子。頭一天上工，祥子就差點發了昏。一清早，大太太坐車上市去買菜。回來，分頭送少爺小姐們上學，有上初中的，有上小學的，有上幼稚園的；學校不同，年紀不同，長相不同，可是都一樣的討厭，特別是坐在車上，至老實的也比猴子多著兩手兒。把孩子們都送走，楊先生上衙門。送到衙門，趕緊回來，拉二太太上東安市場或去看親友。回來，接學生回家吃午飯。吃完，再送走。送學生回來，祥子以為可以吃飯了，大太太扯著天津腔，叫他去挑水。楊宅的甜水有人送，洗衣裳的苦水歸車伕去挑。這個工作在條件之外，祥子為對付事情，沒敢爭論，一聲沒響的給挑滿了缸。放下水桶，剛要去端飯碗，二太太叫他去給買東西。大太太與二太太一向是不和的，可是在家政上，二位的政見倒一致，其中的一項是不准僕人閒一會兒，另一項是不肯看僕人吃飯。祥子不曉得這個，只當是頭一天恰巧趕上宅裡這麼忙，於是又沒說什麼，而自己掏腰包買了幾個燒餅。他愛錢如命，可是為維持事情，不得不狠了心。
買東西回來，大太太叫他打掃院子。楊宅的先生，太太，二太太，當出門的時候都打扮得極漂亮，可是屋裡院裡整個的像個大垃圾堆。祥子看著院子直犯噁心，所以只顧了去打掃，而忘了車伕並不兼管打雜兒。院子打掃清爽，二太太叫他順手兒也給屋中掃一掃。祥子也沒駁回，使他驚異的倒是憑兩位太太的體面漂亮，怎能屋裡髒得下不去腳！把屋子也收拾利落了，二太太把個剛到一週歲的小泥鬼交給了他。他沒了辦法。賣力氣的事兒他都在行，他可是沒抱過孩子。他雙手托著這位小少爺，不使勁吧，怕滑溜下去，用力吧，又怕給傷了筋骨，他出了汗。他想把這個寶貝去交給張媽——一個江北的大腳婆子。找到她，劈面就被她罵了頓好的。楊宅用人，向來是三五天一換的，先生與太太們總以為僕人就是家奴，非把窮人的命要了，不足以對得起那點工錢。只有這個張媽，已經跟了他們五六年，唯一的原因是她敢破口就罵，不論先生，哪管太太，招惱了她就是一頓。以楊先生的海式咒罵的毒辣，以楊太太的天津口的雄壯，以二太太的蘇州調的流利，他們素來是所向無敵的；及至遇到張媽的蠻悍，他們開始感到一種禮尚往來，英雄遇上了好漢的意味，所以頗能賞識她，把她收作了親軍。
祥子生在北方的鄉間，最忌諱隨便罵街。可是他不敢打張媽，因為好漢不和女斗；也不願還口。他只瞪了她一眼。張媽不再出聲了，彷彿看出點什麼危險來。正在這個工夫，大太太喊祥子去接學生。他把泥娃娃趕緊給二太太送了回去。二太太以為他這是存心輕看她，衝口而出的把他罵了個花瓜。大太太的意思本來也是不樂意祥子替二太太抱孩子，聽見二太太罵他，她也扯開一條油光水滑的嗓子罵，罵的也是他；祥子成了挨罵的籐牌。他急忙拉起車走出去，連生氣似乎也忘了，因為他一向沒見過這樣的事，忽然遇到頭上，他簡直有點發暈。
一批批的把孩子們都接回來，院中比市場還要熱鬧，三個婦女的罵聲，一群孩子的哭聲，好像大柵欄在散戲時那樣亂，而且亂得莫名其妙。好在他還得去接楊先生，所以急忙的又跑出去，大街上的人喊馬叫似乎還比宅裡的亂法好受一些。
一直轉轉到十二點，祥子才找到歎口氣的工夫。他不止於覺著身上疲乏，腦子裡也老嗡嗡的響；楊家的老少確是已經都睡了，可是他耳朵裡還似乎有先生與太太們的叫罵，像三盤不同的留聲機在他心中亂轉，使他鬧得慌。顧不得再想什麼，他想睡覺。一進他那間小屋，他心中一涼，又不困了。
一間門房，開了兩個門，中間隔著一層木板。張媽住一邊，他住一邊。屋中沒有燈，靠街的牆上有個二尺來寬的小窗戶，恰好在一支街燈底下，給屋裡一點亮。屋裡又潮又臭，地上的土有個銅板厚，靠牆放著份鋪板，沒有別的東西。他摸了摸床板，知道他要是把頭放下，就得把腳蹬在牆上；把腳放平，就得半坐起來。他不會睡元寶式的覺。想了半天，他把鋪板往斜里拉好，這樣兩頭對著屋角，他就可以把頭放平，腿搭拉著點先將就一夜。
從門洞中把鋪蓋搬進來，馬馬虎虎的鋪好，躺下了。腿懸空，不慣，他睡不著。強閉上眼，安慰自己：睡吧，明天還得早起呢！什麼罪都受過，何必單忍不了這個！別看吃喝不好，活兒太累，也許時常打牌，請客，有飯局；咱們出來為的是什麼，祥子？還不是為錢？只要多進錢，什麼也得受著！這樣一想，他心中舒服了許多，聞了聞屋中，也不像先前那麼臭了，慢慢的入了夢；迷迷忽忽的覺得有臭蟲，可也沒顧得去拿。
過了兩天，祥子的心已經涼到底。可是在第四天上，來了女客，張媽忙著擺牌桌。他的心好像凍實了的小湖上忽然來了一陣春風。太太們打起牌來，把孩子們就通通交給了僕人；張媽既是得伺候著煙茶手巾把，那群小猴自然全歸祥子統轄。他討厭這群猴子，可是偷偷往屋中撩了一眼，大太太管著頭兒錢，像是很認真的樣子。他心裡說：別看這個大娘們厲害，也許並不糊塗，知道乘這種時候給僕人們多弄三毛五毛的。他對猴子們特別的拿出耐心法兒，看在頭兒錢的面上，他得把這群猴崽子當作少爺小姐看待。
牌局散了，太太叫他把客人送回家。兩位女客急於要同時走，所以得另雇一輛車。祥子喊來一輛，大太太撩袍拖帶的混身找錢，預備著代付客人的車資；客人謙讓了兩句，大太太彷彿要拚命似的喊：
"你這是怎麼了，老妹子！到了我這兒啦，還沒個車錢嗎！
老妹子！坐上啦！"她到這時候，才摸出來一毛錢。
祥子看得清清楚楚，遞過那一毛錢的時候，太太的手有點哆嗦。
送完了客，幫著張媽把牌桌什麼的收拾好，祥子看了太太一眼。太太叫張媽去拿點開水，等張媽出了屋門，她拿出一毛錢來："拿去，別拿眼緊掃搭著我！"
祥子的臉忽然紫了，挺了挺腰，好像頭要頂住房梁，一把抓起那張毛票，摔在太太的胖臉上："給我四天的工錢！"
"怎嗎札？"太太說完這個，又看了祥子一眼，不言語了，把四天的工錢給了他。拉著鋪蓋剛一出街門，他聽見院裡破口罵上了。
１不得哥兒們，即在同夥裡大家不怎麼喜歡他，沒有人緣。