然而，好日子享盡，莎莉文家的幸運之神開始遠離，不再眷顧了。
厄運先從安妮下手。3 歲未到，安妮的眼睛開始發癢，眼皮上長滿了細沙狀的小顆粒。這些小顆粒由軟變硬，由小變大，扎得安妮眼睛又癢又痛。
安妮揉了又揉，擦了又擦，結果情形變得更糟糕了。小顆粒並沒有因揉擦而消失，反而刺傷了眼球。安妮的眼疾一天比一天嚴重。
莎莉文家並不富有，根本沒有錢去看私人醫生，只得等候福利機構的巡迴醫生來帶安妮去治療。
他們嘗試了許多治療方法和偏方。聽鄰居說用天竺葵泡水洗眼睛可以治好，愛麗絲便去摘生長在窗前開著紅花的大竺葉子，用大鍋煮沸。她用這些苦汁洗滌女兒的眼睛，結果安妮痛得拚命地哭叫，眼疾依然沒有治好。
最後，他們只好帶安妮去看私人醫生。醫生翻了安妮的眼皮，拿出一把小刮刀，刮著眼皮上的小顆粒。安妮痛得尖叫亂抓，醫生態度粗暴地喝住：「抓緊她，不許動。」
醫生的情緒非常惡劣，為什麼這些付不出醫藥費的窮人偏愛來找他？他大吼：「坐下，坐下。」畏畏縮縮的莎莉文夫婦只敢小心翼翼緊靠在椅子邊。
托馬斯必恭必敬，走上前去說：「大夫，請您幫幫忙，請您治好我女兒的眼睛。」
「給你一些眼藥膏，一天塗兩次，挺有效的。」醫生的話顯得頗具權威。
莎莉文夫婦對醫生有莫大的信心，於是就安心離去。
望著他們走向街中的背景，醫生搖了頭，歎了氣。他知道小女孩的眼睛已經沒有痊癒的希望了。
「顆粒性結膜炎（砂眼）」，他不忍告訴莎莉文這個病名。「砂眼」是那些有錢人才生得起的富貴病。需要陽光、新鮮空氣及整潔的環境，需要肉類、魚類、蔬菜和水果等滋養品來調養，需要花很多錢才能醫好的疾病。
醫生情不自禁地搖著頭，不要想這些無法解決的問題吧！假如那女孩的父母有錢，她根本不可能染上這種不乾不淨的毛病。「砂眼」偏愛貧民窟，喜歡在骯髒的地區散佈。
世事無常，禍不單行。安妮感染砂眼後，愛麗絲也生病了。
一天早晨，愛麗絲摸著自己喉部，覺得酸痛難忍。幾天後痛苦不但沒減退，反而有些微微發燒，她一天比一天消瘦，身體變得倦怠無力。她開始拚命地咳嗽，不用醫生說，愛麗絲也知道自己得了什麼病。「肺結核」是專門找窮人糾纏不放的絕症。
時運不濟，一波未平，一波又起。過了幾天，愛麗絲告訴丈夫：「托馬斯，我們又有孩子了。」
愛麗絲宣佈這個消息時，他們正在吃晚飯，托馬斯默然放下刀叉，嚥下食物，問道：「什麼時候生？」
「今年冬天吧，我想可能在聖誕節前後。」
托馬斯不屑地啐道：「好一個累贅的聖誕禮物。」他狠狠地摔下餐巾，掉頭走了出去。愛麗絲長歎一聲，怎麼能怪她呢？一切都這麼不順心，她的肺病，安妮的眼疾，現在又加上一個花錢的嬰兒。一個錢不能當兩個用啊！
1869年1 月，吉米出生了。他一生下來就體弱多病，遺傳了母親的體質，臀部長了一個大大的結核瘤。
往後的日子愛麗絲總是臉色蒼白，眉頭深鎖。日後人們告訴安妮，她的母親年輕時多麼開朗、愛笑，而安妮記憶中的母親卻是蒼白、睏倦、瘦弱，寂靜得像一尊雕像。
安妮與她父親仍有快樂時光。他繼續為女兒唱歌、跳舞，說一些令人開心的故事——只是次數在逐漸減少。有些回憶令她永生難忘，其中一幕是父親蹲在她身旁，問她：「今天痛嗎？」
安妮點點頭，她知道父親說的是她的眼睛。
「我的小寶貝，來吧！天氣這麼好，我帶你出去走走。」托馬斯牽著她的手。
父女倆走了5 裡路，到了鄰鎮西鄉。托馬斯聽說此地來了一位眼科醫生，所以特地帶安妮來。但是檢查過安妮的眼睛後，醫生只是搖搖頭。
離開醫生診所，回家的路上，托馬斯在安妮身邊蹲下，摟著她說：「寶貝，不要擔心，這個醫生雖然不能看好你的毛病，但爸爸總會找到一個好醫生來醫好你的眼睛的。」他拍著胸脯保證。
他把安妮扛在肩上。「等你長大一點，我就帶你回到我們的家鄉——愛爾蘭。
用愛爾蘭香濃河的河水洗淨你的眼睛，就不會再痛了。「他滿懷深情地加上一句：」那是世界上最好的藥水。「聽得安妮眼睛發亮。瘦小的她豈知從美國馬薩諸塞州到愛爾蘭的香濃河，路途是多麼地遙遠。
托馬斯帶著女兒走到鎮中心的繁華區。一家商店櫥窗裡展示了一頂美麗的白色草帽。
「嗨！」她的鼻尖貼到櫥窗玻璃上讚歎地叫起來。
白色的帽子上有一條淡藍色蕾絲帶垂在後面。托馬斯看看女兒，拍了拍她的肩膀走進店裡。
安妮看到售貨員從櫥窗裡取下帽子。幾分鐘後，托馬斯走出來，把帽子戴在安妮頭上。這是她一生中的第一頂帽子！美得像童話故事中小仙女頭上的帽子！戴著世界上最美麗的帽子，她一路歡笑回到家。
病魔侵凌家人，托馬斯面對接踵而來的重重困難顯得手足無措，他不知道怎麼樣才能擺脫心中的憂慮和煩惱。沉重的負擔和悲哀折騰著托馬斯，他慢慢迷失正念，開始學會了借酒消愁，然而舉杯消愁愁更愁。
托馬斯常常喝得爛醉才回家。他們又生了一個小孩，愛麗絲病得奄奄一息，骨瘦如柴，嬰兒又吵又鬧，她沒有多餘的精力顧及安妮。
安妮年幼不懂塵世坎坷，不解人意，她需要家人關懷示愛。然而她的雙親沒有多餘的愛滋潤她、呵護她。她心裡的不安和焦慮糾葛在一起，化為一把無名火，使她變得憤怒，常常狂亂地發脾氣。安妮已沒有辦法控制自己了，她由快樂天真變成暴躁易怒的小女孩。
無知的安妮宣洩她的情緒和大人迥然不同。她用自己的方式，用整個身體衝擊小生命中的郁懣。她大聲嘶喊、怒吼、東撕西摔，試圖抗拒莫名的恐懼。
她的脾氣讓人不能忍受，以至於鄰居們都叫她「令人討厭的小孩」。
有一次，她把手伸進烤箱裡拿麵包，不小心被火燙到。雖然這是自己的錯誤，她卻勃然大怒，抓了火鉗，夾起麵包，使勁地摔在地上。
眼看安妮憤怒地糟蹋她們的寶貴口糧，母親只能無力地呻吟：「安妮，安妮……」
另外有一次，愛麗絲叫安妮照顧睡在搖籃裡的小妹妹一瑪麗。安妮搖一搖，不覺怒氣從中而來，打從心眼裡她就不喜歡瑪麗。瑪麗奪走了媽媽所有的疼惜和憐愛。
她越想越生氣，憤憤地用力搖晃，咚的一聲，小嬰兒從搖籃裡滾下來。
那一天晚上，父親狠狠地揍了她。她咬緊牙根，滴淚不流，從此怨恨更像燎原的野火，難以平息。
安妮的壞脾氣有增無減，直到不可收拾。每天早晨，她喜歡看她父親刮鬍子。
這一天，看到刮鬍膏的瓶口沾滿了泡沫，她注視了一會兒，泡沫裹著鬍子，多麼好玩。她的手慢慢靠去，伸到肥皂泡裡。
不巧托馬斯的情緒也不好，「把手拿開。」她打了安妮的小手。
這一巴掌點燃了安妮的宿怨與積恨，瞬間像火藥爆炸一樣，安妮舉起手邊的瓶瓶罐罐，對著鏡子一個接一個狠狠地擲去。鏡片碎落滿地，留下木頭空框顫顫震動。
安妮嘶聲裂叫，父親沒有動手打她，也沒有破口大罵，而是呆若木雞，哺哺自語：「是魔鬼纏身？是鬼迷心竅？看看你所做的，你這個掃帚星，帶來厄運……都已7 年了。」句句清晰地刺進安妮心坎。
可憐的安妮成了代罪羔羊！其實托馬斯的情緒不在於破碎的鏡子，而在於貧窮和疾病。輾轉不能人眠的漫漫長夜，父親哺哺的詛咒，困擾了安妮多年。
禍不單行，福無雙至。窮困和疾病像一串無法打開的鏈環，厄運週而復始，年復一年。吉米已3 歲，腫瘤越長越大，安妮眼疾更趨惡化，愛麗絲病人膏盲，托馬斯沉淪酗酒，無法自拔。情況已到了山窮水盡，無法再壞的境地了。在這些苦痛的歲月裡，愛麗絲勉強撐住了這個家。結核病菌像蟲一般無聲無息地把她啃蝕耗盡。
昨日，她還在那兒，次日，她已魂歸西天。棟樑倒塌的家，七零八落。
莎莉文的親戚只得出面救濟，出來安頓一個酗酒的男人和3 個年幼的小孩的去處。
親族代表通知所有的親屬開會，住在附近的親戚都來參加。愛倫姑媽主動提議要收養吉米和小嬰兒瑪麗。沒有人主動收留安妮，就是因為她一發不可收拾的壞脾氣和眼疾。
經過一番推諉後，大家決定由堂哥約翰與堂嫂蘇達希收留安妮。約翰有錢！可不是嗎？好歹他擁有一個制煙廠，雖然不算大，卻也算是自己當老闆，獨資經營。
「你們最寬裕，該你們撫養。」大家異口同聲要求他們收養安妮。
「你們毫無道理，只是嫉妒我們。」蘇達希大叫不平，但她推不開道義責任。
當天下午，他們只得把安妮帶回家。
蘇達希盡她所能，有心善待這個不速之客，無奈安妮仇視一切家教規範。在安妮心中，她已一無所有，只剩下不可侵犯的「自由」，自己得好好保護自己。她幼稚，沒有正確的是非觀，一切只是出於本能，不擇手段、不可理喻地維護所謂「自由」。三番五次，她的粗暴野蠻把蘇達希嚇得不願意再招惹她了。家規、教養無法施用在她身上。蘇達希堂嫂也就撒手不管，不聞不問，任由她自生自滅了。
有一陣子安妮過得很愜意。春天到來，安妮在田野裡遊蕩，從這個牧場到那個草原。坐在蘋果樹下編織自日夢，躺在干稻草堆上發呆，混過日子。只要離開寄養的「家」，她就心安。舒坦、快樂。
一天晚上，約翰告訴太太：「你猜，我今天看到安妮在做些什麼事？」
「我看到她躺在穀倉後面那片草地上。我足足觀察了5 分鐘，她高舉著手，一動不動。有只小麻雀從樹上飛過來，掠過她身上，看了她一眼飛走了，安妮還是不動。那隻小麻雀竟然又飛回來停在她手指上，她們就這樣子，像老朋友似的互相觀看——真是不可思議。」
蘇達希冷冷地哼道：「有什麼好奇怪？小鳥的朋友？豈是只小鳥，她就像一頭野獸。養一隻小馬或小牛都比養她好得多。」
約翰感慨道：「在家裡無惡不作，在外面卻可以這般溫馴有耐心。」
秋天來了，學校要開學了，安妮也到了該入學的年齡。一天，她找到蘇達希堂嫂，用興奮而激動的聲音顫抖地問：「我可不可以去上學？」
「不要做白日夢了。」蘇達希嗤之以鼻，「憑你這一雙眼睛，一輩子也別想讀書、寫字。」
聖誕節快要到了，約翰和蘇達希幾乎每天拿著大包小包的東西，進入前面大客廳。他們將聖誕禮物存放在前廳，所有的小孩都不准踏人。安妮當然是惟一例外，她一再進進出出。
一天，她發現一個非常美麗的洋娃娃，乖乖坐在小椅子上。一雙藍色深邃的眼睛，滿頭金色卷髮，細瓷做的臉蛋光鮮粉嫩，鑲著蕾絲花邊的拖地長禮服裹住她。
灰暗的大客廳，安妮無法看清楚。雖然她視力微弱，卻看得出這個洋娃娃美麗非凡，舉世無雙。
從此以後，安妮不時溜進去看那個洋娃娃。她抱著洋娃娃展拍、撫慰、親一親。
聖誕節前的這些相處使她誤認為這個洋娃娃非她莫屬了。
久盼的佳節終於來到，家裡的每個人魚貫走人大廳。約翰打扮成聖誕老人分發禮物。每一個小孩子都有一份，安妮拿到她的一份禮物，看也不看，就把它放在一旁。因為在她的眼裡只有那個洋娃娃，她等著抱洋娃娃呢。然而約翰拿起它，給了自己的女兒。
瞬間，安妮不能相信自己的眼睛，她凍住了似的凝然直立。她突然衝出來，一把搶過娃娃，揪住金色卷髮，將它狠狠地摔在地上。她發瘋似地扔、踢、摔身邊的所有東西。約翰好不容易架住她時，她已毀掉了全家的佳節氣氛。
真叫人受不了！於是又開了家族會議，大家一再商量安妮的去留。他們已經厭倦了扮演慈善好人的角色了，當初收留孩子只是礙於情面，無法推脫罷了。
不過愛倫姑媽是例外，她說瑪麗乖巧可愛，自己喜歡這孩子，願意繼續收養。
而吉米的臀部的腫瘤病況已越來越嚴重，她已無法承擔醫藥費。至於安妮？沒有人能馴服，也就沒有人願意收留他。
約翰夫婦回家前，安妮和吉米的命運已定。家族會議決定將他們送到德士堡救濟院，從此以後與莎莉文家族的人毫不相干。