人際互聯，改變生活；萬物互聯，改變生命。
——高通格言
人類大腦最難理解指數型增長的威力——任何一個事物，如果多年保持2倍、3倍或4倍的增長，將會發生什麼？最終的數字會有多大？摩爾定律講的就是指數型增長：每兩年微芯片的處理能力就能翻一倍。如果摩爾定律持續50年，將會發生什麼？每次英特爾公司的董事長布萊恩·克扎尼克試圖解釋摩爾定律的時候，他都會用下面這個例子：如果把英特爾1971年生產的第一代型號4004的微芯片與英特爾目前在市面上銷售的最新型號的第六代英特爾酷睿處理器做一個對比，你會發現與第一代芯片相比，英特爾最新型號的芯片性能提高了3500倍，能效提高了90000倍，而成本則只有原先的1/60000。
我們可以做一個類比：如果一台1971年的大眾甲殼蟲汽車像微芯片在摩爾定律下一樣不斷改進，那將會發生什麼？英特爾的工程師做了一個粗略的計算。按照他們的估算，如果汽車業同樣適用摩爾定律，那麼到了今天，甲殼蟲汽車的時速應該達到每小時30萬英里，每加侖汽油可以跑200萬英里，並且只要花4美分！英特爾的工程師還做了另一項測算：如果一輛汽車的能效按照摩爾定律的速率改進，那麼，到了今天，你開一輩子車，只需消耗1箱油。
當今科技變化的速度之所以超乎尋常，是因為不僅微芯片的計算速度呈現出非線性增長，而且計算機的所有其他部件也是如此。如今每一部計算設備都有五個基本組成部分：
（1）集成電路，用來進行運算；
（2）存儲單元，用來儲存和檢索信息；
（3）聯網系統，在計算機內部以及在不同的計算機之間實現溝通；
（4）軟件應用，使得不同計算機或獨立，或共同地完成數不勝數的任務；
（5）傳感器——攝像頭和其他能夠探測動作、語言、光線、熱度、濕度和聲音的微型設備，可以將其中任何一項信息轉為數字化數據供深度挖掘和分析。
由於神奇的摩爾定律，這五個基本組成部分的處理能力穩步加速，這五個部分最終融合在一起，形成了我們現在稱之為“雲”的那個東西。我們現在已經被帶到了一個新的疆界——也就是阿斯托·特勒所說的——科學和技術的變化速度超越了人類及其社會適應速度的臨界點。
戈登·摩爾
我們先從微芯片開始說起。微芯片也被稱為集成電路或微處理器，用來運行計算機的所有程序和存儲的內容。在字典裡，微處理器被形容為一個裝在一塊獨立硅片上的迷你計算引擎，因此它們被簡稱為“微芯片”或“芯片”。微處理器是用晶體管製造而成，晶體管是許許多多可以控制電流通過的小型開關。一塊微處理器的計算能力取決於晶體管開關的實際速度以及一片硅片上能夠裝下多少個晶體管。在晶體管發明之前，早期計算機設計者依靠燈管狀的真空管——也就是老式二級顯像管，電視機背後的那種東西——來控制電流開關並進行計算，但這種老式的真空管計算速度十分緩慢，並且製造難度很大。
在1958年的夏天，突然一切都改變了。得克薩斯州儀器公司的一名工程師傑克·奇爾比“找到了解決這個問題的辦法”。諾貝爾獎官方網站報道：
奇爾比的想法是用同一塊半導體材料來製造所有的組件和芯片……1958年9月，他製造出了他的第一塊集成電路……
在同一塊材料上製造所有組件，並且將連接不同組件的金屬導線並為一層疊於其上方，不再需要單獨的、分離的組件，也不再需要手動組裝電線和組件。電路可以被製造得更加小巧，製造程序也可以實現自動化。
半年後，另一位工程師羅伯特·諾伊斯巧妙地解決了奇爾比的電路中存在的一些問題，從而可以在一個硅片上以更加無縫的方式連接所有組件。就這樣，數字化革命誕生了。
諾伊斯於1957年與其他幾位工程師聯合創立了仙童半導體公司，開發生產這些芯片。他後來還成為英特爾公司的聯合創始人之一。戈登·摩爾也是仙童半導體公司的創始人之一，他在加利福尼亞理工學院獲得物理化學博士學位，並成為仙童半導體公司的研發實驗室主任。該公司的一項巨大創新是開發了一種將微晶體管化學印刷到硅晶片上的工藝，使其更容易量產，更適合大規模生產。正如弗雷德·柯普蘭在他的著作《1959年：一切改變發生的那一年》中所指出的，如果沒有大規模的政府計劃，特別是登月競賽和民兵洲際彈道導彈，微芯片可能無法迎來快速發展。兩者都需要精密的制導系統，而且這個系統要能裝在非常小的彈頭內。國防部的需求為微芯片的製造創造出規模效應，而第一個認識到這一點的就是戈登·摩爾。
“摩爾也許是第一個認識到，仙童半導體的化學印刷方法不僅能夠使得芯片製造得更加小巧，更加可靠，比傳統的電子電路更加節能，而且生產微芯片的成本也會更加低廉。”大衛·布洛克在2015年計算機歷史博物館雜誌《核心》特刊中說道，“在20世紀60年代早期，全球半導體工業界都採用了仙童半導體公司的方法來製造硅片，而軍事領域，特別是航天航空計算領域，則逐漸成為它們的市場。”
我於2015年5月在舊金山探索博物館採訪了摩爾，採訪的主題是摩爾定律50週年。儘管當年摩爾先生已經86歲了，但他大腦裡所有的微處理器顯然仍然狀況良好，並且在高效運行！摩爾向我解釋說，1964年末，《電子學》雜誌請求他為雜誌創辦35週年紀念刊撰寫一篇文章，預測未來10年半導體元件行業將會發生什麼。於是他拿出了筆記，調查了在此之前所發生的事情：仙童半導體公司從生產只有一個晶體管的芯片開始，現在已經可以生產有約8個元件（包括晶體管和電阻）的芯片，即將發佈的新型芯片擁有2倍數量的元件，即16個；而他們的實驗室正在試驗30個元件的芯片，並在設想將如何使元件數量達到60個！摩爾把所有的一切製成散點圖，記錄在一本日誌裡，可以很清楚地看出，元件數量每年都在翻倍。摩爾在這篇文章裡作了一個大膽的猜測，他預計這種翻倍式的增速將持續至少10年。
這篇如今無人不知的文章於1965年4月19日發表在《電子學》雜誌上，題為《將更多的元件塞入集成電路中》。文章提出：“（半導體芯片上）集成的元件數量將每年增加1倍……而且有理由相信這種增速在至少10年內將保持相對穩定。”摩爾的朋友、加利福尼亞理工學院的工程學教授卡弗·米德將其戲稱為“摩爾定律”（圖3-1）。
摩爾向我解釋道：“我當時一直專注於集成電路——它們在當時還很新潮，才發展了短短幾年——並且它們十分昂貴。有很多人認為它們永遠無法變得廉價，然而作為實驗室的領頭人，我認為技術發展使我們可以在芯片上安裝越來越多的東西，從而使電子產品變得更便宜……我並不知道它會變成一個精確的預言，但是我知道總體趨勢是朝這個方向發展，並且我需要給出相應的理由解釋為什麼降低電子產品的成本十分重要。”這個最初的預測看的是未來10年時間。也就是說，在此期間一塊集成電路上的元件數量將在10年內增長1000倍，即由60個增長到6萬個。這一預測最終成為現實。摩爾意識到這個速度不可能維持下去，於是他在1975年更新了這一預測，提出翻倍將大體上每兩年發生一次，同時價格幾乎保持不變。
而摩爾定律到現在一直持續了50年。
摩爾對我說：“一個趨勢能夠持續50年，這確實非常神奇。我們一直認為，會有各種各樣的障礙阻止摩爾定律，但當我們距離下一個關鍵時點越來越近時，工程師們總能找到解決問題的辦法，這一趨勢依然如故。”
摩爾在1965年的文章中還成功地預言了微芯片持續改善所產生的影響：
集成電路將帶來各種神奇的事物，例如家用計算機（或者至少是各種連接在一台中心計算機上的終端）、汽車自動控制系統以及個人便攜式通信設備。如今電子手錶就差一個顯示器就可以變為現實……
在電話通信中，電子濾波器中的集成電路將分離多路傳輸設備上的頻道，也可以轉接電話線路並且進行數據處理。
圖3-1 英特爾處理器所驗證的摩爾定律
計算機將會變得更加強大，並且將會以完全不同的方式加以組織……那些和今天的機器看起來很相似的機器，其製造成本將會更低，更新週期將變得更快。
毫不誇張地說，摩爾預測到了個人計算機、手機、自動駕駛汽車、iPad、大數據、蘋果手錶的出現。我開玩笑地和他說，只有一件事他沒有預料到，那就是“微波爐爆米花”。
我問摩爾，他是從什麼時候告訴妻子貝蒂：“親愛的，他們以我的名字命名了一個定律。”
“在開始的20年裡，我無法完全說出‘摩爾定律’一詞——這有些尷尬。”他回答道，“這不是一個定律。後來，我終於習慣了它，現在我能夠很平靜地把這個詞說出來。”
除了摩爾定律，還有沒有某些事情是他本來能夠預測，卻沒有預測出來？我問他。
“因特網的重要性使我很吃驚。”摩爾說道，“它本來看起來像是另一個次級通信網絡，只能解決特定的問題。我當時沒有意識到它將會帶來各種各樣的機遇。我希望我曾預測到這會發生。”
現實中有很多關於摩爾定律的精彩案例，很難從中選擇出一個最佳的例子。在我曾經遇到過的最佳案例中，有一個是科技專欄作家約翰·蘭徹斯特於2015年3月15日在《倫敦書評》雜誌中一篇題為《機器人來了》的文章中提出的。
蘭徹斯特寫道：
1992年俄美達成了中止核實驗的協議，為此，1996年美國政府啟動了一個名為‘加速戰略計算倡議’（ASCI）的項目。核試驗的暫停提出了新的挑戰，一方面，出於安全原因，需要用計算機程序模擬舊武器老化的情況；另一方面，我們畢竟生活在一個危險的世界，需要在不違反暫停核試驗協議條款的前提下設計新的武器。
為了完成這項任務，蘭徹斯特補充道：
ASCI需要的計算能力超出了當時任何機器所能實現的水平。為此，ASCI定制了一台名為“ASCI紅”的計算機，要將其設計為第一台超級計算機，進行每秒1萬億次浮點運算。浮點運算即涉及小數點的數字計算……（計算上比涉及整數的計算要求高得多）。到了1997年，“ASCI紅”已經組裝完畢並開始全速運行。當時它確實獨一無二，每秒能夠處理1.8萬億次浮點運算。“ASCI紅”一直到20世紀末，始終是世界上最強大的超級計算機。
我昨天就在“ASCI紅”上玩遊戲——其實我沒有，但我的確操作了一台可以每秒處理1.8萬億次浮點計算的機器。這個和“ASCI紅”極其相似的機器叫作PS3（PlayStation3），由索尼公司於2005年發佈，並於2006年開始銷售。“ASCI紅”的佔地面積只比一個網球場略小一點，耗電量相當於800座房子的用電量，並且造價高達5500萬美元。PS3可放置在一台電視機的下面，使用正常的電源插座供電，並且一台機器只需要花費不到200英鎊。10年內，一台每秒能夠處理1.8萬億次浮點計算的計算機，從一個只有世界上最有錢的政府出於實現計算能力極限的目的才能創造出來的東西，發展到一個小孩子可以期待得到的聖誕禮物。
如今摩爾定律已經進入下半場，它還能走多遠？正如我們所說，微芯片是由晶體管組成的，這些晶體管是一些微型開關。這些開關用極細的銅製導線連接，構成了電子流動的管道。芯片的工作方式是推動電子以盡可能快的速度通過單個芯片上的許多銅線。當你將電子從一個晶體管發送到另一個晶體管時，就是在發送一個打開和關閉特定開關的信號，並借此執行某種計算功能或運算。隨著每一代新型微芯片的研發，挑戰也隨即出現，即如何將導線製造得更薄更細，將開關設計得數量更多、體積更小，以更快的速度放行或阻擋電子流通，進而創造出更多的計算能力，並且盡可能將成本降至最低，將空間縮減至最小，同時消耗盡可能少的能量和熱量。
“有一天這一進程終將停止。”摩爾說道，“像這樣的指數級增長不可能永遠持續下去。”
但是，那一天還沒有到來。
50年來，半導體行業一直在尋找新的方法，要麼在維持大體相同製造成本的同時將晶體管尺寸縮小50%，從而以相同的價格提供兩倍數量的晶體管；要麼將相同數量晶體管的製造成本降低一半。他們可以縮小晶體管體積並把導線造得更薄、佈局更加緊密。工程師們也會嘗試開發新的結構和材料。比如，最早的集成電路使用一層鋁制導線管；而今天使用的是13層銅製導管線，每一層疊在另一層上面，使用納米級的技術進行製造。
“摩爾定律被預測即將死亡已經不下十幾次了。”英特爾公司的首席執行官布萊恩·克扎尼克告訴我：“當我們在3微米級別進行生產和製造時（1微米是1/1000毫米，約0.000039英吋），人們說道：‘我們如何才能再縮小一些——我們可以生產出足夠薄的薄膜來製造這樣的設備麼？我們能夠縮短光的波長來模仿這些如此微小的特徵嗎？’但是每次我們都找到了突破。答案事先並不清晰，也並不總是第一次提出解決方案就能夠取得突破。但是，每一次我們都突破了障礙。”
實話實說，克扎尼克說道，摩爾定律的最後兩次迭代用了大約兩年半的時間，而非兩年，所以速度確實有所減慢。即便如此，無論指數增長是每1年、每2年或者每3年發生一次，最重要的是，由於芯片的持續改善，我們才能夠不斷地創造出機器、機器人、電話、手錶、軟件，以及更智能、更快速、更小巧、更便宜和更高效的電腦。
“我們現在處於14納米時代，這遠遠小於人類可以用肉眼看到的任何東西。”克扎尼克解釋道，他說的是英特爾最新的微芯片。“芯片可能只有你指甲蓋的大小，但在那個芯片上將有超過10億個晶體管。我們已經很清楚地知道如何達到10納米，並且也基本上知道了如何達到7納米甚至是5納米。要是小於5納米，人們也有一些初步的構想。歷史一直就是這麼過來的。”
英特爾公司負責技術和製造的副總裁比爾·霍爾特就是負責推動摩爾定律不斷發展的人。他帶我參觀了位於俄勒岡州波特蘭的英特爾芯片實驗室，我透過窗戶看到乾淨的房間裡機器人24小時不停地將芯片從一個製造程序移向下一個，而穿著白色實驗服的男士和女士的工作就是確保機器人運轉順利。霍爾特也對那些認為摩爾定律正在終結的人沒有耐心。霍爾特說，現在大量的工作是用新材料做的，這些材料能夠承載更多的晶體管，消耗更少的能量，產生更少的熱量，因此他相信在10年的時間內“某些東西”將會到來並且引領下一代摩爾定律。
但是即使新的材料還未被發現，有很重要的一點需要記住，那就是從一開始，微芯片的處理能力不僅僅是通過改進硅片來提高的，還可以通過軟件進步而加以改善。“更強大的芯片能夠支持更複雜的軟件，而那些更複雜軟件中的一些可以反過來用於芯片製造，通過新的設計以及對芯片日益複雜的結構加以優化來使芯片運行更加快速。”克雷格·蒙迪評論道。
正是芯片設計和軟件之間的這些相輔相成的突破性進展，為人工智能領域近期取得的突破打下了基礎。如今的機器能夠以之前無法想像的速率和數量吸收並處理數據，因此它們能夠識別數據模式，並且可以像人類大腦一樣進行學習。我們曾經認為只能由人類才能完成的任務——諸如開車和回答問題——如今也能被計算機和機器人完成。因為這些更加強大的計算機和軟件程序能夠在效仿和識別人類語言、視覺、聽力和邏輯方面比之前做得更加出色，所以人機互動也變得大幅簡化，用一個點觸、一個聲音命令或是手指或手掌一揮就可以了。終端用戶的體驗變得越來越簡單。
但是這一切都始於第一塊微芯片和摩爾定律。“很多人無數次地預測摩爾定律的終結。”霍爾特總結道，“儘管他們的預測出於不同的原因。但只有一件事他們是一致的，那就是他們都錯了。”
傳感器：為什麼猜猜看的時代正式結束了
過去，你也許會稱某人“愚蠢得像消防栓一樣”或者“愚蠢得像垃圾桶一樣”。
我再也不會這麼說了。
科技加速發展的結果是，現在的消防栓和垃圾桶都變得非常聰明了。以特羅格消防栓壓力記錄儀為例，它被固定在一個消防栓上，並且可以將水壓通過無線網絡直接傳輸到當地供水部門的電腦桌面上，極大地減少了水管爆裂和消防栓故障的發生。和它有得一比的還有“大胃王”垃圾桶，它們裝有無線傳感器，當垃圾桶裝滿了需要清空時，傳感器就會通過無線網絡進行播報，清潔工就可以優化他們的服務路線，使整個城市花更少的錢並變得更加乾淨。是的，如今清潔工也變成了技術工人。大胃王的公司網站上寫著：“每個大胃王的容量為寬25英吋（1英吋=2.54厘米）×長26.8英吋×高49.8英吋，並且裝有通過內嵌式太陽能面板供電的壓縮機，可以顯著地壓縮廢棄物的體積，有助於營造更加綠色、更加清潔的街道……這些垃圾桶擁有內嵌式雲計算技術，通過數字信號告訴清潔工，它們已經達到容積上限並且需要立即關注。”
看起來那個垃圾桶甚至能參加SAT（美國學業能力傾向測驗）考試！
使得消防栓和垃圾桶變得如此聰明的是另一個領域的加速發展，它和計算本身雖然沒有直接的聯繫，但是對拓展計算範圍至關重要，這個領域就是傳感器。WhatIs.com網站將傳感器定義為：“能夠從物理環境中探測某些類別的輸入信號並做出回應的設備。這些特定的輸入信號可能是光、熱、動作、濕度、壓力或大量環境現象中的一個。而輸出的通常是一個轉換成可供人類讀取的信號，這些輸出信號或者是在傳感器的所在地顯示，或者通過網絡電子傳輸到另一個地方可供人類讀取或進一步操作。”
多虧了傳感器小型化的加速發展，我們如今能夠將四種感觀數字化——視覺、聲音、觸覺和聽覺——並且正在為第五個努力：嗅覺。消防栓壓力傳感器可以創建數字化監測結果，並通過無線網絡與公共事業服務單位連接，當壓力過高或過低時傳感器會向後者報告。溫度傳感器可以跟蹤溫度計中液體的擴張和收縮，並創建數字化的溫度顯示。運動傳感器有規律地釋放能量流——微波、超聲波或光束。當有人或車或動物進入能量流軌道並對其造成干擾時，傳感器就會發出數字化信號。警方現在通過車身反射回來的傳感光束來測量汽車的時速，通過建築表面反射回來的聲波來定位槍聲來源。計算機上的燈光傳感器測量你工作區域的燈光，然後據此調整屏幕亮度。你的Fitbit手環（一家美國科技公司的智能健康設備）其實是眾多傳感器的結合：測量你的步數、你行走的距離、你燃燒的卡路里，以及你四肢運動的活躍和激烈程度。你手機上的攝像頭是一個照相機加攝像機，可將捕捉到的圖像從一個地方傳輸到任何其他地方。
我們感知環境並將其轉化為數字化數據的能力得到了極大延伸。得益於材料科學和納米技術的突破，我們才製造出如此小巧、便宜、智能並且耐寒耐熱的傳感器，可以很方便地安裝，並用來檢測極端條件下的壓力，然後傳輸數據。如今我們甚至能夠通過噴塗——通過一個被稱作3D打印的過程——把它們安在機器、建築或引擎的任何部位。
為了更好地理解傳感器的世界，我訪問了通用電氣公司位於加利福尼亞州聖拉蒙的規模巨大的軟件中心，並採訪了通用電氣首席數字官比爾·魯赫。這次採訪本身就是一個很好的故事。通用電氣正在變得越來越像軟件公司，並在硅谷設有一個很大的基地。通用電氣在其製造的工業設備上佈滿了傳感器。忘了洗衣機吧，想像一下智能機器。通用電氣在任何地方安裝傳感器的能力正在幫助“產業網絡”成為可能，這也被稱為“物聯網”（Internet of things，簡稱IoT）。通過給每件“物體”安裝傳感器，就可以及時調整這些物體的運行狀況或預測其可能做出的反應。這個所謂的物聯網，魯赫解釋道：“正在創建一個神經系統，讓人們能夠緊跟變化的步伐，使得大量的信息變得更加可用”，並且基本上“使所有事物智能化”。
通用電氣可以從超過150000台通用醫用設備、36000個通用噴射發動機、21500輛通用火車頭、23000個風力渦輪機、3900個燃氣輪機以及20700個油氣設備零件上搜集數據，這些設備都可以向通用電氣報告它們每一分鐘的感受。
這個新型產業神經系統最初是由消費領域的進步所推動——比如帶有全球定位系統和照相能力的智能手機。魯赫說，它們對於21世紀的產業網絡，就相當於登月探測對於20世紀的產業進步的影響一樣，驅動了一系列相互關聯的科技和材料向前飛躍了一大步，讓它們變得更加小巧、智能、便宜、快速。“智能手機使傳感器變得非常便宜，以至於我們能夠把它們放在任何地方。”魯赫說。
現在，這些傳感器正在一個前所未有的細微層面為我們洞察先機。首先，所有傳感器將它們的數據傳輸給中央數據庫，然後通過處理能力越來越強大的軟件應用在數據中尋找行為模式，這樣我們就可以洞察先機，在出現問題之前觀察到特定的行為模式。於是，我們就能夠採取預防性措施，比如，在最佳時刻清空垃圾桶，或者在水管爆裂之前調消防栓的壓力。我們因此節省了時間、金錢、精力和生命，總體上使人類變得更加高效，遠超我們的想像。
“老方法叫作‘狀態檢修’——如果它看起來很髒，那就清洗。”魯赫解釋道，“預防性維修是指：無論你是否高強度地開車，都要每行駛6000英里更換1次機油。”新的方法叫作“預見性維護”和“處方式維護”。我們現在幾乎能夠精確預測輪胎、引擎、汽車或卡車電池、渦輪扇風機或者其他小機械需要更換的準確時間，並且能夠確定特定的引擎在不同情況運行時最適合的那一款清潔劑。
魯赫講道，過去的通用電氣是基於機械工程師的信念，即可以通過物理學為整個世界建模並且洞察事物運轉的規律。如果你看到燃氣輪機和內燃機，你會想到如何運用物理學定律解釋它們的原理，並預測它們將於何時發生故障。很多傳統的工程師都不相信數據能夠提供更多的信息。他們運用數據的時候，只是用來核實物理模型。新生代數據科學家說：“你無需通過理解物理學來尋找和發現行為模式。有一些行為模式是人類無法找到的，因為信號弱到你根本無法看到。但是，現在我們擁有這麼強大的處理能力，那些微弱的信號也能被我們發現。因此當你看到那個微弱的信號時，你就會清楚地知道這是一些事物發生故障或變得低效的早期跡象。”
在過去，我們檢測微弱信號的方法是依靠直覺，只有那些對“處理數據有著豐富經驗的人才能夠從眾多數據中發覺微弱的信號。那就是直覺。我們的大腦無時無刻不在處理那些信號微弱的數據”。但是現在，有了大數據，“具有更精細的精確度，我們可以讓大海撈針變為一種常態”。“然後我們可以利用機器增強人類的工作，所以機器和人類就可以作為同事一起工作，使他們能夠一起處理微弱信號並且在一夜之間，變得像一個有著30年經驗的老將。”
過去，在工廠車間工作需要的是經驗帶來的直覺，當你工作了30多年後，你或許能夠辨別機器發出的略有差異的聲音信號，這些聲音信號告訴你有些東西運行得不太正常。如今，有了傳感器，一個新員工在上班的第一天便可發現微弱的信號，而無須任何直覺。傳感器將會播放這些信號。
這種以更快的速度生成和應用知識的能力使我們不僅能夠充分發揮人類的能力，而且也能夠使母牛的潛力得到最大的開發。對於奶農而言，猜猜看的時代從此結束了，微軟公司雲服務和企業部的數據組副總裁約瑟夫·斯洛什解釋道。他的工作聽起來像是頗費腦子——管理比特和字節。但是當我坐下來向斯洛什瞭解傳感技術的加速發展時，他選擇了一個非常老的例子來向我進行解釋，這個例子就是奶牛。
好吧，這並沒有那麼簡單。他想要談論的是“聯網的奶牛”。
斯洛什講述的故事大致是這樣的：日本奶農向日本計算機巨頭富士通公司提出了一個問題：他們能否提高在大型奶牛農場成功繁殖奶牛的概率？事實證明，奶牛進入發熱期或發情期後，也就是它們的交配和生育時期，可以成功地人工授精。但這個時間窗口非常短：每21天有12～18小時，而且通常是在晚上。對於一個擁有一大群奶牛需要監控的小奶農而言，同時監控所有的奶牛並且要確定理想的時間來為每頭奶牛人工授精，是非常困難的一件事。
富士通公司想出來的解決辦法是給奶牛裝上電子計步器。這些計步器通過無線電信號與農場相連。數據被傳輸到一個叫作GYUHO SaaS的機器學習軟件系統，這個系統在微軟Azure上運行，即微軟的雲端。富士通的研究表明，每小時步伐數的大幅增加是奶牛發情的信號，準確率為95%。當GYUHO系統發現一頭奶牛發情時，它會給農場主的手機發送一條短信，使農場主能夠在正確的時間進行人工授精。
“結果顯示，奶牛發情時有一個簡單的秘密，那就是它所走的步數。”斯洛什說。這個隱藏的徵兆“對檢測奶牛發熱（即奶牛排卵）的準確率為95%……這就是當人工智能遇上人工授精時發生的事”。有了這個系統在手邊，農場主的生產效率就能不斷提高，受孕率大大提高，而且節省了時間：農場主不必再依賴他們的眼睛、直覺、昂貴的農場勞動力或農夫年鑒來識別發情的奶牛。他們可以利用節約下的時間和資本用於其他方面，以便進一步提高生產效率。
奶牛的傳感器所產生的大量數據還揭示出了另一個非常重要的規律，斯洛什說：富士通的研究人員發現，在開展人工授精最理想的16小時時間窗口內，如果你在前4小時開展這一活動，就會有“70%的可能性得到一頭小母牛，而如果在接下來的4小時你就有更高的概率得到一頭小公牛”。於是這就使得一個農民“可以根據他的需要調整畜群的公牛和母牛的比例”。
數據持續揭示了更多的規律。通過研究奶牛腳印的圖形模式，農場主能在早期發現八種不同的奶牛疾病，從而能夠開展早期治療並且改善畜群整體的健康和壽命。“一個小的創造便可改變像畜牧業這樣的最古老的行業。”斯洛什總結說。
一頭裝有傳感器的奶牛使得畜牧工人成為天才，而火車上裝了傳感器，就不再是傳統的火車，而是裝了車輪的IT系統。它可以在運行中，每走100英尺（1英尺=30.48厘米）就感知和播報鐵軌的質量。它還能夠感知坡度的大小，以及在這樣的地形下行駛每英里需要消耗多少能量，這就使得兩地間運輸的燃料效率或行駛速度最優化。如今所有通用電氣的機車都裝有攝像頭，以便更好地監測司機在每一個轉彎處是如何操作引擎的。通用如今還知道，如果你不得不在炎熱天氣下以120%效率讓引擎高速工作，一些特定零件將會需要提前進行維修保養。
“我們不斷地豐富和訓練我們的神經系統，每個人都從數據中獲益。”魯赫說。你不僅可以用傳感器和軟件來學習，還可以通過運用傳感器和軟件來改變。今天，魯赫解釋道：“我們不再需要對每件產品做出物理性改變來提高它們的性能，我們只需要用軟件來實現。我給一輛無聲的機車裝上傳感器和軟件，突然間我就可以展開預見性維修了。我可以讓其以最佳的速度行駛，節省更多的汽油。我可以更高效地編排所有火車的時刻表，甚至以更高效的方式對它們的停放做出安排。”突然一輛無聲的機車變得更加快速、便宜、智能——而無需更換螺絲釘、螺栓或引擎。“我可以運用傳感器數據和軟件來使機器運行更加高效，就好像是我們製造了全新一代的設備。”魯赫補充道。
他補充說，在一個工廠，“你在工作時視野可能會很狹窄。但是如果機器也可以幫你注視著周圍呢？我們可以在所有物品上安裝攝像頭，一切事物都有了眼睛和耳朵。我們談論五種感知。但人們還沒有意識到的是，這五種感知可以賦予機器，從而使其與人類互動，就像我們和同事之間互動一樣”。
這將會帶來無盡的利潤，錢會堆成一座山。通用電氣公司的首席執行官傑夫·伊梅爾特在2015年10月麥肯錫咨詢公司的一次採訪中解釋道：
每一個鐵路公司的首席執行官都能夠告訴你他們列車的速度。速度為20～25英里/時。這基本上也是一台機車運行一天的平均時速——22英里/時。似乎不是很好。舉個例子，對於諾福克南方鐵路公司來說，時速22英里和23英里，1英里之差的影響年化之後相當於2.5億美元的利潤。這對於諾福克公司來說就是一個巨大的數字。這還只有1英里（每小時）的差距。所以關鍵就在於把時刻表編排得更科學，關鍵就在於減少停機維修時間。關鍵就在於車輪不要壞掉，並且更快速地通過芝加哥。這些都靠分析。
美國電話電報公司的首席戰略官約翰·多諾萬說，他們每天都在將越來越多的“數字尾氣轉換為數字燃料”。美國百貨公司的業主約翰·沃納梅克是20世紀早期零售和廣告業的先行者。他曾經有過一個非常著名的評論：“我花在廣告上的錢一半都浪費了；問題是我不知道哪一半被浪費了。”這在現在看來已經不是問題了。
聯邦貿易委員會的首席科技官員拉坦婭·斯威尼於2014年6月16日在國家公共廣播電台上解釋道，傳感和軟件正在改變零售業：“很多人沒有意識到的是，未來讓你的手機與互聯網相連，它會持續地發出一個內嵌在手機裡的獨特數字，即所謂的MAC地址，好像在說，‘嗨，這裡有無線網絡嗎？’……通過分析手機尋找無線網的這些經常性的探測請求，你能夠監測手機的具體位置，這台手機到這個位置的次數有多頻繁，並且位置可以精確到幾英尺。”零售商可以利用這個信息來觀察你在他們店裡駐足瀏覽了哪些陳列，哪些物品最終誘使你決定購買，這使得他們在一天中定期調整商品的陳設。但是，這些還只是其中的一小部分應用——大數據如今允許零售商監測客戶到他們的某店裡購物前開車路過了哪個廣告牌。
正如《波士頓環球報》在2016年5月19日報道的：
清晰渠道戶外公司是全美國最大的戶外廣告牌公司，如今它們可以定制州際公路上的自動彈出式廣告。它正在波士頓以及美國的其他10個城市展開“雷達”項目。這一項目使用的是美國電話電報公司從其1.3億蜂窩手機用戶那裡收集到的數據，以及普雷斯特IQ公司和普雷斯特公司等其他兩個公司的數據，這兩家公司通過手機應用程序來跟蹤數百萬人的往來行蹤。
清晰渠道戶外公司知道什麼類型的人會在週五下午六點半開車路過他們的某個廣告牌——其中多少人是唐恩都樂甜甜圈的常客，有多少人在今年看過三次波士頓紅襪隊的比賽。
接著，它就可以準確地向他們投放廣告。
對不起，沃納梅克先生。你生活在錯誤的年代。猜測是20世紀的事情。猜猜看的時代已經正式結束了。
但是，個人隱私可能也成為過去。一想到那些大型公司——臉書、谷歌、亞馬遜、蘋果、阿里巴巴、騰訊、微軟、IBM、奈飛（Netflix）、軟件營銷部隊（軟營）、通用電氣、思科，以及所有的電話公司，他們像抽真空一樣吸乾了所有的數據，並且能夠高效挖掘這些數據從而洞察先機，你不得不思考這樣一個問題：人類怎樣做才能與它們匹敵。沒有人能夠擁有如此之多的、可以作為原材料的數據，分析這些數據，並做出越來越準確的預測。如今，數據就是力量。我們需要密切關注大數據為大型公司所創造的壟斷能力。他們不僅可以讓他們的產品統治市場，而且還可以通過所收集的大量的數據來加強對市場的統治力。
存儲/內存
正如我們所看到的，傳感器擁有強大的力量。但是如果沒有內存領域同步出現的突破性發展，那些傳感器收集的海量數據會變得毫無用處。這些突破給我們提供了能夠存儲更多數據和軟件的芯片，通過這些數據和軟件可以與數以百萬計的計算機相互連接，並且通過它們存儲和運行數據，就好像是一台計算機一樣。
那麼存儲空間需要多大？軟件又需要變得多複雜？2014年5月11日，聯合包裹公司的工程主席蘭迪·斯達什克在生產和運營管理協會會議上闡述了大數據的重要性。他從一個長度為199位的數字開始講起。
“這個數字代表了什麼？誰知道嗎？”他問聽眾。
“讓我來告訴你它不是哪些東西。”斯達什克繼續說。
它不是與我們隔一條街的著名的瓦西提餐館從1928年開張以來賣掉的熱狗數量，也不是週五下午五點亞特蘭大擁擠的州際公路上行駛的汽車數量。實際上，這個數字，總共199位，代表了聯合包裹公司的一位司機每日送貨平均停留120站的情況下，可能經過的不同的送貨路線的數量。再想像一下，用那個數字乘以5.5萬，得出來的數字是我們的司機每個工作日可能選擇的美國公路路線的數目。如果要展示這個數字，我們可能需要位於達拉斯的美國電話電報公司體育場那塊高清晰屏幕。但是不管怎樣，聯合包裹公司的司機們有辦法每天給超過900萬的顧客投遞近1700萬個包裹，從寄給得梅因的一名高中畢業生的iPad到寄給丹佛的一位糖尿病患者的胰島素，還有那兩隻從北京運往亞特蘭大動物園的大熊貓。他們是怎麼做到的？答案就是運營研究。
裝在車輛中的超過200個傳感器會告訴我們司機是否繫著安全帶，車輛行駛有多快，剎車制動何時啟動，發動機艙壁門是否打開，運貨車是前行還是後退，行駛街道的名稱，甚至車輛靜止與行駛的時間對比。遺憾的是，我們不知道那只坐在門前、貌似天真無邪的狗會不會咬人。
對長達199位數字的不同送貨路線做出安排，並同時考慮聯合包裹公司卡車中200個傳感器所傳回的數據，這需要很大的內存空間、計算能力以及軟件能力——對於一家普通的公司而言，這在15年前是不可獲得，甚至是不可想像的。如今任何一家公司都可以獲得這種能力。這背後有一個非常重要的故事，存儲芯片和一個以玩具大象命名的突破性軟件的結合，使人們得以對“大數據”進行“大”分析。
微芯片，正如我們上文提到的，是越來越多晶體管的簡單集合。你可以對這些晶體管進行編程並用它們來計算、傳輸或存儲。存儲芯片有兩種基本形式：一種是DRAM，即動態隨機存取存儲器，用來處理和移動正在運行的臨時數據；另一種是“閃存”存儲器，當你點擊“保存”按鈕時就是用它來永久地存儲數據。摩爾定律同樣適用於存儲芯片——我們持續地以更低的成本和更少的能量將存儲能力更大、數量更多的晶體管安裝到每一塊芯片上。如今一台手機平均擁有16G內存，意味著它能夠在一個閃存芯片上存儲160億個字節的信息（1個字節是8位數字）。10年前閃存密度甚至還不足以在手機上存儲一張照片。這就是所有這一切加速的結果，其他很多事物也因此得以加速發展。
“沒有摩爾定律就不會有大數據。”英特爾公司資深研究員馬克·玻爾說，“它給了我們更大的內存、更高強度的運算，以及大型服務器集群處理如此強大的運行能力所需要的能量、效率和可靠性。如果那些服務器由真空管製造，那麼就算是一個胡佛大壩也只能容納一個服務器集群。”
但是，使數據變成“大數據”不僅依靠硬件的突破，還取決於軟件創新——這也許是過去10年裡出現的、但你從未聽到過的最重要的事情。那種軟件使數以百萬計的計算機串在一起並像一台計算機一樣運行，它還使得對數據進行大海撈針式的搜索變得簡單可行。這個軟件被它的創始人命名為哈度普（Hadoop），這也是他兩歲的兒子最喜歡的玩具大象的名字，所以這個名字很容易被記住。記住這個名字：哈度普。它幫助改變世界，當然谷歌也為它提供了巨大的幫助。
那個小男孩的父親，也就是哈度普的創始人是道格·卡丁，他將自己描述為一個軟件創新的“催化師”。卡丁成長在加州納帕郡的鄉村地區——直到1981年他進入斯坦福大學才見到了第一台計算機，而且他需要貸款才上得起學。在那裡，他學習的是語言學，也上了一些計算機科學的課程，並學會了如何編程。他發現編程很有趣，而且，他還發現編程是還清學生貸款的最好途徑。所以他並沒有攻讀商學院，而是在傳奇的施樂帕克研究中心找到了一份工作，在那裡他加入了語言學團隊來研究人工智能以及在那時一個相對新興的領域——“搜索”。
人們忘記了在谷歌之前“搜索”就出現了。儘管有很多非常棒的科技想法，施樂還是錯過了個人計算機商業市場。卡丁說，這個公司“試圖搞清楚怎樣從複印紙墨過渡到數字世界。它提出了一個想法，用複印機取代文件櫃。你只需要掃瞄文件，就可以進行搜索。施樂對這個世界的看法始終是紙張取向的。這是一個公司無法拋棄它的穩定財源的典型案例——紙張是它的搖錢樹。施樂曾試圖搞清楚如何將紙張帶進數字世界，那是它關注搜索的理由。這發生在萬維網出現之前”。
當萬維網出現後，以雅虎為首的一批公司開始為顧客實現搜索功能。雅虎最開始做的是眾多名錄目錄的總目錄。只要有人創建了一個新網站，雅虎便會將其添加到其索引名錄中，接著它會將所有網頁分成不同組別——金融、新聞、體育、商業、娛樂，等等。“然後搜索就出現了。”卡丁說，“萬維網的搜索引擎紛紛出現，比如遠景公司，它為2000萬個網頁編製了目錄。這個數量很大——以至於一段時間內它超越了所有公司。這發生在1995—1996年。不久之後（1997年），谷歌出現了，它拿出了一個小搜索引擎，並且聲稱有更好的方法。最終，谷歌勝出了。”
卡丁說“谷歌脫穎而出之後，我利用業餘時間，寫了一個開源搜索程序”，與谷歌的專有系統競爭。這個程序叫作“盧瑟恩”（Lucene）。幾年後他和幾位同事創建了“納馳”（Nutch），這是第一個大型開源網頁搜索引擎，並成為谷歌的競爭對手。
開源是軟件開發的一種模式，在開源社區裡任何人都可以對軟件進行不斷改進，並且通常在經過許可之後，可以免費使用大家集體努力的成果，只要他們與範圍更廣的群體分享他們的改進。這充分利用了集體的力量，所謂“三個臭皮匠，勝過一個諸葛亮”。如果每個人研究一個程序或產品，然後分享他們的改進，那麼這個產品將會以更快速的方式得到改進，並繼而更加快速地催生更多的改變。
卡丁要實現創建一個開源搜索程序的渴望，就不得不克服一個非常基礎性的問題：“如果你有一台計算機，你能夠存儲在這台計算機上的數據量受到硬盤的容量所限，並且你處理相關數據的速度和深度則要受到處理器的處理能力所限，這很自然地限制了你能夠執行的運算規模和速率。”
但是隨著雅虎和美國在線的出現，數十億比特與字節的數據在網上累積起來，要駕馭這些數據需要持續擴大內存空間並不斷提高計算能力。所以人們開始將多台計算機組合起來。如果你能夠將兩台計算機組合在一起，你將有兩倍的存儲空間和兩倍的運行速度。多虧了摩爾定律，隨著計算機內存硬盤和處理器變得越來越便宜，企業開始意識到它們可以建造足球場那麼大的建築，從地板到天花板堆滿處理器和硬盤，這被稱為服務器集群。
但是，卡丁說道，還缺少一樣東西，即將硬盤和處理器連接在一起的能力，以使它們能夠以一種協調的方式儲存大量數據，並且對所有數據進行整體運算，所有的處理器都同步平行運行。真正難的部分是可靠性。如果你有1台計算機，它也許一星期死機1次，但是如果你有1000台，那麼死機的頻率將提高1000倍。所以，為了解決這個問題，你需要兩個程序：一個可以使所有計算機聯合起來無縫運行；另一個可以使計算機群所產生的海量數據變得可搜索，可以從中發現固定模式或規律。硅谷的工程師們喜歡把這樣的問題稱為SMOP——因為，“我們擁有我們需要的所有硬件——我們只需克服這個‘小小的編程問題’（Small Matter of Programming，簡稱SMOP）”。
我們所有人都要感謝谷歌，它為擴大其搜索業務提出了解決方案。谷歌真正的天才之處，卡丁說，在於“它開發了一套存儲系統，使得1000個硬盤看起來就像1個硬盤，所以如果有1個壞掉了你也注意不到”。谷歌同時還開發了一套軟件處理硬盤上存儲的大量數據。谷歌不得不自己開發這些軟件，因為當時不存在商業性上可行的技術滿足其存儲、處理、搜索全世界信息的雄心。換句話說，谷歌不得不為了創建它認為全世界所需要的搜索引擎而進行創新，但是它是以一種專有的、排他的方式經營自己的業務，並且不對任何其他人進行授權。
然而，依照程序員界歷史悠久的傳統做法，谷歌決定將它引以為豪的創新中的一些基礎性技術與公眾分享。所以它發表了兩篇文章，概括了兩個能夠使它一次性積聚並搜索大量數據的關鍵性程序。2003年10月發表的一篇文章概述了谷歌檔案系統（Google File System, GFS）。這個系統的用處是管理和獲取存儲於廉價的、標準化商業計算機硬盤中的大量數據。由於谷歌的抱負是組織和整理世界上的所有信息，這就要求能夠存儲和訪問PB級（1PB相當於1000TB或100萬GB）甚至是EB級（1EB=1000PB）的數據。
這就需要谷歌的第二個創新——2004年12月發佈的谷歌映射歸納（Google MapReduce）。阿帕奇網站（Apache.org）形容它是“一種軟件框架，用它編寫的應用程序能夠以一種可靠的、容錯的方式在多個標準化的商用硬盤集群上並行處理大量數據（多個TB數據集）”。簡單來說，谷歌的兩個設計創新意味著我們突然之間可以存儲數量多得超乎想像的數據，並可以超乎想像的簡單方式運用軟件應用來探索這些堆積如山的數據。
在計算和搜索的世界裡，谷歌向廣大計算社群分享這兩個基礎性設計的決定——而非谷歌檔案系統和谷歌映射歸納解決方案的實際的、谷歌專有的源代碼——是一件非常了不起的事情。谷歌實際上邀請了整個開源社區在它的重大創新基礎上添磚加瓦。這兩篇論文形成了殺手級的組合，使大數據有能力改變幾乎每個行業。它們還催生了哈度普。
“谷歌描述了一種能夠輕鬆駕馭大量計算機的方法。”卡丁說道：“它們並沒有向我們提供源代碼，但給了我們足夠多的信息，一個技術嫻熟的人足以照章複製，甚至可能對其做出改進。”哈度普就是這麼做的。它編寫的算法能夠把數十萬台計算機變成一台超級計算機。所以任何人都可以購買大量的標準化的硬件和存儲設備，並在哈度普上運行，於是轉眼之間，就可以開展海量運算。
不久，臉書、推特和領英都開始在哈度普上搭建自己的平台。這就是為什麼它們同時出現在2007年！為什麼？因為他們的平台上都有大量的數據流通，但他們知道自己還沒有充分利用這些數據。他們可以購買硬盤驅動器存儲數據，但沒有工具最大限度地利用這些數據。雅虎和谷歌想做的是捕獲網頁並分析它們，以便人們進行搜索。雅虎、領英或臉書之類的公司能夠做得更多，當他們看到並存儲網頁上的每一次點擊，並能準確理解用戶正在做些什麼的時候，搜索將變得更加有效。這些點擊可能已經被記錄下來了，但在哈度普出現之前，除了谷歌之外，沒有人能有效利用這些數據。
“有了哈度普，他們可以將所有數據存儲在一個地方，並按用戶和時間排序，突然之間，他們就可以看到每個用戶在一段時間內做了些什麼。”卡丁說道，“他們可以瞭解人們是怎樣從網站的一個部分跳轉到另一個部分。雅虎不僅會記錄你對某個網頁的點擊，還會記錄該網頁上可點擊的所有內容。然後，他們可以看到你點擊了什麼，以及跳過而沒有點擊什麼，這些都位於網頁的什麼位置，包含了什麼內容。這就是大數據分析：當你看到更多，你就可以瞭解更多；而如果你瞭解更多，你就可以做出更好的決定。因此，數據與分析相結合為我們提供了更廣的視野。哈度普讓谷歌以外的公司也能做到這一點。於是，大家圍繞哈度普編寫更多的程序，這就啟動了一種良性的能力升級。”
所以現在我們既擁有谷歌系統，這是一個專有的閉源系統，只在谷歌的數據中心運行，人們可以用谷歌的系統做任何事情，從基本搜索到面部識別、拼寫校正、翻譯和圖像識別等。同時，我們還擁有哈度普，它是開源的，由所有人共同運行，利用數以百萬計的廉價服務器進行大數據分析。如今，IBM和甲骨文公司等技術巨頭已經在哈度普技術上實現了標準化，並為其開源社區做出了貢獻。與專有系統相比，開源平台上不僅沒有摩擦和衝突，而且有更多的人一起開發，於是其擴張的速度更快。
哈度普擴大了大數據的應用範圍，這還得益於另一個關鍵性突破：非結構化數據的轉換。
在哈度普之前，大多數大公司很少關注非結構化數據。相反，他們依靠甲骨文公司的SQL——這是20世紀70年代IBM發佈的一種計算機語言——來存儲、管理和查詢大量的結構化數據和電子錶格。“SQL”的意思是“結構化查詢語言”（Structured Query Language）。在一個結構化數據庫中，這個軟件會告訴你每一條數據是什麼。在銀行系統中，它會告訴你“這是一張支票”“那是一筆交易”“這是一項餘額”。所有這些信息都在一個結構裡，所以軟件可以快速找到您的最新支票存款。
非結構化數據是那些你無法使用SQL查詢的內容。非結構化數據是一團糟。這意味著你把所有可以數字化和存儲的信息都一股腦地吸了進來，沒有任何特定的結構。但哈度普使數據分析人員能夠搜索大量的非結構化數據並從中找到模式。這種在不知道要找什麼的情況下從堆積如山的非結構化數據中進行篩選、查詢並獲得答案以及識別模式的能力，是一個意義深遠的突破。
正如卡丁所說，哈度普來了，它告訴用戶們：“給我你的結構化和非結構化數據，我們會從中找到意義所在。”例如，像維薩這樣的信用卡公司不斷地尋找欺詐線索，它的軟件可以在30天或60天的時間窗口內進行查詢，但不能再延長查詢週期了。哈度普給維薩公司帶來了以前沒有的規模。一旦維薩安裝了哈度普，它就可以查詢4年或5年的數據，於是突然之間，在一個更長的時間窗口下，它發現了迄今為止最大的欺詐行為模式。哈度普使人們可以在前所未有的更大規模和更低成本基礎上運行那些他們已經知道如何使用的工具。
這就是為什麼哈度普現在成了結構化和非結構化數據分析的主要操作系統。我們曾經丟棄數據，因為它的存儲成本太高，尤其是非結構化數據。現在我們可以存儲它並找到蘊含在其中的模式，一切都值得吸收和保存。“如果你看一看人們正在創建和連接的數據數量以及用於分析這些數據的新軟件工具，你會發現它們至少都呈現出了指數級增長。”卡丁說道。
之前，“小”意味著快速但無關痛癢，而“大”意味著具有規模經濟和效率，但是缺乏敏捷度。美國電話電報公司的約翰·多諾萬解釋道：“如果我們現在可以把大規模變得更敏捷，那麼將會怎麼樣？”他問道。過去，“大規模，就意味著失去敏捷度、個性化和定制化，但現在大數據允許你實現這三個方面的要求”。它讓你可以從100萬次非個人的、大規模和無法採取行動的互動中得到100萬個獨特的解決方案，實現的方式是對每一塊數據加以分析、利用、梳理並用軟件加以定義。
這絕非一件小事。優達學城的創始人、大規模在線開放課程的開拓者之一塞巴斯蒂安·圖恩曾是斯坦福大學教授，他曾經在2013年11/12月的《外交》雜誌的一次採訪中評論道：
隨著數字信息的出現，信息的記錄、存儲、傳輸實際上已經變得完全自由。上一次在傳輸信息的成本結構方面發生如此重大的改變還是書本變得流行起來的時候。印刷術在15世紀發明，幾個世紀後流行開來，並產生了重大影響，使我們得以將文化知識從人腦轉移至印刷品。此刻，我們正面臨著同樣類型的革命，它方興未艾，正在影響著人類生活的方方面面。
我們才剛剛處於開始階段。哈度普之所以能夠出現，是因為摩爾定律使得硬件存儲芯片更加便宜，因為谷歌分享了它的一些核心技術並且向開源社區發出了挑戰，看看其他人是否能夠趕上並且超越它，還因為開源社區通過哈度普不斷克服這些挑戰。哈度普的開源資源從來不是單純地複製谷歌，它在很多方面的創新已經偏離了谷歌的模式。正如卡丁所說：“想法很重要，但是把想法變為現實並交付公眾的實施過程同樣重要。”施樂公司帕克研究中心發明了圖形式用戶界面（帶有視窗和鼠標），發明了網絡工作站、激光打印，等等，但還是要靠蘋果和微軟提出的更加容易市場化的實施方案，使這些想法最終能夠改變世界。
這就是哈度普的故事和大數據革命——但是這是在谷歌的巨大幫助下發生的。很具諷刺意味的是，由於哈度普利用這些大數據工具打造了一個全新的行業，現在就連谷歌都希望將它的大數據工具推銷給公眾。
“谷歌生活在未來幾年。”卡丁總結道，“他們從未來以信件的形式把這些文件寄給我們，我們所有人都在跟隨著它；而現在他們也在跟隨我們，這一切都開始成為雙向的了。”
軟件：使複雜變得不復存在
如果要討論軟件發展和傳播的加速，就不能不談及比爾·蓋茨以及與他共同創建微軟的保羅·艾倫。在比爾·蓋茨之前，軟件就已經存在很長時間了。只是計算機用戶從未注意到，因為軟件已經被裝在了你所買的計算機內，成為一種與閃閃發光的硬件同在的必不可少的東西。蓋茨和艾倫改變了這一切。這始於20世紀80年代早期，他們的第一次冒險是為一個叫作BASIC的編程語言編寫了註釋器，然後創建了DOS操作系統。
當時，硬件公司大多會外包或自己編寫專用的軟件，他們在自己的機器上運行自己的操作系統和專屬應用程序。比爾·蓋茨相信，如果有一個可以在所有類型的機器上都能運行的軟件系統——這些機器未來將會包括宏碁、戴爾、IBM以及上百個其他品牌，那麼這個軟件本身將會具有價值。如今人們很難理解這在當時是一個多麼激進的想法。但微軟公司就是在這個主張的基礎上誕生的，即人們不應該在買機器的時候一次付款，就得到了軟件，每個用戶都應該為軟件程序單獨付費。DOS操作系統從本質上所做的就是消除了不同計算機之間的硬件差異。無論你買了戴爾、宏碁還是IBM的計算機，都沒有關係。它們都擁有相同的操作系統。這使得台式計算機和筆記本電腦成為標準化的商品——而這是計算機製造商最不想看到的事情。真正有價值的是各種各樣的軟件，而這些軟件都依賴DOS操作系統。微軟就是這樣變得非常富有的。
我們如今天天要用軟件，以至於我們忘記了它實際是做什麼的。“什麼是軟件的經營之道？”克雷格·蒙迪問道。很多年來，他一直是微軟的首席研究和策略官，也是我時常求教的老師。“軟件是個神奇的東西，它將出現的每一種複雜形式都加以抽像和簡單化。這就創造了一個新的基準線，人們可以在此基礎上著手解決問題，不必勞神掌握更基礎層面的複雜性。你只需要在新的層面開始，並添加你的價值。每次你將基準線提高，人們就會創造新的事物，這種復合作用導致軟件如今可以將各種複雜事物簡單化。”
花幾秒鐘想像一個軟件應用，比如“谷歌相片”。它能夠非常好地識別你存儲在電腦裡的照片。20年前，如果你的配偶對你說：“親愛的，給我找一些我們在佛羅里達度假的照片。”你將不得不一個相冊接著一個相冊，翻箱倒櫃地找。當相冊被電子化之後，你就可以將你的所有照片上傳到網上。今天，谷歌相冊備份了你所有的電子照片；一一整理並對它們作了標記。利用圖像識別軟件，你只要點擊幾下鼠標或使用幾個手勢，就可以找到想要找的任何一張照片，或者甚至發一條語音，電腦就能幫你找到想要的照片。換句話說，軟件可以抽像並簡化分類檢索過程中所有的複雜步驟，簡化到只用幾個按鍵、觸碰或語音命令。
再想一想5年前我們是如何叫出租車的。“出租車！出租車！”你在路邊大喊，也許還站在雨中，看著一輛輛出租車載著別的乘客呼嘯而過。於是，你在附近一個電話亭裡或用手機給出租車公司打電話，等了5分鐘之後，他們告訴你還要繼續等20分鐘——你不相信他們說的，其實他們自己也不相信自己。今天，我們都知道事情變得大不一樣了：所有與呼叫、定位、排班、派車、付款甚至與給出租車司機打分相關聯的複雜步驟都變得簡單了。如今簡化到只需在你的智能手機上點擊幾下“優步”軟件應用即可。
蒙迪解釋道，計算機和軟件的歷史“其實就是軟件和硬件相結合，共同將越來越多的複雜事物簡化的歷史”。應用程序員之所以能夠完成這項魔法，靠的是APIs（application programming interfaces），即應用程序接口。APIs是計算機為實現你的每一個願望而實際執行的應用命令。如果你想給正在編寫的應用程序加一個“保存”按鈕，當你按下它時，你的文件就會被儲存在閃存硬盤裡，你可以通過一系列的APIs來做到這一點。如果你要“創建文檔”“打開文檔”“發送文檔”或者進行其他動作，也可以如此傚法。
如今，來自許多不同方面和系統的APIs已經變得越來越無縫交互。公司之間相互分享它們的APIs，這樣開發者就可以設計出能與其他應用和服務交互、可以在其他應用和服務上操作的應用和服務。所以，當人們點擊我的網站（ThomasLFriedman.com）購買書籍時，實際上是在通過亞馬遜購買——我也在用亞馬遜網站的APIs。
“APIs使得越來越多的網絡服務的混搭成為可能，開發人員使用來自谷歌、臉書或推特等公司的APIs，通過對它們進行混搭，創建全新的應用和服務。”開發者網站“讀寫網”（ReadWrite.com）解釋道：“在許多方面，主要服務活動APIs的廣泛可用性造就了我們今天的網絡體驗。比如，當你在安卓系統裡用Yelp（點評軟件）搜索附近的餐館時，它會通過與谷歌地圖的API進行交互，將餐館的位置標注在谷歌地圖上。Yelp無須創建它自己的地圖。”
蒙迪解釋道，這種類型的集成被稱為“無縫”集成，因為用戶從來沒有注意到軟件功能是從一個底層的網頁服務器轉移到另一個網頁服務上的……一層一層的APIs將單個計算機內部正在運行的複雜程序隱藏了起來，傳輸協議和信息傳遞格式讓你看不到將所有這些計算機融入一個網絡之中的複雜之處。“這種垂直堆疊和水平相互連接創造了你在計算機、平板電腦或手機上每天享受的體驗。微軟雲、惠普公司，以及臉書、推特、谷歌、優步、愛彼迎（Airbnb）、Skype、亞馬遜、貓途鷹、Yelp、Tinder（交友軟件）或《紐約時報》的所有服務，它們都是運行在數以百萬計的計算機上的上千個垂直和水平的APIs及協議通過網絡來回對話的產物。”
軟件生產正在加速，不僅僅是因為編寫軟件的工具以指數型的速度增加，而且這些工具還使得越來越多的公司和人能夠合作編寫更加複雜的軟件和API代碼。現在並不僅僅是100萬個聰明人在寫代碼，而是100萬個聰明人在一起合作寫代碼。
這自然而然就引出了吉特港——當今最前沿的軟件編寫平台之一。吉特港是一個通過協作創造軟件的最受歡迎的平台。這些創造活動可以採取任何形式——個人與個人合作，公司內部的封閉團隊，或非常開放的開源社區。自2007年起，吉特港出現了爆發式的增長。眾人拾柴火焰高，於是，越來越多的個人和公司依賴吉特港平台。它使人們能夠充分利用通過合作產生的最優的、已經具有特定商業價值的軟件，實現更快速的學習，然後在此基礎上與公司內部和外部的智力資源開展團隊協作，以進一步創新。
今天，有超過1200萬名程序員使用吉特港來編寫、改進、簡化、存儲和共享軟件應用程序，並且這一人數還在快速增長。在我2015年初的第一次採訪到2016年初的最後一次採訪之間，它增加了100萬用戶。
想像一下，有這樣一個地方，它是維基百科和亞馬遜的混血兒。你上網來到吉特港數字圖書館，並且從書架中挑選出你所需要的軟件——例如，庫存管理系統、信用卡處理系統、人力資源管理系統、視頻遊戲引擎、無人機控制軟件或機器人管理軟件。然後將其下載到公司或自己的計算機上，根據你自己的特定需求調整和改進，再將你的改進上傳回吉特港數字圖書館，以便下一個人可以使用這個新的改良版本。現在想像一下，世界各地的最好的程序員都做著同樣一件事情。這就形成了一個良性循環，可以快速學習和改進軟件程序，進而推動越來越快的創新。
吉特港最初由三個優秀的怪才創立——湯姆·普雷斯頓·維爾納、克裡斯·萬斯特拉斯和P.J.海耶特，現在已經成為世界上最大的代碼主機。現在我找不到任何一家不使用吉特港平台開展協作的大公司，於是我決定去探訪吉特港位於舊金山的總部，探索一下諸多源代碼的源頭。巧合的是，我在一個星期前剛在橢圓形辦公室就伊朗問題採訪了奧巴馬總統。我之所以這麼說，只是因為吉特港的訪客大廳一模一樣地複製了橢圓形辦公室，甚至連地毯都一樣！
他們喜歡讓他們的客人感到很特別。
吉特港的首席執行官克裡斯·萬斯特拉斯給我講述了“Git”如何成為Github的故事。他解釋道，Git是一個“分佈式的版本控制系統”，是由林納斯·托瓦茲於2005年發明的，他是我們這個時代最偉大的但卻被忽視的創新者之一。托瓦茲是開源精神的布道士，他創造了Linux操作系統，這是第一個能夠與微軟的視窗操作系統競爭的開源操作系統。托瓦茲的Git程序允許一組程序員一起工作，所有人都使用相同的文件，每個程序員可以在其他人的工作基礎上或旁邊編寫自己的代碼，同時每個人還可以看到誰做了什麼改變，並保存、撤銷、改進和驗證這些改變。
“以維基百科為例，它是一個用於編寫開源百科全書的版本控制系統。”托瓦茲解釋道。人們為每個條目做出了他們的貢獻，你還可以隨時查看、改進和撤銷任何更改。唯一的規則是任何改進必須與整個社區分享。專有軟件（如微軟的視窗操作系統或蘋果的iOS操作系統）也是由一個版本控制系統生成的，但它是一個閉源系統，其源代碼不會與公司外部的群體分享。
吉特港的開源模式是“一個分佈式的版本控制系統：任何人都可以做出貢獻，這個開源社區每天決定誰做出了最好的版本”。萬斯特拉斯說道：“在這裡編程具有社會屬性，最好的程序能夠自動置頂，就像書籍在亞馬遜上被買家打分評級一樣。在吉特港上，開源社區對不同的版本進行評估並給出星星或點贊，或者你可以跟蹤下載的數量來看看誰的版本被接受的次數最多。你編寫的軟件版本可能週四的時候最受歡迎，然後我加入進來並在你的版本基礎上進行加工，那麼我的版本在週五就可能到排行榜首，整個社區將會從中受益，消費者可以有更多的選擇。”
我問31歲的萬斯特拉斯，他是如何進入這個領域工作的。他說：“我12歲或13歲的時候開始編程。我想製作視頻遊戲。我熱愛視頻遊戲。我的第一個程序是一個偽人工智能程序。但視頻遊戲編程當時對於我來說太難了，所以我學會了如何製作網站。”萬斯特拉斯在辛辛那提大學學習英語專業，但他花了大部分時間編寫代碼，而不是閱讀莎士比亞，並參加了網上的基礎性開源社區。“我渴望獲得指導，並尋找需要幫助的項目，這就把我引到了創建開發者工具的道路上去了。”
萬斯特拉斯將他的簡歷和工作樣本發送給了硅谷的很多軟件作坊，想找一份初級編程工作。最後，科技資訊網（CNET.com）——一個媒體平台的宿主網站——的一位經理決定給他一個機會，不是基於他的大學成績，而是基於他所編寫的程序在不同開源社區獲得的點贊數量。“我不瞭解舊金山。”他說道，“我以為那裡滿是沙灘和旱冰鞋。”他很快發現那裡都是比特和字節。
2007年時，萬斯特拉斯是一名軟件工程師，使用開源軟件為科技資訊網做產品。那一年，托瓦茲去了谷歌，並且就他編寫的協作編碼工具Git做了一次演講。萬斯特拉斯回憶說：“托瓦茲的演講被放在了視頻網站YouTube上，於是我的一些同事說：‘我們想用這個Git工具，不再用那些服務不同社區的不同服務器了。’”
到那時為止，開源社區非常開放，但也非常碎片化。“當時開源的群體還沒有形成一個社區。”萬斯特拉斯回憶道，“不同的開源社區是以項目為基礎的。這就是當時的文化。所有的工具、所有的想法，都專注於你如何運行和下載這個項目，而並不關注人們如何一起工作或彼此如何交流。”萬斯特拉斯的新想法是：為什麼不能在同一地方、同一時間做10個項目，並且它們都共享一個底層語言，所以它們之間可以互相說話，程序員也可以在項目之間來回穿插呢？
因此，他與科技資訊網的同事P.J.海耶特一起琢磨一個不同的方法。海耶特擁有計算機科學學位。同時還有湯姆·普雷斯頓·維爾納，他在與萬斯特拉斯第一見面之前，就早已開始合作開源項目了。
“我們對自己說：‘用這個Git實在是難度太高了。但是，如果我們製作一個網站使它更容易使用呢？’”萬斯特拉斯回憶道，“我們想：‘如果我們可以讓每個人都使用Git，那麼我們就不必擔心用什麼工具編程了，並可以專注於正在編寫的內容。’我想要通過在網頁上點擊一下的方式就實現這一切。我可以對一個程序進行評論，並且像在推特中關注別人一樣，以同樣的方式和簡易程度在網站上關注他人和他們所寫的代碼。”那樣的話，如果你想做100個不同的軟件項目，你不必學習100種不同的方法。你只需要學會Git就可以很輕鬆地處理它們了。
2007年10月，他們三人創建了一個Git中心——“吉特港”誕生了。它於2008年4月份正式啟動。“它的核心是分佈式的版本控制系統，這個系統帶有一個社交層面，可以連接所有的人和所有的項目。”萬斯特拉斯說。當時的主要競爭對手“鑄源”（SourceForge）需要5天時間來決定是否接受你的開源軟件。相比之下，吉特港是一個與全世界分享你的代碼的地方。
“比方說，你想發表一個名為‘如何寫專欄’的程序。”他對我解釋道，“你只需要以你的名字將它公開發佈在吉特港上。我會在網上看到並說：‘嘿，我想補充幾點。’在過去，我可能會寫出我想做改變的代碼，然後以摘要的形式對社區進行推銷。而如今我會將你的代碼放入我的沙盒裡。這就是所謂的‘分支’（fork）。我對它進行修改，並且我的更改完全是公開的——這是我的版本。如果我把我的更改返回給你，即原作者，我會發出一個請求。你會看到我所設計的‘如何寫專欄’的新方法，可以看到所有更改。如果你喜歡它，你可以按下‘合併’按鈕。然後下一個瀏覽者會看到整合後的版本。如果你不喜歡它的某些部分，我們可以討論、評論和審查每一行代碼。這就是有組織地集合眾人的智慧。但最終會有一個專家——那個編寫了原始程序‘如何寫專欄’的人——他決定接受什麼以及拒絕什麼。吉特港將會顯示我在上面做了修改，但是你可以控制什麼可以和你的原始版本合併。這就是現在創建軟件的方式。”
15年前，微軟創造了一項叫作“.NET”的技術——一個為銀行和保險公司開發重大企業軟件的專有閉源平台。2014年9月，微軟決定將其在吉特港上開源，來看看開源社區有什麼可以補充的。6個月內，有非常多的人無償地為微軟改進“.NET”，人數之多要超過自“.NET”創立以來微軟公司內部負責該項目的工作人員總數。
“開源並不是讓人們隨心所欲地做事情。”他很快又補充道。微軟為它的程序制定了一系列的戰略目標，並告訴社區他們想要做什麼，開源社區會提出修改和改進，然後微軟接受。他們的平台最先只在微軟“視窗”系統上運行。直到有一天，微軟宣佈未來將實現在蘋果的Mac系統和Linux系統上運行。第二天社區就說：“很好，非常感謝你。我們將為你完成其中一項。”吉特港社區自己創建了一個Mac版本——並且是一夜之間完成的！這是給微軟慷慨分享的一個回饋。
萬斯特拉斯總結道：“使用優步時我想的是要去哪裡，而不是怎樣到達那裡。這同樣適用於吉特港。現在你只需要思考想要解決什麼問題，而不是使用什麼工具。”你可以去吉特港書架找到你需要的，取下它，改進它，然後放回書架以便下一個人瀏覽。在這個過程中，他補充說：“我們避免了所有的摩擦。你從吉特港上看到的，也正在每一個其他行業中發生。”
當這個世界是平的，你可以將所有的工具陳列出來，供每個人使用，但是這個系統仍然充滿摩擦。但當這個世界變快了，工具消失了，你所需要想的所有事情就是項目本身。“在20世紀，硬件是最大的約束，人們都在思考怎樣使硬件變快：更快的處理器，更多的服務器。”萬斯特拉斯說道，“21世紀的關鍵是軟件。我們不能創造更多的人，但是我們可以培養更多的軟件開發者，我們希望賦予人們力量，創建更好的軟件，提升已有軟件的能力。我們希望開放軟件開發的世界，培養更多的程序員，這樣，他們就可以創造下一個偉大的創業企業或創新項目。”
在開源社區裡，有一些非常棒的人。究其本源，驅動開源社區的是人性深處對協作的渴望以及對工作得到認可和肯定的渴望，而不是金錢獎勵。“嘿，你補充的非常酷。做得非常好。加油！”這些話語能創造出神奇的價值。通過激發人們內心深處想要創新、分享並獲得認可的渴望，無數的免費勞動被釋放出來。
事實上，今天最令人激動的是，萬斯特拉斯說：“項目背後的那些人在吉特港上發現了彼此。公司發現了開發人員，開發人員發現了彼此，學生發現了導師，業餘愛好者發現了志同道合的人。它正在成為一個真真正正的社區。人們在吉特港上遇到彼此，發現他們住在同一個小鎮，然後一起出來吃披薩，並一整晚討論編程。”
當然，即使是開源社區也需要資金來運作，特別是當你擁有1200萬用戶的時候，所以吉特港設計了一個商業模式。它向公司設立的私人商業賬戶收取平台使用費用，使用這個賬戶的公司可以用其專有的業務代碼創建私人軟件存儲庫，並決定與誰合作。現在許多大公司在吉特港上擁有私人和公共資源庫，這樣他們能夠利用最多的智慧大腦。
“我們用名為‘開放堆棧’（OpenStack）的開源軟件構建了雲架構。我們有10萬名開發人員，儘管他們並不為我們工作，但他們一周做的東西我們1年也無法完成。”惠普公司總裁兼首席執行官梅格·惠特曼說道，“我相信，人們渴望證明自己，這是推動世界發展的動力。這就是這些開源社區如此強大的原因。人們希望社區中的其他人認可自己的作品。你喜歡我嗎？真的嗎？我們大多數人無法得到很多來自他人的認可。我在易趣公司瞭解到了這一點。人們對他們獲得的反饋幾近瘋狂。還有什麼地方能夠讓你在醒來之後發現每個人有多愛你！？”
過去，公司會等待下一代芯片下線。現在，他們可以用軟件讓已有的硬件煥發新的活力。人們現在等待的是新的軟件。這就是為什麼美國電話電報公司的約翰·多諾萬會說：“對我們來說，摩爾定律已經是過去的美好時光了。每12個月到24個月，我們可以設計出一款新的芯片，我們知道它要來了，所以我們可以測試它，並為它做計劃。”如今更重要的是下一個出現的會是什麼軟件。“變化的速度是由誰編寫的軟件所決定的，當那些開卡車和爬梯子的傢伙爬上電線桿對你說：‘多諾萬，我們現在是一家軟件公司了。’你就知道，重要的事情發生了。軟件曾經是瓶頸，現在它正在超越一切。它已經成為摩爾定律的復合乘數。”
網絡：帶寬和移動性
儘管處理器、傳感器、內存、軟件的加速發展都非常重要，但它們發展到目前這種程度離不開連接性的加速進步——那就是，世界陸地以及海底光纖和無線網絡的容量和速度，這些都是互聯網和移動電話的主幹。在過去的20年裡，這個領域的進步也接近摩爾定律的速度。
在2013年，我訪問了田納西州的查塔努加，當時這個地方被戲稱為“千兆之城”（Gig City），因為這裡有全美國速度最快的互聯網服務。這是一個超高速光纖網絡，每秒可以傳輸1000兆位的數據，這大約是美國一個標準城市平均網速的30倍。根據《紐約時報》2014年2月3日刊登的一篇報道：“在查塔努加下載一部2小時的高清晰電影只需要33秒，而在全國其他地區使用平均高速寬帶連接的用戶則需要25分鐘。”當我到那裡採訪的時候，人們正在談論10月13日的一場不同尋常的二重奏。這場演奏會採用了具有超低延時的視頻會議技術。延時越低，兩個人在兩地之間互相交談時的延遲越不明顯。查塔努加的新網絡使這種延遲已經短到人耳無法識別的程度。在這場演奏會上，格萊美獎得主T.伯恩·波奈特與BR549樂隊的創始人查克·米德一起為4000名聽眾演奏了一曲《生活狂野的一面》。但這不是尋常的二重奏。波奈特在洛杉磯的工作室裡演奏，而米德則在查塔努加登台演出。當地網站Chattanoogan.com報道說，這場貫穿美洲大陸的二重奏之所以成為可能，是因為查塔努加的新光纖網絡的延遲是67毫秒，這意味著在不到一眨眼的時間裡，音頻和視頻就穿越2100英里，從查塔努加到了洛杉磯。這一傳輸速度如此之快，以至於人耳無法識別聲音傳輸中的輕微延遲。
斯坦福大學物理系自然科學教授菲爾·巴克斯鮑姆解釋道，這場二重奏同樣也是光纖科學領域加速突破的一個副產品，這場突破就發生在過去幾年裡。巴克斯鮑姆是光學學會的前任主席，他專攻激光科學，這是光通信的基礎。20世紀80年代，他曾在貝爾實驗室工作。在那些日子裡，計算機科學家使用一個叫作“Ping”的命令來確認他們想要通信的、位於貝爾實驗室大樓另一端的那台計算機是否“清醒”。“Ping”會發出一個電子消息並從另一台計算機彈回來，來顯示後者是否已“清醒”著以及是否準備好進行雙向對話。“Ping”也帶有一個時鐘，它會告訴你電脈衝在電線裡往返所用的時長。
“我10多年沒有使用‘Ping’了。”2015年9月我與巴克斯鮑姆共進早餐時他告訴我，但是出於好玩的目的，“有一天，我坐在位於門羅帕克家中的電腦前，向全世界的一些電腦發送了‘Ping’指令。”目的就是要看看脈衝來回有多快。“我從密歇根州安娜堡計算機所的計算機開始‘Ping’，接著是倫敦的帝國學院、以色列的魏茨曼研究所以及澳大利亞的阿德萊德大學。結果是驚人的——脈衝速度達到了光速的一半以上，也就是2億米/秒。”脈衝從巴克斯鮑姆敲擊計算機鍵盤再到他的本地光纖電纜，然後進入地面和海底光纖，接著以達到光速一半以上的速度進入地球另一半的一台電腦裡。
“我們已經達到了物理學所允許的極限速度的一半那麼快，但是進一步加速會遇到收益遞減定律。”他解釋道，“過去20年來，我們從這可能是一個好主意到不斷突破物理的限制……通過‘Ping’我發現了我們距離物理極限是多麼近，這非常令人吃驚。這是一個偉大的革命。”
巴克斯鮑姆解釋，這次革命之所以會發生，是由於數據和語音通過光纖電纜傳輸的速度也遵循了一種類似摩爾定律的規律。“我們通過海底電纜傳輸數據的速度不斷加速。”巴克斯鮑姆說。他解釋道，故事的簡短版本是這樣的：我們開始的時候使用的是數字射頻通過同軸電纜——主要是銅線——發送語音和數據。這就是你的第一個電視公司/電話公司鋪設到你的房子並且進入你的電視機機頂盒的東西。他們還曾經使用同樣的同軸電纜通過海洋底部將語音和數據傳送到地球的每個角落。
然後，貝爾實驗室和斯坦福大學等地的科學家們開始研究使用激光器，通過光纖發送光脈衝形式的聲音和數據。這些光纖通常是長長的、纖細的、柔軟的玻璃管。從20世紀80年代末和90年代初開始，光纖又發生了新的演變。最初光纖光纜是由一節一節的電纜鏈接而成，每一節電纜長度有限。由於信號在行進一定距離之後會衰減，因此必須在信號放大器處停留，信號放大器會將光信號轉換成電子信號並放大，然後再轉換回光信號並再次發送。隨著時間的推移，行業發明了新的方法，即使用化學物質對光纖進行拼接，這樣既增加了語音和數據的容量，傳輸的光信號也不會衰減。
“這是一個巨大的突破。”巴克斯鮑姆解釋道，“通過內部的擴容和放大，可以擺脫電子放大器箱，並端到端地連續鋪設光纖電纜。”不管是從美洲大陸到夏威夷，從中國到非洲，或是從洛杉磯到查塔努加，“這帶來了更多的加速增長”。它使寬帶互聯網成為可能。
“一旦不再需要中斷激光信號，傳輸信息的速度就不再受電的屬性所約束，而只是由光的屬性所決定。”他解釋道，“然後我們這些研究激光的傢伙就可以做一些很酷的東西了。”他們找到了各種新的方法用激光和玻璃傳輸更多的信息。一種方法叫時分復用（time pision multiplexing, TDM），即分時段打開或關閉發光器或脈衝激光器，以釋放更多的容量。還有一種方法叫波分復用（wavelength pision multiplexing, WDM），即使用不同顏色的光同時傳輸不同的語音通話；還有些方法是嘗試將以上兩種方法結合起來。
加速還沒有結束。巴克斯鮑姆說：“在過去20年裡，我們不斷地找到用更快、更好的方式，分割光的不同屬性，以此承載更多的信息。現在海底電纜的數據傳輸速率是每秒上萬億比特。”到了某個時點，你最終會碰到“物理定律”的天花板，但現在還沒到那個時候。各個公司不僅在試驗改變脈衝或光的顏色，還在以新的方式塑造光，以使其可以在纖細的光纖線路上以每秒傳送超過100萬億比特的速率傳輸數據。