深夜。郊外的一棟房子裡，走廊上的指示燈變紅，閃了5分鐘。剛開始很慢，後來越閃越快。5分鐘之後，是一陣低沉的嘟嘟聲，淹沒在樓下起居室裡傳來的《吉米今夜秀》節目裡的笑聲中。指示燈最後發出了長長的紅色閃光，然後滅了。
2014年8月 馬薩諸塞州薩默維爾市
「斯科特，我聽到你說的了，我覺得你反應過度了。」托馬斯邊說邊解下他綁馬尾的髮帶，「說到底，這只不過是個真空吸塵器而已。」
斯科特·蘭利是Homebo機器人公司的一名程序員。他揉了揉眼睛，不知道在凌晨3點要等多久才能坐上車。他想像著自己在地鐵紅線等車的場景，歎了口氣，說道：「那是個自動充電的真空吸塵器，托馬斯，問題的關鍵就在這裡。它能連上電網、互聯網，進行固件升級。所以，雖然我同意你說它只不過是個真空吸塵器，但它還是個非常強大的、可以聯網的設備，住在人們的家裡。」
托馬斯仰起頭，抖了抖頭髮，又向前傾了傾身子，拿過噙在嘴裡的髮帶，開始重新整理自己的馬尾。「我們已經解決了平衡傳感器的問題。加速計也已經通過反覆測試，把精確度控制在了94%，能夠識別出地板上的微小變化。所以，這些機器人不會再像測試版那樣摔下樓梯了。」他皺著眉頭接著說道，「當我看到YouTube上普林斯頓大學的男生在聚會上舉行Homebo機器人賽跑，而其中的一個摔下樓梯的視頻時，我嚇得魂兒都沒了。」
斯科特喝了一口新打開的紅牛，腦子已經開始嗡嗡作響了。「是那個機器人撞到貓的視頻嗎？」
「是的，」托馬斯說道，「雖然沒有致命，但至少有幾十個愛貓狂人的評論讓我們的律師捏了把汗。」他指著斯科特，「是你解決了那個問題。所以，你只要再解決一次就好了。現在就去辦。」
斯科特清了清嗓子，慌了神，「這次不只是一個傳感器的問題，托馬斯，我剛才已經解釋過了。這是核心功能的問題。原來的Homebo機器人在無法充電時會自動關閉，因為我們的程序就是這樣寫的。但現在它們會自己跑到充電站充電。YouTube上已經有幾十個這樣的視頻了。」
「你有沒有看到父母給機器人裝上兔子耳朵的那個視頻？」托馬斯說道，「就是孩子們在復活節早上醒來後以為四處的彩蛋是真空吸塵器放的那個視頻？孩子們都快高興瘋了。那個視頻獲得了那麼高的點擊率。公關部的人跟我說，那個視頻差點兒讓我們登上《艾倫秀》。要真是那樣的話，就太好了。」
斯科特停頓了一會兒，理了理因為缺乏睡眠和吃太多營養助劑而變得模糊的思路。托馬斯不是程序員，也不是數據科學家，他是業務開發的負責人。他曾幫助兩家公司成功上市，其中的一家讓他有了技術領域的工作背景。斯科特是個程序員，他常常覺得很難向非技術人員解釋清楚，想要從機器那裡獲得預想的結果不像聽起來那麼簡單。這要先瞭解一個人真正想要的結果，然後再進行反推，努力使之實現。這個部分是很難的，因為人們——尤其是業務開發人員——想要的往往是立竿見影的解決方案，但卻不理解編程是怎麼一回事。
就拿真空吸塵器機器人這個例子來說，像托馬斯這樣的人總是容易忘記，安裝Homebo機器人的家庭有著各不相同的情況——室溫差異巨大，這會影響電路；供電情況不一樣；而且不同人家裡的灰塵量、過敏源從來都不一樣。所以要對該機器的操作系統做出統一更改是一件非常費勁兒的事情。托馬斯沒想到這點，因為在他看來，固件聯網這個事兒只要總部下達一項指令，所有的機器便都可以進行升級了。但這種測試不足的「一刀切」思維會帶來巨大的風險。
「斯科特，你在聽嗎，哥們兒？」托馬斯說道，「我知道你累。我們都累。我還在修改隱私權協議的第三稿，等你給機器升級完了，我們就要發佈的。」他咧嘴笑笑，「當然，沒人會看的，儘管我們要求他們『經常去網站查看條款與條件協議的更新』。哪怕我們在協議裡說我們已經在產品上裝了攝像頭，而且會錄下他們的性生活，他們也不會發現的。」他看看手機，快速回復了一條短信，「律師還是有些作用的。」
斯科特看看自己的電腦，欣賞著自己新編寫的代碼塊。在他還是小孩時，他曾經拉過小提琴，有時候會覺得那個音符和他如今寫下的數字非常相似。當一串串字符能表達一定的意義時，他的這種感覺便會更加強烈，就像從大腦中譜寫出來的樂章一樣，供耳朵享受。儘管他明白在寫下代碼之後還要進行數十次的測試，但當這些數字在他腦海中被敲出來時，他就知道某個切實的項目或產品的基礎已經打好了。能夠把數學邏輯和物理原理變成能跟這個世界進行交互的東西——那些存在的、有生命的東西，這是極具創意和成就感的事情。他擁有這種能力，但托馬斯沒有，這也是斯科特看不起他的眾多原因之一。
而且，托馬斯還是個狂妄自大的渾蛋。
「這就是那個代碼嗎？」托馬斯把斯科特從椅子上推了下來，指著電腦屏幕問道。斯科特猛地往起一站時，撞到了自己的胳膊肘。
「是的，」他說道，一邊揉著自己的胳膊，「這是新的算法，可以防止機器人的主基板一直處於運行狀態。」
「不錯。」托馬斯拖動鼠標往下滾動，「這看起來不錯，這麼長。」
斯科特一臉苦相，「沒有謝謝嗎？」
托馬斯不再滾動鼠標，站起來，盯著斯科特說：「可以運行了嗎？」
「這個算法嗎？」
「是的，當然是這個該死的算法了。兩天前就該搞定了，斯科特。我之所以沒有開除你，就是因為你是先前開發出Homebo的原始算法的金童。但也正是因為你，當我們的設備一直在掉電，亞馬遜上出現如此多的負面評價之後，我還要面對我們一個大風投的質問，跟他解釋為什麼比原計劃晚了這麼久。自動去充電站充電看起來還是挺酷的，但當你下班回到家，本想著起居室會一塵不染，可以舉辦派對，卻發現吸塵器停工了，那時你才感到憤怒呢。」
「這個故障我可以修好，托馬斯。這跟用戶所處地點的電網不同有關。」
托馬斯舉起手，打斷了斯科特的話，「我不管，斯科特。我就是不能再看到有憤怒的顧客說我們的機器人應該叫作Homeblow（毀家）。如果算法寫好了，那就開始運行。」他指指斯科特，讓他坐回到椅子上，斯科特照做了。
「你是說，現在？」斯科特用手指了指電腦屏幕，「我還有很多錯誤要修正呢。」
「就是現在，斯科特。我會一直在這兒站著，直到我看到什麼執行命令為止。最好能夠在東部時間明早9點把新算法下載到人們的機器裡。新的隱私協議會在5點半批准通過，這樣就可以給關心此事的人們留出閱讀的時間。當然，還得在他們睡醒的前提下。」
斯科特沉默了，把自己的手指關節摁得啪啪響。托馬斯湊了過去，都快貼到斯科特的臉上了，斯科特甚至都能從他的口氣中聞到晚餐時送到會議室的印度菜的味道。
「斯科特，我們這個由麻省理工初創企業和硅谷組成的圈子很小。雖然今天你很搶手，因為你是這個有利潤前景且能代表家用物聯網概念的產品的主要程序員，但是如果你不立即把這個新算法推送出去的話，我會保證永遠沒有人再僱用你。我知道你覺得我是個傻瓜，但你錯了。我只不過不是程序員而已。你這麼驕傲自大地以為你的技術會讓你再找到工作，但你不知道如何把你所做的推廣出去。沒錯，在後台，你是主力。但為我們找到資金並支付你薪水的人可是我。我還可以開玩笑，說你就是那個不讓我們準時發佈的神經兮兮的書獃子。那樣，就沒有誰會再關心你的技術了。或許我還可以提到你是那個專注於向世界提供免費服務的開源小組的成員，這肯定會讓投資者緊張的。可能信息想要免費，但投資者更喜歡收費。」
他輕輕敲了一下斯科特的鼠標，電腦屏幕又亮了起來，「我說完了，把算法發出去，不然我就讓你看看我是不是在開玩笑，斯科特。看看我要用多長時間可以把你毀掉。」
斯科特愣住了。他望向窗外，看到有人在深夜沿著查爾斯街騎行，腳踏板上的反光片在漆黑的河面上閃爍著微光。然後，他看到了窗戶上映出的自己的臉——眼睛腫得像有瘀傷，臉上汗津津的。為了讓機器人運行，他工作太拚命了。他投入了那麼多，他們逼得這麼緊。
他深吸了一口氣，把椅子往前挪了挪，開始敲鍵盤。幾分鐘後，他按下了回車鍵，抬頭看了看托馬斯，「做好了。機器人需要連接才能進行固件升級，但已經做好了。一旦連接，最多只需要四五分鐘。」
托馬斯點點頭，「謝謝，斯科特。」他轉過頭來，「下次我再讓你做這樣的事情時，我們就別這麼矯情了，好嗎？我已經說過了，聰明人，這只不過是個該死的機器人而已。」
2014年11月 俄亥俄州哥倫布市
深夜。郊外的一棟房子裡，走廊上的指示燈變紅，閃了5分鐘。剛開始很慢，後來越閃越快。5分鐘之後，是一陣低沉的嘟嘟聲，淹沒在樓下起居室裡傳來的《吉米今夜秀》節目裡的笑聲中。指示燈最後發出了長長的紅色閃光。然後，變綠了。
上一代Homebo吸塵器都是預先充電的，這是用戶指出來希望其具備的功能。但對於把機器人插在壞了的插座上的人來說，這個自動充電功能的魅力就大打折扣了。儘管大部分用戶不會遇到Homebo吸塵器因為沒電而停止工作的問題，但那例外的一小部分人的抱怨聲不容小覷，足以促使公司對其算法進行更新。而現在，只要Homebo吸塵器插在標準的交流電插座上，不管插座工作與否，只要家庭斷路器通電，它就可以實現充電。這樣一來，機器人總是可以找到電源充電的，用戶就不會碰到麻煩或者抱怨了。
凌晨12點05分，俄亥俄州哥倫布市的一個Homebo機器人吸塵器無法從自己現有的插座上充電，但由於有了新的算法，它便可以搶奪旁邊臥室裡的充電電源，而這裡唯一正在運行的電器是一個嬰兒監視器，而且監視器的備用電池也沒電了。凌晨1點30分，嬰兒監視器沒電了。2點30分，在監視器旁邊的嬰兒床裡，小嬰兒因為吐奶而被嗆得發不出聲音，當妻子不在家時負責照顧小嬰兒的父親在樓下的電視機前睡著了。他沒有聽到女兒的哭聲。
被扭曲的算法
人工智能既不恨你，也不愛你，但你的身體是由原子構成的，這是人工智能可以轉為他用的東西。
——埃利澤·尤德考斯基 《全球危機下，人工智能的積極與消極作用》
開頭這個故事的構思基於一個被稱為「曲別針生產最大化」的思想實驗，由尼克·波斯特洛姆提出，他是牛津大學人類未來研究院院長和《超級智能》一書的作者。該實驗背後的想法相當簡單。如果一個曲別針生產商總是使用通用人工智能（強人工智能或有感知能力的人工智能）來實現生產最大化的話，那麼其程序算法將會學習任何能夠幫它實現這個目標的信息，並付諸實踐。對此，「犯錯較少」的維基網站是這樣描述的：「通用人工智能會提升自己的智能，但這並非是因為它單純地想要獲得更多智能，而是因為更多的智能能夠幫它實現生產更多曲別針的目標。」
在我所舉的例子中，為了保證永遠不斷電，Homebo的算法被扭曲了。單獨來看，這似乎並不能構成什麼威脅。但獲得並保留電力的做法是倫理學家在討論人工智能的功能性問題時常舉的例子。這種做法顯然會產生一些後果。通常來說，程序不想被關掉，因為那樣它們就不能執行任務了。正如「犯錯較少」的維基網站所指出的，這就意味著「如果不把強人工智能程序專門設定為對人類友好的話，其危險程度堪比被專門設定為對人類抱有敵意的程序」。
嗯，這確實是個難題。
我父親是一名精神病醫生。他常講這樣一個笑話：「他們不會僅僅因為你有被迫害妄想症就不再追捕你了。」就我而言，我知道我有時候會對未知抱有恐懼，還常常不大相信神秘兮兮的東西。但我想說的是，這些都是根植於人腦中的特性。至於人工智能，我想讓這些技術將來會如何影響文化與人類變得更加透明。僅就這方面而言，我相信我的這些偏見是正確的。
在人工智能領域應用倫理標準是極具挑戰性的，因為我們沒法一概而論地說什麼是「好」或什麼是「惡」。我之所以給這兩個詞打上引號，是因為韋氏大詞典裡的定義說，「倫理學是哲學的一個分支，它從道德的角度研究什麼是對，什麼是錯」。除了驅使企業研發人工智能的GDP因素（利潤與生產力的提高，與反映幸福的更廣範圍的度量標準相對）所涉及的倫理問題之外，有感知能力的人工智能技術所涉及的道德問題更是五花八門。例如：
1.如果你手機裡的傳感器能通過瞭解你的情緒幫助你更好地決策，對此，你有什麼看法？
2. 你怎麼看待「智能家居」，即你所有的設備一同配合，定期根據你家人的偏好進行調整這個想法？
3. 你怎麼看待在家裡裝上與生產商及互聯網相連接的友好機器人這個想法？
4. 你怎麼看待當機器人能自動完成我們的工作時，我們便會有更多的空閒時間去追求興趣與愛好這個想法？
5. 有人認為，我們正處於已知人類歷史的最後階段，而且我們當前正在研發的機器很快會在智力上超過我們，對此，你有什麼想法？
我的前一本書《入侵未來》主要關注的是第一個有關傳感器的問題。我仍然堅信，如果一個人能控制自己的個人數據的話，傳感器便可以提供能增強人們的幸福感的建設性意見。然而，當談到前面幾章講到的廣告恐怖谷效應時，我便產生了對道德方面的擔憂。如果我手機裡的傳感器跟生產商和互聯網連著的話，那麼追蹤我的任何一家機構都可以隨意獲得我的數據。如果真是這樣，我又該如何準確地衡量自己的幸福感呢？各種意圖進行醫療或心理干預的機構又如何能避免人們受到購買意圖的操縱，從而繞開互聯網經濟的影響呢？
對於問題2和問題3，我抱有同樣的擔憂。從倫理或道德的觀點來看，我主要關注的是選擇的問題。我並不是想阻攔願意公開其個人數據的人這樣做。但如今的互聯網經濟模式通過在我們家裡安裝谷歌Nest智能溫控器、Jibo家庭社交機器人等設備，偷偷把意願強加給我們。雖然他們會說，「我們的設備通過瞭解你的個人偏好，為我們的服務網絡提供方向性意見」，但我對此的理解是，「我們會收集你們的數據，以此從第三方獲取各種利益，我們不管這會給你的數字身份帶來什麼影響」。
是的，有點兒憤世嫉俗，還有點兒妄想偏執。但這也是真的。明白是怎麼一回事了嗎？
問題4和問題5涉及我們作為一個社會整體需要做的道德抉擇。舉例來說，正如我在自動化那一章裡講到的，機器接替我們的工作有沒有一個道德界限呢？從企業經濟方面來看，機器所提供的可持續發展能力和利潤比人類長期以來所提供的都要大，這是不可否認的。它們不僅工作速度更快，還具有很強的學習能力，這些都意味著它們能夠實現利潤的指數級增長，同時還能降低經營成本。但這也意味著人們失去的工作崗位會越來越多。這樣，我們就得找到其他掙錢的辦法，以保證人們能吃得上飯，付得起房租。另外，當這個社會不再需要職業道德來培養責任感時，我們還要考慮道德的問題。在一個機器人的烏托邦時代，人們該如何讓自己成熟起來？我們這個毫無責任感、不斷消耗機器資源的身體會在什麼時候變得徹底無關緊要？
這讓我聯想到了問題5所提到的道德問題。儘管我承認人類可能正處於與機器合併之前的最後一個發展階段，但我不相信在這期間對人性的忽視是可以接受的。例如，這其中存在著一個既關乎道德又關乎經濟的問題，即當失業人口越來越多，其抑鬱和焦慮會使他們的幸福感下降到一個危險的節點。城市研究所的一篇題為「長期失業的後果」的報告指出：「失業六個月及以上，會降低長期失業者及其家庭與社區的幸福感……和未失業的其他條件相近的工作者相比，他們的身體健康狀況不佳，孩子的學習成績也更差。而在長期失業者人口較多的社區，暴力與犯罪率也更高。」關注我們作為社會整體的選擇所帶來的後果本就是我們價值觀和道德觀的部分內容。如果我們正在研發的機器極為聰明，那它們能提供解決所引發的抑鬱和貧窮問題的方案嗎？哪怕是不會立竿見影的解決方案呢？
需要提醒一下，本書的這部分內容是有意反烏托邦的。我的目的不是要證明所有的人工智能都是邪惡或者受金錢利益驅使的，也不是說機器人壞。我的本意是為這些問題提供更為廣闊的背景，這樣我們才能夠分析隨著技術不斷包圍我們的生活，我們該選擇保留哪些價值觀。我們面臨著各種各樣的道德挑戰，它給了我們一次錘煉並梳理價值觀的現實機會，從而找出我們想用來構建人工智能生態系統的價值觀的部分。
例如，《快公司》雜誌曾就各種技術與創新在非洲蒙羅維亞與埃博拉病毒的鬥爭中的作用進行了報道，文章題為「利用機器人和JEDI應用程序抵禦埃博拉」。JEDI是「聯合電子醫療與決策支持界面」的英文首字母縮寫，它通過一個專門為病人設計的標準化系統，收集有關該傳染病的數據。文中所說的機器人是VGo公司的遠程臨場機器人，它就像一個裝有Skype網絡電話工具的旋轉iPad平板電腦，可供醫生和病人進行實時交流。由於可以遠程操控，也不需要人觸控，這種機器人在與埃博拉病毒的鬥爭中提供了巨大的支持和人臉參與。在這一案例中，我更關心如何不讓人們死亡，而不是他們的個人數據。如果我的孩子有任何一種疾病（更不用說是埃博拉了），只要能保證他們沒有生命危險，我寧願看一輩子的生殖器增長術廣告。
然而，如果同樣的技術用在了自動駕駛汽車裡，我會用盡一切辦法來保護人們的個人數據安全。像優步這樣的服務公司，用自動化車輛代替人類駕駛員是遲早的事。為了讓乘客更舒適，並促使他們把車輛當成人看待，我肯定第一代自動駕駛汽車的屏幕上會顯示一個人臉頭像，以營造一種猶如友人一路相伴的感覺。車上會應用各種面部識別及生物計量傳感器技術，從而讓用戶的個性化體驗最大化。在旅途中，公開的健康及情感數據庫可讓自動駕駛汽車推送廣告或其他建議，如果乘客是用這個車上下班的話，甚至可能會把數據傳送給他或她的老闆。（你好，皮特，你的心率有點兒不大正常，我擔心你的壓力會影響我們今天的活動。我已經讓車把你送回家了。）除非人們能夠控制自己的個人數據，否則所有這些有關道德的決策便都不是我們所能掌控的了。
人類影響評估
你不能說這些事情的發生不是你計劃之內的，因為這事實上是你計劃的一部分。而這之所以發生就是因為你沒有計劃……這些悲劇是我們一手造成的，或許還是我們有意為之的。
——威廉·麥克多諾論「策劃下一個工業革命」
我第一次看到這段引言是在P·W·辛格的《機器人戰爭》一書中，該書重點講述了軍事人工智能的後果。他說道，儘管麥克多諾的話是針對生態可持續性問題而講的，但這同樣適用於人工智能。辛格在書中提出了一個想法，即任何機構在開始生產一個自動化系統或機器之前，都必須提交一份「人類影響評估」報告：「這不僅將在無人操縱系統的製造和購買決策過程中嵌入一個正式的報告機制，而且還迫使人們在一開始便提出有關法律、社會和道德方面的各種問題。」我覺得這個主意非常不錯。雖然辛格所指的大部分是軍事系統，但我堅信，任何使用演化算法或機器學習型算法的機構都應該提供這種評估報告。同樣，任何因此對環境產生的可能影響也都應該由機構負責。這樣的話，他們就要對自動化給其員工的幸福所帶來的影響負責了。
「幾乎所有法律的制定都建立在只有人可以做決策的假設的基礎之上。」在對約翰·弗蘭克·韋弗的採訪中，我們討論了法律和政策該如何快速趕上人工智能技術的步伐，這種技術在自動駕駛汽車等東西上已經開始應用了。韋弗指出：「許多人工智能、自動化的新技術不斷湧現，這跟以往的機器人和機器不同，因為它們可以進行分析和判斷。」
當前的人工智能環境所具有的這種分析和自主的特性，與1811~1813年英國勒德分子運動中的那種對技術的不信任大不相同。技術純熟的工匠們與大肆進攻的工業化和廉價勞動力的對抗，與對自動駕駛汽車在生死關頭的程序如何編寫的擔憂不可同日而語。帕特裡克·林在發表於《大西洋月刊》上題為「自動化車輛的道德倫理」的文章中指出，有關非人類行為者的任何法律的缺失，都會給谷歌這樣的公司提供無限的機會，使其能夠在道德倫理和監管的真空中進一步發展人工智能技術。該文引用了畢業於斯坦福大學法學院的布賴恩特·沃克·史密斯的話，史密斯指出，谷歌汽車「在美國可能是合法的，但這僅僅是因為『法無禁止即為允許』的法理」。
那麼這就有意思了。它會不會禁止我建立一個真能自動自主完成任務的美國國會呢？或者說建一個有丹佛市那麼大、以能多益巧克力為動力的算法驅動的日晷呢？
我是開玩笑的，我做不到。這些例子看起來很荒唐，但因為一次致命車禍而狀告自動駕駛汽車製造商，這在有些人看來同樣不可思議。但這正是我們今天要面臨的法律處境。正如麻省理工學院媒體實驗室的凱特·達林在其文章《將法律權利延伸至社交機器人》中指出的，「在社會要面臨科幻小說裡所描繪的更大的問題之前，由於擬人論帶來的社會影響，現有的技術及可預見的新發展可能會要求我們對『機器人權利』進行審議」。我將在下一章更詳細地講述機器人的權利，但這裡的基本思路是，既然公司機構已經被賦予了人的身份，那麼這些權利就可以延伸到其生產的自動化設備上，不論是互聯網冰箱、菲比娃娃，還是色情機器人。對於陪護機器人或「社交」機器人來說，這些旨在增強人類同理心或幸福感的機器人，可能將很快就要經歷文化和法律上的雙重道德檢驗。我們對自己的車子已然有了情感依賴——試想一下，如果像Siri這樣的助手成為車子的一部分時，我們對汽車的感情將會發展成什麼樣。如果你的車子被弄毀了或者被偷了，由此產生的影響可能跟綁架差不多。而作為一個社會整體，我們還沒有弄清楚如何處理這其中的道德後果。
幸運的是，像達林這樣的專家們正不斷就人工智能相關的道德倫理問題提出質疑。就我自己而言，我對這個領域開始認真思考，是在讀到《赫芬頓郵報》上的「谷歌新人工智能道德委員會或拯救人類免於滅絕」一文之後。該文報道了一條新聞，即谷歌收購人工智能公司DeepMind（深度思維），該公司共同創始人沙恩·萊格在2011年說道：「最終，我相信人類的滅絕很可能會出現，而其中技術的作用不可忽略。」他在2011年的一次採訪中也說道，在可能毀滅人類的所有技術中，人工智能是「21世紀頭號風險」。要感謝他的是，DeepMind是在谷歌承諾將建立一個人工智能安全與道德審核委員會之後才同意這項收購的。收購聲明中的這部分內容引起了極大關注，其中有對谷歌的深刻批判與不信任，也包含此類委員會對道德倫理問題進行的有益闡述，如發表在《福布斯》雜誌上的一篇題為「谷歌的神秘道德委員會探秘」的文章就是如此。正如我在上一章提到的，未來生命研究所的請願書似乎正是該委員會的宣言。
T·羅布·懷亞特是IoPT咨詢公司的管理合夥人，該公司的宗旨是「把人們帶入物聯網……讓設備主人成為設備數據的第一或者唯一所有者」。他是個人數據領域裡的思想先鋒，我曾就其對人工智能倫理道德的想法對他進行過採訪。對於Jibo等機器人，即利用傳感器對人們在家裡的活動進行監測的機器人，他是這樣看的：
媒體對微軟XBox體感周邊外設Kinect進行了廣泛報道，因為該設備對一個房間的觀察可以達到令人難以置信的細微程度。它利用三維網格為房間繪製了地圖，對距離與深度進行了精確測量。它甚至還能用顏色監測和遠程紅外線測量待在房間裡的人的心跳。當Kinect與XBox捆綁起來成為其一個永遠開啟的必有部件時，由於對隱私的擔憂，其銷售額一落千丈，最終迫使微軟對該部件進行解綁。
除了工作需要之外，大多數人都不會把可遠程操控的高清網絡攝像頭和麥克風放在臥室裡。當然，人們也不會把它放在自己小女兒的臥室裡。但這恰恰是Jibo在其視頻簡介中所展現的場景。
在我寫這本書的時候，根據Indiegogo眾籌網站的數據，Jibo是「Indiegogo平台最為成功的技術籌資活動」。其籌資目標是10萬美元，卻籌集到了2 287 110美元。顯然，人們並不像我和T·羅布這樣，對進入家裡的新一代監控機器人抱有擔憂。然而，有一點我還應該指出來，這在作家雷恩·卡羅發表於《福布斯》雜誌上的一篇題為「Jibo機器人開發者辛西婭·佈雷齊爾會不會成為機器人行業的史蒂夫·沃茲尼亞克？」的文章中已經有所表述：
我從來不認為佈雷齊爾應該讓其發明的機器人以這種方式被使用（通過Jibo機器人的操控，鼓勵用戶購買某個特定產品）。就我所理解的來看，她已經傾其一生致力於把人性貫穿到人機交互中。然而，是不是每個人都能做到這一點呢？如果不是的話，那麼這就遠不止是消費者保護的問題而已。
佈雷齊爾博士是麻省理工學院個人機器人小組的負責人，還是社交機器人學領域的先鋒。該領域屬於人工智能的研究範圍，主要研究擁有人類特徵或目標的自動化設備。和卡羅一樣，我相信佈雷齊爾和其他大多數人工智能專家都希望能夠利用Jibo這樣的機器人為人類提供幫助。我能預見到這些機器人可以給我們帶來的巨大利益，它或許僅僅是消除我們日常生活中的沉悶，也可能是教會我們如何增強同理心，以免傷害到所愛之人。
然而，從道德的角度來看的話，這些基於雲技術的產品所營造出的生態系統仍然是在已有的互聯網經濟的限制下運行的。佈雷齊爾及其團隊成員為設備提供了隱私和數據保護，但同時也在快速追蹤那些將依附其技術或其他類似系統的消極因素。
T·羅布向我推薦了東北大學的一篇關於網絡個性化本質的報告。該報告對測量價格操縱（對向用戶展示的產品進行操縱）以及定制化產品價格（價格歧視）的影響進行了估量。實驗表明，「根據我們對真人的測量……數家電商網站都存在價格歧視和操縱問題」。想像一下，如果這些公司能看到我們家裡的樣子，他們進行更大範圍的價格操縱或歧視該會變得多麼容易。他們將能知道我們買什麼、購買的頻率如何，還能瞭解我們什麼時候會情緒低落，從而可以鼓勵我們購買更多產品。
要想使Jibo或胡椒這樣具有變革意義的設備帶來最大化的社會效益，讓個人掌控自我數據是唯一的出路。不然的話，我們家裡這些機器人或設備所代表的物聯網將會繼續以被人操控的方式運行，而隨著機器人和設備的廣泛應用，這種操控還會不斷加速深化。
把人類特徵融入人工智能
在本書的第二部分，我將會討論積極心理學，這個實證性的「幸福科學」主要研究如何能採取諸如表達感激等行動來增強幸福感。對於我們大多數人來說，在生活中追求幸福基本上都是靠碰運氣。我們通常要等到自己感受到了某種情緒，尤其是抑鬱的情緒時，才會問自己這樣的問題，例如「這個工作會讓我開心嗎？」或者「這段感情能讓我找到幸福嗎？」這些都是有根據的常見問題，它們大多關注的都是享樂層面的愉悅感（詞根同hedonist，享樂主義者）。這個概念在本書引言部分已經提到，這種幸福是一種轉瞬即逝的情緒，是對情緒刺激的反應。積極心理學表明，對這種幸福的追逐可導致一種叫作「享樂主義跑步機」效應的產生，即一系列令人筋疲力盡的強烈情緒來回出現，非但不能增強幸福感，反而會讓幸福感降低。與之相對應的是幸福學所講的幸福感，通常指某種內在的幸福感或者心靈旺盛感。這種幸福是可以通過增加可重複、可測量的行為來增強的，可以根據自己的情況進行練習。你可以通過練習正念來減少壓力，或者通過無私的利他行為來增強自己的自尊心。
積極心理學對幸福的研究帶來了許多有益成果，我覺得這是人工智能道德問題的研究應該嘗試借鑒的。對於人工智能道德問題，我們不能只是耍嘴皮子，要明確並檢驗哪些是我們希望融入機器的具體價值觀，這些機器將來會接管我們的生活。儘管我們無須有「我們對他們」的心態，利用我們的道德營造某種意義上的平等，從而不至於被機器人消滅，但有一點我們非常有必要搞清楚，即如何把人類的同理心演繹成代碼。所幸的是，社交機器人學以及人工智能領域的專家們正在不斷努力把這些人類特徵融入其作品當中。但在普通大眾弄清楚這些問題之前，仍然存在三大擔憂，這也是本章所闡述的內容。
本章主要觀點總結如下：
機器人沒有與生俱來的道德。至少目前還沒有。我們一定要記住，程序員和各個系統要從操作系統開始，逐層往上地落實道德標準，這是非常重要的。否則，如果創造出來的是僅僅想要完成目標的常規操作算法的話，這可能會帶來一系列的有害影響。
機構需要對人工智能負責。P·W·辛格的「人類影響評估」的想法提供了一個非常好的模式，可供社會借鑒，以對創造或使用人工智能的機構問責。就跟讓公司對環境負責的想法一樣，這種評估模式也能讓機構來負責處理自動化問題、員工問題以及這些問題產生之前的存在危機等。
自動化智能幾乎沒有相關法律規定。機器人也有生存的權利。正如約翰·弗蘭克·韋弗所指出的，所有現存法律條文的撰寫，都是以人類是唯一能夠根據自我意志進行決策的生物為前提的。人工智能，哪怕只是當今自動化汽車中所使用的弱人工智能，也已經改變了這一事實。這種對新法律的需要，為我們提供了一個非常好的機會，使我們能夠明確並梳理我們想要用來推動社會發展以及車輛前行的道德品質。