【編者按】美國《連線》雜志創始主編凱文-凱利(Kevin
Kelly)日前撰文，闡述了當今社會對人工智能的五大誤解，并對背后的邏輯和理論展開了詳細論述。
以下為文章全文：
我聽到這樣一種說法：未來，計算機主導的人工智能將比我們聰明得多，甚至會奪走我們所有的工作和資源，人類則會走向滅亡。果真如此嗎?
每每談起人工智能，我總是難免聽到這樣的問題。提問者都很認真，他們的擔憂一定程度上源自各路專家的自問自答，其中包含很多當今世界上最聰明的人，例如史蒂芬-霍金(Stephen
Hawking)、伊隆-馬斯克(Elon Musk)、麥克斯-泰格馬克(Max Tegmark)、山姆-哈里斯(Sam Harris)和比爾-蓋茨(Bill
Gates)。
他們都相信，這番場景很有可能變成現實。而在最近的一場關于人工智能問題的研討會上，一個由9位大咖組成的委員會一致認同，這種超人類人工智能已經不可避免，而且并不遙遠。
然而，那些認同超人類人工智能最終將會接管世界的人，內心其實都有5個假設。然而，如果對這5個假設展開細致分析就會發現，這其實都是“無稽之談”。這些說法未來或許會成為現實，但目前還沒有獲得證據支撐。關于超人類智能將快速崛起的5大基本假設如下：
1、人工智能已經開始超越人類，而且正在以指數級速度發展。
2、我們可以開發出像自己一樣的通用人工智能。
3、我們可以把人類的智能集成在硅片上。
4、智能可以無限強化。
5、一旦開發出超級智能，它就可以為我們解決多數問題。
與這些似是而非的說法相對的是，我反而認為以下5種看似異端邪說的觀點能夠獲得更多的證據支撐。
1、智能并非單一維度，所以“比人類更聰明”這種概念本身就沒有意義。
2、人類并沒有通用思維，人工智能同樣不具備這種能力。
3、在其他媒介上模擬人類思維將會受到成本因素的制約。
4、智能的維度并不是無限的。
5、智能只是推動科技和社會進步的諸多因素中的一項而已。
如果關于超人類人工智能接管世界的預期，完全基于5個沒有證據支撐的關鍵假設，那么這種想法也就無異于宗教信仰。也就是說，這只能算是一種“神話”。我針對這5項假設提出的5種針鋒相對的說法都有充分的依據，接下來的段落中將會詳細展開。我將以此證明，超人類人工智能的說法只不過是一種“神話”。
1
關于人工智能最常見的誤解其實來自對自然智能的普遍誤解。很多人認為，智能是單一維度的，這種理解其實并不正確。多數技術人員往往會像尼克-博斯特羅姆(Nick
Bostrom)那樣繪制智能進化圖譜——他曾在《超級智能》(Superintelligence)一書中把智能描繪成一種單一維度、呈現線性發展的東西。
例如，一端是低智能的小動物，另外一端則是高智能的天才——感覺智能就像是可以用分貝來量化的聲響一樣。當然，如果認同這種觀點，自然就可以對其進行擴展，認為智能的強度還會進一步增加，并最終超過我們自己的高智能狀態，成為一種超強智能，甚至最終爆表。
這種模式就像階梯一樣，一層一層逐級遞進，每一個層次的智能都比前一個層次更加進步。低等動物位于我們之下，而智能更高的人工智能必然位于我們之上。具體發生的時間并不重要，重要的是等級——也就是衡量智能優劣程度的指標。
但這種模型的問題在于，這只不過是一種像進化階梯一樣的錯誤觀念而已。在達爾文進化論誕生之前，人們也認為自然界是呈現階梯化發展的，低等動物低于人類。即便是在達爾文進化論誕生后，這種階梯化進化理論仍然十分盛行。這種理論認為：魚類進化成爬行動物，然后進化為哺乳動物，再進化為靈長類動物，最終進化出人類，每一級都比上一級進步一點(自然也會更聰明一些)。所以，智能階梯與物種階梯相互平行。但實際上，這兩種模型都不符合科學觀念。
上圖這種由內向外發散的圓盤可以更為精確地描述物種的自然進化過程，這是美國德克薩斯大學的大衛-西里斯(David
Hillis)率先根據DNA繪制出來的。這種深入的系譜學分類模式以最中央的原始生命形態為起點，然后向外發散。隨著時間的推移，逐步形成了如今地球上的生命形態，也就是最外面的一圈。
這張圖強調了進化過程的一個基本事實：當今世界的所有物種都是平等進化的。人類與蟑螂、蛤蜊、蕨類、狐貍、細菌共同位于最外面的一圈。每一個物種都經歷了長達30億年的繁衍生息，成功進化到今天。這就意味這當今的細菌和蟑螂與人類擁有同樣的進化水平，并不存在所謂的階梯。
類似地，智能同樣不存在所謂的階梯。智能并不限于單一維度，而是多種認知類型和模式組成的復合體，每一種類型或模式都是一個連續統一體。先來談談衡量動物智能這個簡單的任務。如果智能是單一維度的，那就可以對鸚鵡、海豚、馬、松鼠、章魚、藍鯨、貓、大猩猩按照順序進行排列。但目前沒有科學證據支撐這樣一種排序方式。其中一個可能的原因在于，動物的智能沒有差異，但我們同樣沒有看到這種證據。
有很多跡象都可以說明動物之間的思維存在顯著差異。但它們是否都擁有相對的“通用智能”?可能如此，但并沒有一個指標來衡量這種智能。相反，我們可以通過很多不同類型的指標評估不同類型的認知能力。
也就是說，沒有一個類似于分貝的統一指標來衡量智能水平，所以更精確的智能模型應該是繪制它的“可能性空間”(possibility
space)。上圖是使用理查德-道金斯(Richard
Dawkins)編寫的算法生成的可能性表格。智能是一系列連續統一體的集合。各種節點(每個節點都是一個連續統一體)共同組成了一個多維度、多樣化的復合體。
有的智能或許非常復雜，包含很多象征各種思維模式的子節點。還有的或許較為簡單，但卻非常極端，處在可能性空間的角落位置。這些被我們稱作智能的復合體就像是各種各樣的交響曲，由許多不同類型的樂器共同演奏。它們之間的差異并不僅僅是響度，還體現在音高、旋律、音色、節拍等因素上。我們可以將其視作一套生態系統。從這個意義上講，不同思維模式的節點相互依賴、共創共生。
用馬文-明斯基(Marvin Minsky)的話說，人類思維是“由思維組成的社會”(the society of
mind)。我們在思維構成的生態系統上運行，其中包含多種認知能力，它們就像不同的物種一樣構成了一個個的生態系統，而且可以完成種類各異的思考方式：包括演繹、歸納、符號推理、情商、空間邏輯、短期記憶和長期記憶。我們體內的整套神經系統也是一種具備其自身認知模式的大腦。我們思考時并不僅僅使用大腦，而是用整個身體來思考。
不同個體和不同物種之間的認知能力都存在差異。即使在幾年之后，松鼠依然可以精確記住幾千個橡子所在的具體位置，這種技能甩下人類好幾條街。所以在這種認知能力上，松鼠超過了人類。要形成松鼠的思維，需要將這種“超能力”與其他在人類面前相形見絀的思維模式融合在一起。動物世界還有很多其他遠超人類的認知能力，但同樣要融合到不同的系統之中。
人工智能也很類似。人工智能已經在某些維度上超過人類。你可以把計算器當成算數天才，谷歌(微博)的記憶也已經在某些維度上超過人類。我們正在開發在特定模式上具備卓越能力的人工智能技術。其中一些模式是人類可以做到，但人工智能表現更好，例如概率統計或數學計算。還有一些能力是我們根本不具備的——例如，記住60億個網頁的上的每一個單詞，而這恰恰是搜索引擎的用途所在。
未來，我們還會發展人類所不具備的新型認知模式，有的甚至是整個生物界都不曾出現過的模式。當我們發明人造飛行器時，受到了生物飛行模式的啟發，主要是不停扇動的翅膀。但我們所發明的飛行器卻在尺寸更大的固定翼上安裝了推進器，這是一種生物界前所未有的飛行模式，是一種異形飛行模式。
類似地，我們今后也將開發自然界不曾出現過的全新的思維模式。在很多情況下，這都是針對具體任務而設計的專用模式——可能是一種僅在統計和概率上能夠奏效的推理形式。
在其他情況下，這種新思維可能會是一種復雜的認知，可以幫助我們應對那些無法利用自己的智能獨立解決的問題。商業和科學領域碰到的最困難的問題可能需要通過兩個步驟來解決：第一步：發明一種新的思維模式與我們的思維進行配合。第二步：將二者融合起來，最終解決問題。
由于我們正在解決之前無法解決的問題，所以才會認為這種認知比自己“更聰明”，但實際上，它只是跟我們“不一樣”而已。這種思維差異才是人工智能的主要優勢。我認為，看待人工智能時，真正可取的方式是將其視作一種異形智能(或人造異形)。它與我們之間的差異性才是它真正的價值所在。
與此同時，我們還將把這些不同的認知模式融合到更加全面而復雜的“思維社會”中。其中有些復合體比我們更復雜，而由于它們可以解決我們無法解決的問題，所以有人會將其定性為“超人類”。但我們不會將谷歌稱作超人類人工智能，即便它的記憶能力遠超我們，這是因為我們能在很多事情上比它做得更好。
這些人工智能復合體肯定可以在很多維度上超越我們，但沒有一個實體能夠在方方面面全面超越人類。這跟體力方面獲得的進步有些類似。工業革命至今已有200年歷史，雖然所有機器作為一個整體可以在體力上超越人類的個體(奔跑速度、舉重能力、精確切割)，但沒有一臺機器能夠在所有事情上全面超越一個普通人。
即便人工智能中的“思維社會”變得更加復雜，目前也很難用科學方法衡量這種復雜性。我們并沒有一套可行的復雜性指標來判斷黃瓜是否比波音747更加復雜，或者判斷它們之間的復雜方式是否存在差異。
想要確定思維A是否比思維B更加復雜，是一件非常困難的事情。同樣地，要確定思維A是否比思維B更聰明，也非常困難。我們很快就會明確意識到，所謂的“聰明”并不是單一維度的問題。我們同時也會意識到，我們真正關注的其實是智能的其他運行模式——也就是我們尚未發現的其他所有認知節點。
2
第二個關于人工智能的誤解是，我們認為自己擁有通用智能。正由于秉承了這種被人反復提及的觀念，使得人工智能研究人員經常闡述一個目標：開發通用人工智能技術(AGI)。然而，如果我們以上文的“可用性空間”來看待智能，那也就沒有通用一說了。
人類智能并不處在中心位置，其他專項智能也并不是圍繞它發展的。相反，人類智能只是一種非常具體的智能形式，經過了數百萬年的進化后，使得我們這個物種在地球上生存下來。如果對所有可能的智能類型所處的空間進行了解后，便會發現人類這種智能只是“偏居一隅”，就像我們的世界處在浩瀚的銀河的邊緣一樣。
我們肯定可以想象，甚至發明一種類似于瑞士軍刀的多用途思維。它可以完成很多事情，但卻沒有一種能夠做到極致。人工智能也會無法突破這種極限：不可能針對所有維度進行優化，只能進行權衡，做出妥協。不可能開發出在每項具體的功能上都表現優異的多功能通用人工智能。
一個龐大的“全能”思維，不可能在所有事情上都像專用人工智能一樣表現出色。由于人們認為人類的思維是通用思維，所以往往也認為認知不必受限于工程師的權衡妥協，認為完全可以開發出一種在所有思維模式上都做到極致的智能技術。
但我沒有看到任何證據支撐這一論調。我們并沒有開發足夠多樣的思維模式，因而也就無法看到可能性空間的整體狀況。
3
人類之所以認為可以在通用思維上做到極致，其實一定程度上源自通用計算的概念。這個概念之前在1950年被稱作丘奇-圖靈假說(Church-Turing
hypothesis)。這種假說認為，達到特定門檻的所有計算都是等價的。因此所有的計算存在一個通用的核心：無論組成一臺機器的零件速度是快是慢，甚至就算發生在生物體的大腦中，都會遵循相同的邏輯過程。這就意味著你可以在任何一臺能夠進行“通用計算”的機器上模擬任何的計算過程(思維)。
奇點論者利用這套理論來支撐自己的預期：他們認為，我們可以制作一種具備人類思維的“硅腦”，甚至可以開發能像人類一樣思考的人工思想，而且遠比人類更加聰明。我們應該對這種期待心存懷疑，因為他們誤解了丘奇-圖靈假說。
這項理論的出發點是：“如果擁有無限的磁帶(存儲)和時間，所有的計算都是等價的。”問題在于，在現實世界中，沒有一臺計算機擁有無限的存儲和時間。當你在現實世界中進行實時操作時，這甚至會產生天壤之別。沒錯，如果忽略時間因素，所有的思維都是等價的。的確，你可以在任何一個矩陣中模擬人類思維，前提是你要忽略時間維度，或者存儲及內存等實實在在的局限因素。
然而，如果把時間考慮在內，就必須重新闡述這條定律：在兩個差異巨大的平臺上運行的兩套計算系統不可能實時等價。還可以這樣來說：想要讓不同的思維模式等價，唯一的方法就是讓它們在等價的基底上運行。你的計算究竟能夠實時處理好哪些類型的計算，很大程度上取決于它所依賴的物理因素——隨著復雜度的提升，這種現象也會越發明顯。
我會進一步擴展這種論調：想要達到與人類相似的思維流程，唯一的方法就是在類似于人類的血肉組織上進行計算。這也就意味著，那些在冷冰冰的硅片上構造的復雜的大型人工智能雖然可以生成復雜的大型思維，但卻不同于人類的思維。如果能使用像人類這樣可以增長的神經開發出有血有肉的人工大腦，它們的思維或許會與我們更加相似。這種血肉大腦帶來的好處，與它所依賴的基底跟我們之間的相似程度成正比。創造“濕件”(wetware，指人類的神經系統)的成本巨大，而它的組織結構與人腦組織越接近，“制造”人類的成本效率就越高。畢竟，我們只要懷胎9個月就可以“制造”一個人。
另外，正如上文所說，我使用整個身體來思考，而不僅僅依賴思維。有很多數據都可以顯示人體的神經系統如何引導我們的“理性”決策過程，甚至能夠預測和學習這一過程。我們對整個人體系統了解得越深，就越有可能復制它。處于不同載體上(例如從有血有肉的人體轉移到冷冰冰的硅片上)的智能會產生不同的思考方式。
我不認為這是個漏洞，反而認為這是一項可以利用的功能。正如我在第2條中所說，與人類擁有不同的思維方式恰恰是人工智能的優勢所在。正因如此，我才認為，用“比人類更聰明”這樣的說法來定義它是一種誤導。
4
超人類人工智能——尤其是認為這種人工智能將會不斷自我提升的觀點——的核心在于，他們認為智能可以擁有無限的規模。我沒有發現這方面的證據。同樣地，以單一維度來看待智能的錯誤觀念也對這種看法形成了促進，但我們應該對此加以理解。以目前的科學研究來看，宇宙中還沒有哪一種物理維度是無限的。
溫度不是無限的——無論冷熱都有極限。空間和時間也不是無限的，速度同樣也有極限。數字或許是無限的，但其他的物理屬性都有極限。于是，問題變成了：智能的極限在哪里?我們往往認為，這個極限遠超自身的能力范圍，肯定“高于”我們，就像我們“高于”螞蟻一樣。
暫且拋開單一維度這個遞歸問題不談，我們有什么證據證明人類本身不是智能的極限?為什么人類智能就不能是智能的極限呢?或者說，人類智能有沒有可能距離極限水平只有很短的距離?為什么我們認為智能可以繼續無限提升下去?
可以通過一種更好的方式來思考這個問題，那就是把我們的智能看做數百萬種可能的智能中的一種。所以，雖然每一個認知和計算維度都有局限，但如果有數百個維度，那就會有數不清的思維類型——沒有一種思維類型能在任何一個維度中達到無限高度。當我們建立和遇到這些數不清的思維模式后，或許會自然而然地認為其中一些超過了我們。在最近出版的新書《The
Inevitable》里，我闡述了一些能在某些方面超越我們的思維類型。以下就是其中的部分摘錄：
——跟人類思維相似，但回答速度更快(這是最容易設想的人工智能思維)
——思維速度很慢，主要由龐大的存儲和內存構成
——由數百萬愚蠢的個體思維合力構成的集體超級思維
——由很多極其聰明的思維構成的集體思維，但卻并未意識自己是一個集體
——有很多極其聰明的思維共同構成的超級思維，而且清楚地意識到自己加入了一個聯合體
——它經過訓練，而且專門用于提升你的個人思維，但對其他人卻沒有用處
——能夠想象更好的思維，但卻無法將其創造出來
——能夠創造更好的思維，但卻不具備足夠的自我意識來想象這種思維
——能夠一次性地成功創造更好的思維
——能夠創造更好的思維，而這種被創造出來的思維還可以創造比它更好的思維
——能夠訪問自己的源代碼，因此可以定期調整自己的流程。
——沒有感情的超級邏輯思維
——具備通用問題解決能力的思維，但卻沒有自我意識
——擁有自我意識，卻不具備通用問題解決能力的思維
——需要經過長時間來開發，而且在成熟之前需要一套思維為其充當保護器
——分布在龐大的超慢思維之內，快速思維似乎“看不見”它
——具備快速自我復制能力的思維
——能夠自我復制，而且仍然可以跟自己的克隆體結為一體
——能夠從一個平臺遷移到另一個平臺的不朽思維
——能夠改變流程和認知特點的快速動態思維
——具備自我意識的最小(無論是尺寸還是能量)納米思維
——擅長具體場景和預測的思維
——永遠不會抹去或忘記事情，也不會搞錯任何信息的思維
——一半機器、一半動物的共生思維
——一半機器、一半人類的電子人思維
——使用量子計算的思維，它所使用的邏輯無法被我們理解
現在有些人可能會把這些東西稱作超人類人工智能，但這些思維的多樣性和特異性卻會引導我們使用新的詞匯“智能”和“聰明”，并對其產生新的認識。
其次，相信超人類人工智能的人會假設人工智能可以呈現指數級增長(以某些未經確認的單一參數為標準)，這很可能是因為他們認為它已經實現了指數級增長。然而，目前沒有任何證據表明人工智能正在呈現指數級增長——無論用哪種方式衡量都不例外。
我所說的指數級增長指的是每過一段時間，人工智能的性能便可實現翻番。證據何在?我找不到。如果現在沒有證據，為什么認定未來會發生?唯一能以指數級增長的就是人工智能所獲得的輸入數據，也就是用于生成智能的資源。但輸出表現并不能像摩爾定律一樣增長。人工智能無法做到每過3年性能翻番，甚至連每過10年性能翻番都做不到。
我問過很多人工智能專家，有沒有證據表明人工智能的性能實現了指數級增長。他們都表示，目前沒有指標來衡量智能，而且他們也沒有從事這方面的工作。但當我向堅定看好人工智能飛速發展前景的雷-庫茲韋爾(Ray
Kurzweil)詢問人工智能呈現指數級增長的證據時，他表示，人工智能并沒有實現爆發式增長，而是表現出層級式增長模式。
他說：“人工智能每上一個臺階，都需要計算和算法的復雜度實現指數級提升……所以我們可以預計線性的層級式增長，因為每上一個臺階都需要在復雜度上實現指數級增長，而我們這方面的能力的確實現了指數級進步。我們與大腦皮質之間相差的層級不多，所以我認為2029年可能實現。”
庫茲韋爾似乎是在說，人工智能本身沒有呈現指數級增長，反而是開發人工智能所作的努力呈現這種增長態勢，而實際輸出效果僅僅是一次一個臺階地邁進。這幾乎與人工智能大爆發的前提假設完全相反。這種情況今后可能發生變化，但人工智能目前顯然沒有呈現爆發態勢。
因此，當我們設想“人工智能爆發”的情形時，不應該將其視作一種級聯式繁榮，而應該設想為新型的散發式發展。用一個更形象的比喻來說明，這更像是寒武紀物種大爆發，而不是核爆炸。幾乎可以肯定的是，技術加速發展的結果并不是催生“超級人類”，而是“超常人類”。換句話說，它會超脫于我們的經驗范圍，但未必能“高于”我們。
5
認為超級人工智能將接管世界人還持有另一個前提假設：幾乎擁有無限能力的超級人工智能可以很快解決很多重大的未解難題。但這種說法卻沒有太多證據支撐。
很多認同人工智能將實現爆發式增長的人預計，這項技術將會實現高速進步。我把這種神話般的觀念稱作“思考主義”(thinkism)。在他們看來：思考能力或智能水平是阻礙未來進步的唯一因素。但這完全是第一種謬論。(很多喜歡思考的人也都懷有這樣一種信念：思考是一種神奇的超能力，甚至無所不能。)
以治愈癌癥和延長壽命為例。這些問題不是單憑思考就能解決的。光靠“思考主義”根本無法發現細胞的衰老方式和染色體的衰退過程。無論多么言之鑿鑿，也不可能單憑閱讀所有已知的科學文獻想清楚人體的運作模式。沒有一種超級人工智能可以簡單地思考現在和過去的所有核裂變實驗，然后在一天之內想出核聚變技術。
除了思考之外，想要從未知過渡到已知，還必須輔以很多元素。需要在現實世界中進行很多實驗，每次實驗都會產生大量相互矛盾的數據，因此需要通過進一步的實驗來確立正確的假說。單純思考潛在數據根本無法得出正確數據。
思考(智能)只是科學的一部分，甚至只是一小部分。例如，我們根本沒有足夠的數據來解決生老病死的問題，甚至連冰山一角都沒有揭開。具體到生物體的運作機制，多數實驗都需要用時間來慢慢醞釀。細胞新陳代謝速度很慢，無法加速進行。可能需要數年、數月，至少也要數天時間，才能看到結果。
如果你想知道亞原子微粒的情況，那就不可能單憑思考來獲得答案。必須要建造復雜的大型物理設施才行。就算當今最聰明的物理學家比現在再聰明1000倍，如果沒有對撞機，他們也無法獲取新的知識。
超級人工智能無疑可以加速科學進程。我們可以制作原子或細胞的計算機模擬程序，從而大幅加快速度，但有兩個因素限制了模擬器在獲取瞬間進步時的實際效果。首先，模擬器和模型之所以能比它們模擬的對象速度更快，是因為它們刪減了一些因素。這是模型或模擬器的自然屬性。同樣值得注意的是：對這些模型進行測試、審核和驗證仍然需要在正常的時間維度內進行，從而匹配它們的模擬對象。換句話說，對事實的驗證速度無法真正加快。
在模擬器中簡化后的運行結果對于篩選最有希望的路徑非常有用，因此可以加快進度。但在卻無法超越現實，所有的現實因素都會帶來一定的影響，這也是對“現實”的一種定義。隨著模型和模擬器中添加的細節信息越來越多，便會碰到局限，以至于模擬對象的實際運行速度反而比100%復制現實元素的模擬器速度更快。這便引出了“現實”的另外一個定義：在考慮了所有細節和自由度之后，速度最快的那個版本才是“現實”。
如果你能將細胞中的所有分子和人體內的所有細胞都融入模型之中，這個模擬器的速度不會超過人體。無論你怎么努力思考，仍然需要時間來完成實驗，無論是現實系統還是模擬系統都概莫能外。
為了體現實用性，人工智能必須應用于現實世界，而現實世界往往會制約它們的創新速度。如果沒有進行實驗，沒有開發原型產品，沒有經歷失敗，也沒有與現實互動，人工智能就只能思考，無法得出結果。所謂的“比人類更聰明的”人工智能也無法在一瞬間獲得任何發現。雖然發現速度會因為人工智能的進步而大幅加快，一定程度上源自這種與眾不同的人工智能會提出人類不會提出的問題，但即便具備遠高于我們的智能，也不意味著可以立刻取得進步。想要解決問題，光靠智能是不夠的。
不僅治愈癌癥和延長壽命這樣的問題不能單靠智能解決，智能本身同樣不能光靠智能來解決。奇點論者有一個理論：一旦你開發出“比人類更聰明的”人工智能，它就會突然之間努力思考，并開發出“比自己更聰明的”人工智能，然后進一步開發更聰明的人工智能，直到能力爆棚，變得跟上帝一樣。
沒有證據表明，僅僅靠思考智能就足以開發出更高級的智能。這種“思考主義”是一種信仰。但有很多證據表明，除了大量的智能外，還需要通過實驗、數據、試錯、反復質疑，以及各種各樣智能之外的東西，才能成功發明新的思維。
總結來看，我對這些說法的分析可能都是錯誤的。我們還處在發展早期，今后可能會發現一種通用的智能衡量標準，也可能發現智能可以在所有維度上變得無限強大。因為我們對智能究竟是什么知之甚少(更別提“意識”了)，所以人工智能奇點存在的概率大于零。我認為，所有證據都表明，它存在的概率很低，但仍然大于零。
因此，盡管我不認同這種可能性，但我的確認同OpenAI所秉承的宏觀目標，以及那些擔心超人類人工智能的聰明人所懷有的擔憂——我們應該開發友好的人工智能，然后搞清楚如何向其灌輸與我們相似的自我復制價值觀。
雖然我認為超人類人工智能在遙遠的將來可能對我們的生存構成威脅(而且值得考慮這個問題)，但由于這種概率很低(根據目前的證據來看)，所以不應該因此而影響我們的科學、政策和發展方向。
小行星撞地球必然引發災難，這種事情發生的概率大于零(所以我們才應該支持B612基金會)，但卻不應該因為存在小行星撞地球的可能性而影響我們在氣候變化、太空旅行甚至城市規劃方面所做的努力。
類似地，目前的證據表明，人工智能最可能的結果不是成為“超級人類”，而是會出現成百上千的新型“超常人類”思維，這些思維多數都與人類不同，但沒有一個是通用智能，也沒有一個能夠像神一樣瞬間解決我們面臨的重大問題。
相反，今后將會出現無數種存在局限的智能技術，在我們并不熟悉的維度從事工作，在很多方面超越我們的思維，并及時與我們配合，從而解決既有問題，同時創造新的問題。
我理解超人類人工智能的巨大吸引力。我也希望能有超人出現，但與超人一樣，這同樣只是虛構的神話。宇宙中的某個地方或許存在超人，但概率很低。然而，神話也很有用，一旦被發明出來，就不會消失。關于超人的想法永遠不會消失。超人類人工智能奇點的想法既然已經誕生，肯定就會永遠存在下去。
但我們也應該承認，這目前還只是一種類似于宗教信仰的想法，沒有科學依據。如果我們認真研究目前掌握的關于人工智能和自然智能的各種證據，就會發現，我們關于超人類人工智能的設想只不過是像神話一樣的錯誤觀念。
與世隔絕的密克羅尼西亞群島上有很多人在二戰期間首次得以跟外界取得聯系。外來的上帝坐在轟鳴的大鳥身體里面，飛過他們的天空，把食物和物品投放到島上，之后便一去不返。于是，島上出現了一種宗教，他們祈禱上帝能夠回來投放更多物資。
即便是在55年后的今天，那里仍有很多人在等待上帝再次投下物資。超人類人工智能可能也會成為一個與之類似的宗教。一個世紀之后，當人們回望這段歷史的時候，可能會想，此時的信仰者開始期待超人類人工智能隨時出現，為他們帶來不可思議的價值。年復一年，他們始終等待著超人類人工智能的出現，相信它很快就能載著“物資”降臨人世。
然而并沒有出現真正的超人類人工智能。我們一直在不斷重新定義這項技術，增加它面臨的困難，甚至可能在未來限制它的發展。但從異形智能——由多樣化的智能、認知、邏輯、學習和意識構成的連續統一體——的廣泛角度來看，人工智能已經在這個星球上普遍存在，而且會繼續擴散、深化、變異、強化。
之前沒有任何一項發明能像它一樣給我們的世界帶來如此大的改變。到本世紀末，人工智能可能會滲透并改變我們生活中的一切。不過，關于超人類人工智能的神話——既有可能是人類的福祉，也有可能奴役人類(或者二者皆有)——仍將存在下去。畢竟，這種可能性太過神秘，讓人欲罷不能。
