歷史上最著名的隕石大約在6600萬年前襲擊了墨西哥。它釋放出100億廣島級炸彈的爆發力。四分之三的物種在此後死亡，包括各種恐龍。這僅僅是過去5億年來第五次最大的大規模滅絕。（最糟糕的是消滅了96％的物種。）

宇宙將以我們的方式繼續以尤卡坦級岩石為背景。有趣的是，如果我們有足夠的警告，我們或許可以避開一個。然而，這種先見之明將是代價高昂的，而且我們不太可能在我們偉大的曾曾曾孫子孫女離開之後才被打瞌睡。那麼我們是否應該費心去追蹤這些東西呢？

假設隕石引起了五次大滅絕（雖然完全不確定，這是思想實驗的合理假設），但它們每1億年大約出現一次。這意味著在任何一年中，幾乎可以肯定我們都不會被隕石殺死。但是在很長一段時間內，它們會殺死我們所有人。他們的生命頻率為75億，並且隕石平均每年殺死75人。換句話說，大量的小行星造成75隻的概率相當於某些每年人類死亡，使用「預期值」數學的鏡頭。（本系列的第一篇文章深入介紹了這一點，儘管你不需要閱讀它來跟隨這篇文章。）

特朗普政府計劃明年在用於預測和排除大規模宇宙碰撞的計划上花費1.5億美元。每年預計死亡人數為200萬美元。這只是揮霍嗎？

汽車安全的數學計算是一個很好的比較點，因為很少有事情被分析 – 或者訴訟 – 更加無情。因此，讓我們考慮所有任務的母親：安全氣囊，這是美國法律自1998年以來在所有乘用車中所要求的。這些製造商每輛車的成本約為450美元。2016年，美國國家公路交通安全管理局認為安全氣囊可以節省2,756人的生命。鑒於當年該國銷售了1725萬輛汽車，我們可以估計，美國社會每年為安全氣囊節省的生命費用約為280萬美元。

這意味著美國的殺手級小行星預算比我們至少每天致命風險的預防性支出低約30％ – 也就是說，它在同一個普通棒球場上。我個人認為這是一項明智的投資，而且對於一個因氣候風險不足而被譴責的國家而言，這是一項遠見卓識。它也是考慮其他存在威脅的有用背景。如果我們非常不走運，這將包括今天的主題，即人工超級智能。

Hollywood做了一項令人矚目的工作，可以讓AI中固有的危險得到普及。也就是說，僅僅是好萊塢主食的事實也可以讓我們認真對待它。詹姆斯·巴拉特（ James Barratt ）類似地寫道，如果「疾病控制中心發布了一個關於吸血鬼的嚴重警告」，它將「需要時間才能停止咆哮，木樁將會出來。」

當然，沒有任何具有取消人性的可信風險的事情是一件駭人聽聞的事情。即使災難的可能性微小，也是如此。並且由於具有超級人工智慧風險，可能性不大。與流星撞擊不同，我們不能完全轉向地質記錄以獲得指導。即使是科技史也沒有什麼告訴我們，因為它有不可預見的突破和髮夾變化。這些使得技術的路徑比政治，體育或任何其他不安的領域更難以預測。技術的未來只能在概率而非確定性方面負責任地構建。那些在理性辯論結果中獲得零或100％賠率的人要麼是不誠實的，要麼是欺騙性的。

對AI風險的全面分析填滿了 整 本書，所以我不會在這裡嘗試一下。但危險的本質是直截了當的。從計算進步的快速開始。由於速度是指數級和複合速度，在十年內通常會發生千倍的性能跳躍 – 然後迅速擴展到2000x，然後是4000x。因此，我們必須接受計算機有朝一日能超越我們製造更好的計算機。

當我們的大腦在大草原上進化時，我們看不到指數過程，所以預測它們並不是自然而然的，準確的預測可能會讓人感到愚蠢。阿馬拉定律認為，我們傾向於在短期內高估新技術的影響，但從長遠來看卻低估了它們。短期失勢也可能引發玩世不恭 – 加深長期成功的衝擊。隨著指數的變化，反對者應該跳過勝利圈，當年長者看起來很蠢。肆無忌憚的激進預測最終可能會變得狡猾。

這就是為什麼我們人類在最近似乎幾乎難以計算的領域中經常被人們所震撼。這些日子發生了很多：在危險中！，面部識別，放射學，圍棋，並且，很快，駕駛。因此，我們必須接受計算機有朝一日能超越我們製造更好的計算機。而且我要強調的是，操作詞是「可能的」 – 我在這方面並不確定（在這場辯論中也沒有任何人值得你注意）。

如果超過這個閾值，那麼計算的進度可能會劇烈激增 – 因為雖然培訓一位優秀的軟體工程師需要數十年的時間，但數字引擎可以快速複製數百萬次。因此，數字自我改善的失控過程可能會使我們對細菌的思想與我們一樣輝煌。

作為我們的職業目標是帽子這樣的頭腦，然後可能會做是可測到我們的大腸桿菌。我懷疑一個超級人工智慧會不顧一切地消滅我們，就像我們不會消除細菌一樣。然而，我們經常以十億為代表消滅它們。我們這樣做是為了小心（用Lysol擦拭浴室）。我們通過積極的自衛（降低抗生素）來做到這一點。我們通過簡單的存在和代謝不知不覺地做到這一點。細菌與我們沒有道德立場。它們只是背景噪音，有可能變成惡性。我們以Hal 9000或Ex Machina的Ava面對人類障礙的理性冷靜來接近他們。

那麼，為什麼超級人工智慧會像微流感一樣對待我們呢？這可能是一個預防措施，在終結者的天網。就像我們對浴室進行消毒一樣，因為一小部分細菌會帶來危險，人工智慧可能會擔心我們中的一些人可能會試圖拔掉它。或者說，我們領導人的一小群人可能會犯下一場核戰爭 – 這可能會使我們的數字更好地與我們其他人一起爆炸。

或者，我們的厄運可能是超級AI處理其待辦事項列表的副作用。就像一個病毒粒子無法理解我的音樂選擇一樣，我無法想像聰明的東西會對宇宙中最容易獲得的建築材料做些什麼。也就是說，目前包含我們的星球，生物圈和居民的原子。這一切都可能成為一個可愛的星際超級滑翔機。或者是龐大的計算基板。誰知道？你也可以問一下埃博拉病毒為什麼我仍然喜歡暴力女性。

鑒於我們在這個星球上度過了自己的統治，從內臟和我們的同類生物中取出了很酷的東西，我們的繼承者肯定會有類似的興趣。是的，將他們的祖先變成分子樂高積木可能是不合適的。但是我們從魚類，蠕蟲和細菌中下來，所有這些都在我們適合的時候無辜地屠殺。

然而，所有這些聽起來極不可能 – 事實上，希望是 – 我們不能認為這是不可能的。理性的生命可以對抗不太可能發生的災難。我們花費數十億研究航空安全，儘管去年全球商業航空旅行導致的死亡人數為零。當然，每輛新車都安裝了安全氣囊，但只有一小部分可以安裝。面對不確定性，而不是全物種的愚蠢，這是謹慎的謹慎。而且由於我們無法準確地說出人工智慧世界末日的可能性，所以如果周圍最聰明的人一致輕笑並且睜大眼睛看著危險就會讓人放心。

不幸的是，在他最後一次重要的公開演講中，已故的斯蒂芬霍金說：「強大的人工智慧的興起將成為人類有史以來最好或最壞的事情。」為什麼後者呢？因為「人工智慧可以發展自己的意志，這種意志與我們的意志相衝突，可能會摧毀我們。」不穩定但無可否認的輝煌的伊隆馬斯克同意這一評估，並且確實認為人工智慧「比核武器更危險。 「雖然同樣出色的比爾蓋茨與馬斯克最嚴厲的警告保持距離，但他把自己 」置於關注超級情報的陣營中「，以及那些」不明白為什麼有些人不關心「的人。

不像名人與免疫學家討論疫苗時，這一點都不能被視為惹人注目的嗜好者。儘管如此，批評者仍然質疑馬斯克和霍金的證書，因為他們都沒有接受過人工智慧專家培訓。但是，在這個嚴重的問題上，我們是否應該只聽取行會認可的內部人員的意見？這與Upton Sinclair的格言一樣尷尬，因為當他的工資取決於他的理解時，「很難讓一個人理解某些東西。」這種趨勢與工資規模相關 – 而且即使在非營利組織，人工智慧專家也會下調七位數。

馬斯克，蓋茨或者霍金也不會被當作聰明的人而被註銷，他們在進入一個完全不為人知的領域時成為半智者遊客（例如亨利基辛格和喬治舒爾茨加入Theranos董事會）。特斯拉幾乎在人工智慧上運行微軟擁有龐大的人工智慧預算。而據我們所知，斯蒂芬霍金本人就是人工智慧。人工智慧安全倡導者也包括許多該領域最深層的內部人士 – 像Stuart Russell這樣的人，他寫了關於人工智慧的書而且這不是一個比喻，但斷言他的文本被用於更多的大學人工智慧課程，而不是任何其他他媽的書。羅素並不表示人工智慧將會殺死我們所有人 – 遠非如此。但他認為這可能會帶來災難性的風險，就像他的其他人一樣。

鑒於這一切，為AI災難分配零風險將是一種基於信仰的行為 – 一種虔誠地忽視專家意見和技術不可預測性質的行為。本次辯論中的理性參與者應該關注可接受的非零風險水平 – 以及該水平是否可以達到。這不是關於精度。相反，它是關於規模和合理性的。我無法確定我們所面臨的AI的嚴重危險程度。沒有人可以。

我們可以從有史以來提供的最高保證技術之一開始。在網路運營中，時髦的短語「五個九」代表99.999％的正常運行時間。除了每月30秒（或者2月份為28秒），我們可以提供五個九點的服務。雖然它經常插入合同中，但這個標準通常被描述為不可能保證，實際上不可能是一個神話等等，這是為了保持大型機和網站運行的相對整潔，易於理解的功能。相比之下，設置人工智慧世界末日的過程涉及一些非常合理的事情，但根本沒有理解，並且最有可能通過自主軟體實現，如果它發生的話。沒有辦法分配五個九分的信心。實際上，兩個9（或99％）看起來幾乎是好戰的樂觀。

對於這種分析的每個要素，Y耳朵都可能會吵架。所以我會很清楚：這不是關於精確度。相反，它是關於規模和合理性的。我無法確定我們所面臨的AI的嚴重危險程度。沒有人可以。但我相信，我們與普通的非指數世界所接受的風險水平相差多個數量級。

當最糟糕的情況可能會扼殺我們所有人時，五個九的信心就相當於75,000個特定的死亡。不可能為此付出代價。但我們可以注意到，這是9/11恐怖襲擊死亡人數的25倍 – 世界各國政府每周花費數十億美元來抵禦可能的續集。在第二次世界大戰的規模上，有兩個9或90％的信心可以映射到某種災難。我們該怎麼做才能避免這種情況？至於我們每年避開一顆消滅的小行星的幾率，他們從8個九分開始，沒有人抬起手指。然而，我們正在投資以改善這些可能性。我們理性地這樣做了。而且預算增長很快（2012年僅為2000萬美元）。

那麼，我們應該怎麼做呢？

我在大學學習阿拉伯語，現在，我播客  - 也就是說，我真的不知道。但是，即使我知道我們應該不會做的，這是反對這個結果相比，現在我們花在安全氣囊和殺手小行星投資微不足道的資源。超級人工智慧的威脅配置文件可能很容易與冷戰時期相似。這就是說：相當不確定但是太可信了，而且我們不願意承認這一點，真他媽的很大。在冷戰期間，人類並沒有廉價出路。實際上，我們花了數萬億美元。對於所有的錯誤，犯罪和一路上的失誤，我們從那個非常好的出來。

我最後會注意到，這裡的危險很可能源於一個自大的精英群體的錯誤，而不是扭曲孤獨者的惡意。擁有天才的高度資助和競爭激烈的領域沒有任何空間讓孤獨的怪人抓住議程。給我們帶來泰坦尼克號，Stuxnet病毒，第一次世界大戰和金融危機的動力在這裡更加令人擔憂。

這些並不是壞事。他們大多是中立到好人的角落。我們不知道超級人工智慧項目的警告標誌正在轉向軌道，因為沒有完成過。所以角落可能會因無知而被切斷。或者將Google推向市場。或者確保中國不首先越過終點線。如前所述，安全問題可能會在一場比賽中消失，特別是如果雙方都認為勝利者將面臨無法彌補的地緣政治優勢。讓事情發生變化並不需要全球性的後果。許多人在憲法上傾向於採取巨大的，不計後果的機會，即使是適度的上升空間。Daredevils將冒這一切風險獲得小獎和一些榮耀，社會允許這一點。但是，當利潤豐厚的私人賭博危害每個人時，道德規範會發生變異。也就是說，當世界末日的風險被私有化時。

想像一個年輕，自私，獨立的男人，如果他幫助他的創業公司做出巨大的AI突破，他就會變得非常富有。事情可能會出現嚴重錯誤的可能性很小 – 缺乏謙卑使他傾向於將風險降至最低。從遠古時代開始，移民，礦工和冒險者就已經接受了更大的個人危險來追逐更小的收益。

我們不能期望所有明天的創業人才會因為尊重陌生人，外國人或尚未出生的人而避開這個微積分。許多人可能。但是其他人會嘲笑這樣的論文中的每一個論點，理由是他們比斯蒂芬霍金，伊隆馬斯克和比爾蓋茨更加聰明。我們都知道這樣的人。我們這些技術人員可能知道幾十個。而這個領域的關鍵突破可能只需要少數幾個，加入一個自信，聰明，積極進取的團隊。