历史上最着名的陨石大约在6600万年前袭击了墨西哥。它释放出100亿广岛级炸弹的爆发力。四分之三的物种在此后死亡，包括各种恐龙。这仅仅是过去5亿年来第五次最大的大规模灭绝。（最糟糕的是消灭了96％的物种。）

宇宙将以我们的方式继续以尤卡坦级岩石为背景。有趣的是，如果我们有足够的警告，我们或许可以避开一个。然而，这种先见之明将是代价高昂的，而且我们不太可能在我们伟大的曾曾曾孙子孙女离开之后才被打瞌睡。那么我们是否应该费心去追踪这些东西呢？

假设陨石引起了五次大灭绝（虽然完全不确定，这是思想实验的合理假设），但它们每1亿年大约出现一次。这意味着在任何一年中，几乎可以肯定我们都不会被陨石杀死。但是在很长一段时间内，它们会杀死我们所有人。他们的生命频率为75亿，并且陨石平均每年杀死75人。换句话说，大量的小行星造成75只的概率相当于某些每年人类死亡，使用“预期值”数学的镜头。（本系列的第一篇文章深入介绍了这一点，尽管你不需要阅读它来跟随这篇文章。）

特朗普政府计划明年在用于预测和排除大规模宇宙碰撞的计划上花费1.5亿美元。每年预计死亡人数为200万美元。这只是挥霍吗？

汽车安全的数学计算是一个很好的比较点，因为很少有事情被分析 – 或者诉讼 – 更加无情。因此，让我们考虑所有任务的母亲：安全气囊，这是美国法律自1998年以来在所有乘用车中所要求的。这些制造商每辆车的成本约为450美元。2016年，美国国家公路交通安全管理局认为安全气囊可以节省2,756人的生命。鉴于当年该国销售了1725万辆汽车，我们可以估计，美国社会每年为安全气囊节省的生命费用约为280万美元。

这意味着美国的杀手级小行星预算比我们至少每天致命风险的预防性支出低约30％ – 也就是说，它在同一个普通棒球场上。我个人认为这是一项明智的投资，而且对于一个因气候风险不足而被谴责的国家而言，这是一项远见卓识。它也是考虑其他存在威胁的有用背景。如果我们非常不走运，这将包括今天的主题，即人工超级智能。

Hollywood做了一项令人瞩目的工作，可以让AI中固有的危险得到普及。也就是说，仅仅是好莱坞主食的事实也可以让我们认真对待它。詹姆斯·巴拉特（ James Barratt ）类似地写道，如果“疾病控制中心发布了一个关于吸血鬼的严重警告”，它将“需要时间才能停止咆哮，木桩将会出来。”

当然，没有任何具有取消人性的可信风险的事情是一件骇人听闻的事情。即使灾难的可能性微小，也是如此。并且由于具有超级人工智能风险，可能性不大。与流星撞击不同，我们不能完全转向地质记录以获得指导。即使是科技史也没有什么告诉我们，因为它有不可预见的突破和发夹变化。这些使得技术的路径比政治，体育或任何其他不安的领域更难以预测。技术的未来只能在概率而非确定性方面负责任地构建。那些在理性辩论结果中获得零或100％赔率的人要么是不诚实的，要么是欺骗性的。

对AI风险的全面分析填满了 整 本书，所以我不会在这里尝试一下。但危险的本质是直截了当的。从计算进步的快速开始。由于速度是指数级和复合速度，在十年内通常会发生千倍的性能跳跃 – 然后迅速扩展到2000x，然后是4000x。因此，我们必须接受计算机有朝一日能超越我们制造更好的计算机。

当我们的大脑在大草原上进化时，我们看不到指数过程，所以预测它们并不是自然而然的，准确的预测可能会让人感到愚蠢。阿马拉定律认为，我们倾向于在短期内高估新技术的影响，但从长远来看却低估了它们。短期失势也可能引发玩世不恭 – 加深长期成功的冲击。随着指数的变化，反对者应该跳过胜利圈，当年长者看起来很蠢。肆无忌惮的激进预测最终可能会变得狡猾。

这就是为什么我们人类在最近似乎几乎难以计算的领域中经常被人们所震撼。这些日子发生了很多：在危险中！，面部识别，放射学，围棋，并且，很快，驾驶。因此，我们必须接受计算机有朝一日能超越我们制造更好的计算机。而且我要强调的是，操作词是“可能的” – 我在这方面并不确定（在这场辩论中也没有任何人值得你注意）。

如果超过这个阈值，那么计算的进度可能会剧烈激增 – 因为虽然培训一位优秀的软件工程师需要数十年的时间，但数字引擎可以快速复制数百万次。因此，数字自我改善的失控过程可能会使我们对细菌的思想与我们一样辉煌。

作为我们的职业目标是帽子这样的头脑，然后可能会做是可测到我们的大肠杆菌。我怀疑一个超级人工智能会不顾一切地消灭我们，就像我们不会消除细菌一样。然而，我们经常以十亿为代表消灭它们。我们这样做是为了小心（用Lysol擦拭浴室）。我们通过积极的自卫（降低抗生素）来做到这一点。我们通过简单的存在和代谢不知不觉地做到这一点。细菌与我们没有道德立场。它们只是背景噪音，有可能变成恶性。我们以Hal 9000或Ex Machina的Ava面对人类障碍的理性冷静来接近他们。

那么，为什么超级人工智能会像微流感一样对待我们呢？这可能是一个预防措施，在终结者的天网。就像我们对浴室进行消毒一样，因为一小部分细菌会带来危险，人工智能可能会担心我们中的一些人可能会试图拔掉它。或者说，我们领导人的一小群人可能会犯下一场核战争 – 这可能会使我们的数字更好地与我们其他人一起爆炸。

或者，我们的厄运可能是超级AI处理其待办事项列表的副作用。就像一个病毒粒子无法理解我的音乐选择一样，我无法想象聪明的东西会对宇宙中最容易获得的建筑材料做些什么。也就是说，目前包含我们的星球，生物圈和居民的原子。这一切都可能成为一个可爱的星际超级滑翔机。或者是庞大的计算基板。谁知道？你也可以问一下埃博拉病毒为什么我仍然喜欢暴力女性。

鉴于我们在这个星球上度过了自己的统治，从内脏和我们的同类生物中取出了很酷的东西，我们的继承者肯定会有类似的兴趣。是的，将他们的祖先变成分子乐高积木可能是不合适的。但是我们从鱼类，蠕虫和细菌中下来，所有这些都在我们适合的时候无辜地屠杀。

然而，所有这些听起来极不可能 – 事实上，希望是 – 我们不能认为这是不可能的。理性的生命可以对抗不太可能发生的灾难。我们花费数十亿研究航空安全，尽管去年全球商业航空旅行导致的死亡人数为零。当然，每辆新车都安装了安全气囊，但只有一小部分可以安装。面对不确定性，而不是全物种的愚蠢，这是谨慎的谨慎。而且由于我们无法准确地说出人工智能世界末日的可能性，所以如果周围最聪明的人一致轻笑并且睁大眼睛看着危险就会让人放心。

不幸的是，在他最后一次重要的公开演讲中，已故的斯蒂芬霍金说：“强大的人工智能的兴起将成为人类有史以来最好或最坏的事情。”为什么后者呢？因为“人工智能可以发展自己的意志，这种意志与我们的意志相冲突，可能会摧毁我们。”不稳定但无可否认的辉煌的伊隆马斯克同意这一评估，并且确实认为人工智能“比核武器更危险。 “虽然同样出色的比尔盖茨与马斯克最严厉的警告保持距离，但他把自己 ”置于关注超级情报的阵营中“，以及那些”不明白为什么有些人不关心“的人。

不像名人与免疫学家讨论疫苗时，这一点都不能被视为惹人注目的嗜好者。尽管如此，批评者仍然质疑马斯克和霍金的证书，因为他们都没有接受过人工智能专家培训。但是，在这个严重的问题上，我们是否应该只听取行会认可的内部人员的意见？这与Upton Sinclair的格言一样尴尬，因为当他的工资取决于他的理解时，“很难让一个人理解某些东西。”这种趋势与工资规模相关 – 而且即使在非营利组织，人工智能专家也会下调七位数。

马斯克，盖茨或者霍金也不会被当作聪明的人而被注销，他们在进入一个完全不为人知的领域时成为半智者游客（例如亨利基辛格和乔治舒尔茨加入Theranos董事会）。特斯拉几乎在人工智能上运行微软拥有庞大的人工智能预算。而据我们所知，斯蒂芬霍金本人就是人工智能。人工智能安全倡导者也包括许多该领域最深层的内部人士 – 像Stuart Russell这样的人，他写了关于人工智能的书而且这不是一个比喻，但断言他的文本被用于更多的大学人工智能课程，而不是任何其他他妈的书。罗素并不表示人工智能将会杀死我们所有人 – 远非如此。但他认为这可能会带来灾难性的风险，就像他的其他人一样。

鉴于这一切，为AI灾难分配零风险将是一种基于信仰的行为 – 一种虔诚地忽视专家意见和技术不可预测性质的行为。本次辩论中的理性参与者应该关注可接受的非零风险水平 – 以及该水平是否可以达到。这不是关于精度。相反，它是关于规模和合理性的。我无法确定我们所面临的AI的严重危险程度。没有人可以。

我们可以从有史以来提供的最高保证技术之一开始。在网络运营中，时髦的短语“五个九”代表99.999％的正常运行时间。除了每月30秒（或者2月份为28秒），我们可以提供五个九点的服务。虽然它经常插入合同中，但这个标准通常被描述为不可能保证，实际上不可能是一个神话等等，这是为了保持大型机和网站运行的相对整洁，易于理解的功能。相比之下，设置人工智能世界末日的过程涉及一些非常合理的事情，但根本没有理解，并且最有可能通过自主软件实现，如果它发生的话。没有办法分配五个九分的信心。实际上，两个9（或99％）看起来几乎是好战的乐观。

对于这种分析的每个要素，Y耳朵都可能会吵架。所以我会很清楚：这不是关于精确度。相反，它是关于规模和合理性的。我无法确定我们所面临的AI的严重危险程度。没有人可以。但我相信，我们与普通的非指数世界所接受的风险水平相差多个数量级。

当最糟糕的情况可能会扼杀我们所有人时，五个九的信心就相当于75,000个特定的死亡。不可能为此付出代价。但我们可以注意到，这是9/11恐怖袭击死亡人数的25倍 – 世界各国政府每周花费数十亿美元来抵御可能的续集。在第二次世界大战的规模上，有两个9或90％的信心可以映射到某种灾难。我们该怎么做才能避免这种情况？至于我们每年避开一颗消灭的小行星的几率，他们从8个九分开始，没有人抬起手指。然而，我们正在投资以改善这些可能性。我们理性地这样做了。而且预算增长很快（2012年仅为2000万美元）。

那么，我们应该怎么做呢？

我在大学学习阿拉伯语，现在，我播客  - 也就是说，我真的不知道。但是，即使我知道我们应该不会做的，这是反对这个结果相比，现在我们花在安全气囊和杀手小行星投资微不足道的资源。超级人工智能的威胁配置文件可能很容易与冷战时期相似。这就是说：相当不确定但是太可信了，而且我们不愿意承认这一点，真他妈的很大。在冷战期间，人类并没有廉价出路。实际上，我们花了数万亿美元。对于所有的错误，犯罪和一路上的失误，我们从那个非常好的出来。

我最后会注意到，这里的危险很可能源于一个自大的精英群体的错误，而不是扭曲孤独者的恶意。拥有天才的高度资助和竞争激烈的领域没有任何空间让孤独的怪人抓住议程。给我们带来泰坦尼克号，Stuxnet病毒，第一次世界大战和金融危机的动力在这里更加令人担忧。

这些并不是坏事。他们大多是中立到好人的角落。我们不知道超级人工智能项目的警告标志正在转向轨道，因为没有完成过。所以角落可能会因无知而被切断。或者将Google推向市场。或者确保中国不首先越过终点线。如前所述，安全问题可能会在一场比赛中消失，特别是如果双方都认为胜利者将面临无法弥补的地缘政治优势。让事情发生变化并不需要全球性的后果。许多人在宪法上倾向于采取巨大的，不计后果的机会，即使是适度的上升空间。Daredevils将冒这一切风险获得小奖和一些荣耀，社会允许这一点。但是，当利润丰厚的私人赌博危害每个人时，道德规范会发生变异。也就是说，当世界末日的风险被私有化时。

想象一个年轻，自私，独立的男人，如果他帮助他的创业公司做出巨大的AI突破，他就会变得非常富有。事情可能会出现严重错误的可能性很小 – 缺乏谦卑使他倾向于将风险降至最低。从远古时代开始，移民，矿工和冒险者就已经接受了更大的个人危险来追逐更小的收益。

我们不能期望所有明天的创业人才会因为尊重陌生人，外国人或尚未出生的人而避开这个微积分。许多人可能。但是其他人会嘲笑这样的论文中的每一个论点，理由是他们比斯蒂芬霍金，伊隆马斯克和比尔盖茨更加聪明。我们都知道这样的人。我们这些技术人员可能知道几十个。而这个领域的关键突破可能只需要少数几个，加入一个自信，聪明，积极进取的团队。