这篇文章是我们关于DealBook峰会的特别部分的一部分，该峰会包括来自世界各地的商业和政策领袖。
人工智能公司Anthropic的首席执行官达里奥·阿莫代伊(Dario Amodei)认为，他的预测在10%到25%之间。联邦贸易委员会(Federal Trade Commission)主席莉娜·汗(Lina Khan)最近告诉我，她的比例是15%。埃米特·希尔(Emmett Shear)上个月担任了大约五分钟的Openai临时首席执行官，他说自己在5%到50%之间徘徊。
当然，我说的是p(doom)，这个病态的新数据正在席卷硅谷。
P(厄运)——这是数学术语中“厄运的概率”的意思——是一些人工智能研究人员谈论他们认为人工智能有多大可能杀死我们所有人，或者制造一些威胁人类生存的其他灾难的方式。高p(doom)意味着你认为人工智能的末日很可能发生，而低p意味着你认为我们可能会挺过去。
“末日”(doom)曾经是在线留言板上人工智能爱好者之间的一个内部笑话，但最近几个月已经成为主流，因为去年由ChatGPT引发的人工智能热潮引发了人们对人工智能发展速度的普遍担忧。
它已经成为旧金山技术人员之间常见的破冰工具，也是人工智能文化中不可避免的一部分。今年我参加了两场科技活动，都有一个陌生人随意地问我“末日”(doom)，就像问去洗手间的路一样。云数据平台Box的首席执行官亚伦·列维(Aaron Levie)告诉我，“几乎每次晚餐谈话都会提到这个话题。”
P(doom)甚至在上个月的OpenAI大戏中扮演了一个小角色。在希尔被任命为OpenAI的临时领导人后，员工们开始流传最近的一个播客片段，这位高管在其中表示，他的概率可能高达50%。一位目睹了讨论的人说，一些员工担心他是一个“末日使者”，担心他可能会试图放慢或限制他们的工作，因为这样做风险太大。(最终，OpenAI被解职的首席执行官萨姆·奥特曼(Sam Altman)回来了，所以这并不重要。)
当然，科幻迷们多年来一直认为机器人会接管人类。但在去年ChatGPT发布后，这种威胁开始显得更加真实。毕竟，如果人工智能模型能够赢得艺术奖项并通过律师资格考试，那么灾难还会有多远呢?
人工智能内部人士也敲响了警钟。著名的人工智能研究人员杰弗里·辛顿(Geoffrey Hinton)今年从谷歌辞职，并开始对人工智能的风险发出警告。他最近估计，如果不严格监管人工智能，未来30年，它有10%的可能性导致人类灭绝。
当然，没有人知道人工智能杀死我们的可能性是10%、20%还是85.2%。还有很多明显的后续问题，比如:如果只有50%的人类死于人工智能，这还算“末日”吗?如果没人死，但我们都失业了，痛苦不堪呢?那么，人工智能将如何接管世界呢?
但p(厄运)的重点不是精确。这是为了粗略地评估某人在乌托邦到反乌托邦之间的立场，并以模糊的经验主义方式传达你对人工智能及其潜在影响的认真思考。
p(厄运)这个词似乎是十多年前在一个致力于理性主义哲学运动的在线留言板LessWrong上出现的。
LessWrong的创始人、自学成才的人工智能研究员埃利泽·尤德科夫斯基(Eliezer Yudkowsky)很早就提出了流氓人工智能可以接管世界的想法，并写了他所设想的各种人工智能灾难场景。(当时，人工智能几乎不能设置厨房计时器，所以这种风险似乎相当遥远。)
尤德科夫斯基后来成为人工智能领域最知名的末日预言者之一，他告诉我，p(doom)这个词不是他发明的，尽管他帮助推广了这个词。(他还说，如果目前的人工智能趋势继续下去，他的p(末日)是“是”。)这个词后来被有效利他主义运动(Effective Altruism)的成员采用，他们用逻辑推理来得出关于道德善良的想法。
我猜测这个词是由波士顿的程序员Tim Tyler创造的，他从2009年开始在LessWrong上使用这个词。泰勒在一封电子邮件中说，他一直在用这个词，“指的是毁灭的可能性，而不是太具体地说明时间尺度或‘毁灭’的定义。”
对一些人来说，谈论你的末日只是闲聊。但在硅谷，有人认为人工智能发展太快，有人认为它应该发展得更快，两派之间的激烈辩论中，它也成为了一个重要的社会信号。
Box的首席执行官列维属于更为乐观的阵营。他说他的p(厄运)非常低——不是零，但“几乎是尽可能的低”——他打赌我们将减轻人工智能带来的巨大风险，避免最坏的可能结果。他担心的不是人工智能会杀死我们所有人，而是监管机构和立法者会抓住可怕的末日预言，作为打击一个有前途的年轻行业的理由。
他说:“如果在人工智能的发展中过早地做出关键的政策决定，就可能会出现越界。”
p(厄运)的另一个问题是，当风险是存在的时候，不清楚什么是好概率，什么是坏概率。如果你预测有15%的可能性人工智能会杀死地球上的所有人类，你真的是一个人工智能乐观主义者吗?(换句话说:如果你认为你乘坐的下一架飞机“只有”15%的几率坠毁，机上所有人遇难，你会登上飞机吗?)
开放慈善组织(Open Philanthropy)研究人工智能风险的高级研究员阿杰亚?科特拉(Ajeya Cotra)花了很多时间思考末日(p(doom))。她认为这是一种潜在的有用的速记——她的p(厄运)在20%到30%之间，记录——但她也看到了它的局限性。首先，p(doom)并没有考虑到与人工智能相关的伤害概率在很大程度上取决于我们选择如何管理它。
她告诉我:“我知道有些人的死亡率超过90%，之所以这么高，部分原因是他们认为公司和政府不会为良好的安全措施和政策措施而烦恼。”“我知道其他人的p(厄运)不到5%，之所以这么低，部分原因是他们预计科学家和政策制定者将努力防止灾难性的伤害发生。”
换句话说，你可以把p(厄运)想象成一种罗夏墨迹测试——一种本应是关于人工智能的统计数据，但最终却揭示了更多关于我们对人类的感受，以及我们在控制风险的同时利用强大新技术的能力。
那你的呢?
凯文·卢斯是《纽约时报》科技专栏作家，也是播客“硬叉”的主持人。更多关于凯文·卢斯的信息
本文的另一个版本出现在纽约版第8页F部分，标题为:一个严峻的新人工智能指标。订购转载|今日报|订阅