Sam Altman 达沃斯圆桌：关于 AGI、纽约时报诉讼和董事会风波

“无论人工智能如何发展，人类依然将掌握对世界的最终决定权。”

图片来源：由无界 AI生成

作为人工智能界的风云人物，OpenAI 首席执行官 Sam Altman 于 1 月 19 日参加了瑞士达沃斯世界经济论坛上的一个由企业重量级人物组成的圆桌讨论，主题为“动荡世界中的技术”。

来源：Youtube

以下是 Altman 就一系列问题发表的看法，为方便阅读已进行部分删减：

问题：我认为大多数人对人工智能的担忧可分为两种。其一，它是否会终结我们所知的人类？其二，为什么人工智能不能直接帮我开车？

Sam Altman：关于这种新工具的一个非常好的迹象是，即使它目前的能力非常有限，而且存在非常大的缺陷，人们也在想方设法利用它来提高生产效率或其他方面的收益，并且理解它的局限性 -- 因此，它是一个时而准确、时而富有创意，但同样可能完全错误的系统。我们绝不会放心让它来驾驶汽车，但非常乐意利用它来集思广益、撰写文章或检查代码。

为什么人工智能不能开车？旧金山附近其实有很棒的自动驾驶汽车系统（如 Waymo），人们也都很喜欢它们。我的意思是，OpenAI 类型的模型在某些事情上表现出色，但在生死攸关的情况下就不行了。

人工智能在某种程度上已经去神秘化，因为人们现在真的在使用它。我认为，这始终是推动新技术发展的最佳方式。

问题：人们担心的是信任人工智能的能力。我们能在多大程度上说，“我真的可以让人工智能来做这件事，无论是开车、写论文还是填写医疗表格？”（或者）我们在某种程度上不得不相信黑匣子？

Sam Altman：我认为，人类对其他人犯错的宽容度很高，但对电脑犯错的宽容度却很低。我猜，对于那些说‘自动驾驶汽车已经比人类驾驶的汽车更安全’之类话的人而言，只有（自动驾驶汽车）比人类驾驶的汽车安全 10 到 100 倍，甚至更多时，人们才会接受它……

从某种意义上说，最困难的部分是当它 99.999% 的时间都是正确的时候，你会放松警惕。

（考虑到）我实际上无法进入你的大脑，查看 100 万亿个突触，并试图了解每个突触中发生了什么……但我可以要求你向我解释你的推理……我可以决定这对我来说是否合理。

我们的人工智能系统也将能够做同样的事情：它们将能够用自然语言向我们解释从 A 到 B 的步骤，而我们可以决定我们是否认为这些步骤是 ok 的。

问题：如果人工智能能够超越人类的分析和计算能力，那么人类还能做什么？很多人说，这意味着我们将只剩下……我们的情商……你认为人工智能也能比我们做得更好吗？

Sam Altman：国际象棋是人工智能的首批“受害者”之一 --Deep Blue 击败 Kasparov 已经是很久远的事了。所有的评论员都说：“计算机可以击败人类，这是国际象棋的末日。没有人会再费心看棋或下棋。”（但是）国际象棋从未像现在这样受欢迎。如果（棋手）用人工智能作弊，那会是件大事。没有人，或者说几乎没有人会观看两个人工智能之间的对弈。

我承认（人工智能革命与过去的技术颠覆相比），这次确实感觉不同。通用认知与我们所珍视的人性特质非常接近……（因此，）每个人的工作都将不同……我们都将在更高一点的抽象水平上工作，我们都将获得更多的能力。我们仍将做出决定；随着时间的推移，这些决定可能会更趋向于策划，但就世界上应该发生的事情，仍然将由我们做出决定。

问题：您一直对人工智能持相对温和的态度。但像埃隆- 马斯克，有时还包括比尔 - 盖茨，以及其他非常聪明的人……都非常非常担心。你为什么认为他们错了？

Sam Altman：我不认为他们一定会错……这显然是一项非常强大的技术，我们无法肯定地说究竟会发生什么。所有新的重大技术革命都是如此。但我们不难想象，这项技术将会对世界产生巨大的影响，而且有可能出大错。

我们一直在努力推动的技术方向，是我们认为可以确保安全的方向，其中包括很多东西。我们相信迭代部署。我们把这项技术推向世界……让人们习惯它。从社会整体来看，我们有时间，或者说机构有时间，来讨论如何监管，如何设置一些防护措施。

问题：从技术上讲，你能为人工智能系统设置防护吗？这样可行吗？

Sam Altman：如果你了解过从 GPT-3 到 GPT-4 的进展，看看它能在多大程度上与一系列价值观保持一致，就知道我们在这方面已经取得了巨大进步。现在，还有一个比技术更难的问题，那就是“谁来决定这些价值观是什么、默认值是什么、界限是什么？它在这个国家和那个国家是如何运作的？我可以做什么，不可以做什么？”这是一个重大的社会问题，也是最大的问题之一。

但从技术角度来看，我们仍有乐观的余地，尽管我认为我们现在拥有的对齐技术（或多种技术）不会一路扩展到更强大的系统，（因此）我们需要发明新的东西。我认为，人们害怕这项技术的缺点是件好事，我们谈论它，以及我们和其他人被要求达到高标准都是好事。

我对世界对像我们这样的公司普遍感到的不适感同身受……为什么我们的未来掌握在他们手中？还有……他们为什么要这么做？他们为什么这么做了？。..... 现在全世界都认为，这里的利益如此巨大，我们应该去做这件事。

但我认为，我们有责任想出一个办法，从社会中获得意见，了解我们将如何做出这些决定，不仅要了解系统的价值是什么，还要了解安全阈值是什么，以及我们需要什么样的全球协调来确保一个国家发生的事情不会对另一个国家产生超级负面影响。

问题：怎么看待《纽约时报》的诉讼……写这些文章的人难道不应该得到补偿吗？

Sam Altman：我们希望在《纽约时报》上进行训练，但这并非当务之急。实际上，我们并不需要在他们的数据上进行训练。这是人们所不理解的 -- 任何一个特定的训练来源都不会对我们产生太大的影响。

我们希望与《纽约时报》等内容所有者合作，并与许多其他出版商达成交易 -- 随着时间的推移，我们还将与更多出版商达成合作 -- 当用户问‘嘿，ChatGPT，今天达沃斯发生了什么？’我们希望展示内容、链接、显示《纽约时报》、《华尔街日报》或其他任何优秀出版物的品牌，并回答‘这是今天发生的事情，这是实时信息’，然后我们希望为此付费，增加流量。但这只是在用户查询时显示信息，而不是用来训练模型。

现在，我们也可以用它来训练模型，但这不是优先事项。我们很乐意不这样做……我期望开始改变的一件事是，这些模型在训练过程中能够获取更少量、更高质量的数据，并更努力地思考和学习。你不需要阅读 2000 本生物教科书来理解高中生物。也许你需要读一本，也许三本，但 2000 本……肯定帮不了你什么。当我们的模型开始以这种方式工作时，我们将不再需要同样大量的训练数据。

不过，无论如何，我们都希望找到适用于整个世界（包括内容所有者）的新经济模型……如果我们要使用你的教科书和教案教别人物理，我们希望能找到一种让你获得报酬的方式。如果你能教我们的模型，如果你能帮助提供反馈，那么我很乐意为你找到新的模型，让你在成功的基础上获得报酬。

因此，我们非常需要新的经济模式。当前的对话有点集中在错误的层面上。我认为训练这些模型的意义将在未来几年发生很大变化。

问题：你曾卷入近几十年来最广为人知的董事会丑闻。你从中学到了什么？

Sam Altman：在某些时候，你不得不笑。这太荒谬了……

我们知道，我们的董事会已经变得太小了，我们也知道，我们没有所需的经验。但在很多方面，去年对我们来说都是疯狂的一年，以至于我们忽略了这一点。

不过，我认为更重要的一点是，随着世界越来越接近 AGI，风险、压力和紧张程度都会增加。对我们来说，这只是其中的一个缩影，但可能还不是我们所面临的最大压力。我观察了一段时间，发现我们每向强大的人工智能迈进一步，每个人的角色都会得到 10 点疯狂值。这是一件非常有压力的事情，也应该是这样，因为我们正试图对非常高的风险负责。

到目前为止，我在整个过程中学到的最好的东西就是我们团队的力量。当董事会在解雇我的第二天问我是否考虑回来时，我的第一反应是“不”，因为很多事情让我非常（沮丧）。然后我很快就恢复了理智，我意识到，我不想看到这些为公司和客户付出了毕生精力的优秀员工建立起来的价值，被毁于一旦。但我也知道……没有我，公司也会很好。

原文作者：Deborah Yao

文章来源：https://aibusiness.com/nlp/from-davos-sam-altman-on-agi-the-nyt-lawsuit-and-getting-fired