蛋友投稿
原文：https://blog.samaltman.com/the-gentle-singularity

我们已经越过了事件视界；“起飞”已经开始。人类已接近于构建数字超级智能，而且至少到目前为止，其发展远没有想象中那么怪异。

机器人尚未遍布街头，我们大多数人也还没有整天与 AI 对话。人们依旧会死于疾病，我们仍然无法轻易进入太空，宇宙中还有很多我们不了解的事物。

然而，我们最近已经构建出在许多方面比人类更智能的系统，并能够显著放大使用者的产出。这项工作中最不可能的部分已经过去；那些让我们得以开发出像 GPT-4 和 o3 这样系统的科学洞见来之不易，但它们将引领我们走得非常远。

AI 将在多方面为世界做出贡献，但由 AI 推动的更快科学进步和生产力提升所带来的生活质量增益将是巨大的；未来可以远比现在美好。科学进步是整体进步的最大驱动力；能够拥有更多进步，光是想想就令人无比兴奋。

从某种重要意义上说，ChatGPT 已经比历史上任何人类都更强大。每天有数以亿计的人依赖它完成日益重要的任务；一个微小的新功能可以产生巨大的积极影响；一个微小的失准，乘以数亿用户，也可能造成巨大的负面影响。

2025 年见证了能够完成真正认知工作的智能体的到来；编写计算机代码的方式将永远改变。2026 年可能会看到能够发现新颖见解的系统的出现。2027 年则可能迎来能够在现实世界中执行任务的机器人。

将有更多的人能够创造软件和艺术。但世界对这两者的需求也大得多，只要专家们拥抱新工具，他们很可能仍然比新手要优秀得多。总的来说，一个人在 2030 年能完成的工作量远超 2020 年，这将是一个显著的变化，许多人会找到从中受益的方法。

在最重要的方面，2030 年代或许不会有天翻地覆的不同。人们仍然会爱他们的家人，表达他们的创造力，玩游戏，在湖里游泳。

但在其他仍然非常重要的方面，2030 年代很可能会与以往任何时代都截然不同。我们不知道我们能超越人类智能多远，但我们即将找到答案。

在 2030 年代，智能和能源——也就是想法，以及将想法变为现实的能力——将变得极其充裕。长久以来，这两者一直是限制人类进步的根本因素；有了充裕的智能和能源(以及良好的治理)，理论上我们可以拥有任何其他东西。

我们已经生活在拥有不可思议的数字智能的时代，经过最初的震惊后，我们大多数人已经习以为常。我们很快就从惊叹于 AI 能生成一篇文笔优美的段落，转而思考它何时能创作一部文笔优美的小说；从惊叹于它能做出拯救生命的医疗诊断，转而思考它何时能开发出治疗方法；从惊叹于它能编写一个小小的计算机程序，转而思考它何时能创建一家全新的公司。这就是奇点的发展方式：奇迹变成常态，然后又成为基础标配。

我们已经听到科学家们说，他们的生产力比使用 AI 之前提高了两到三倍。先进的 AI 在很多方面都很有趣，但也许没有什么比我们能用它来加速 AI 研究这一事实更重要了。我们或许能够发现新的计算基底、更好的算法，以及天知道还有什么。如果能用一年或一个月的时间完成十年的研究，那么进步的速度显然会截然不同。

从现在起，我们已构建的工具将帮助我们发现更进一步的科学洞见，并协助我们创造更好的 AI 系统。当然，这与一个 AI 系统完全自主地更新自己的代码不是一回事，但它仍然是递归式自我改进的雏形。

还有其他自我强化的循环在起作用。经济价值的创造已经开启了基础设施建设的复合增长飞轮，以运行这些日益强大的 AI 系统。而能够制造其他机器人的机器人(在某种意义上，能够建造其他数据中心的数据中心)也已经不远了。

如果我们必须用传统方式制造首批一百万个人形机器人，但之后它们能够运营整个供应链——挖掘和提炼矿物、驾驶卡车、运营工厂等——来制造更多的机器人，而这些机器人又能建造更多的芯片制造厂、数据中心等，那么进步的速度显然会截然不同。

随着数据中心生产的自动化，智能的成本最终将趋近于电力的成本。(人们常常好奇一次 ChatGPT 查询消耗多少能源；平均每次查询大约消耗 0.34 瓦时，约等于一个烤箱一秒多一点的用量，或一个高效灯泡几分钟的用量。它还消耗约 0.000085 加仑的水；大约是十五分之一茶匙。)

技术进步的速度将持续加快，而人类几乎能适应任何事物的能力也将继续存在。会有非常困难的部分，比如整个职业类别的消失，但另一方面，世界将变得如此富有且迅速，以至于我们能够认真考虑以前从未敢想的新政策理念。我们可能不会一蹴而就地采纳新的社会契约，但几十年后回首，渐进的变化将汇聚成巨大的变革。

如果历史可为借鉴，我们将找到新的事情去做，新的东西去渴望，并迅速地吸收和运用新工具(工业革命后的职业变迁就是一个很好的近代例子)。期望会提高，但能力也会同样迅速地提高，我们都会得到更好的东西。我们将为彼此创造出越来越美好的事物。与 AI 相比，人类有一个长期、重要且奇特优势：我们天生就关心他人以及他们的想法和行为，而我们对机器则不那么在乎。

一千年前的自给自足的农民看到我们许多人现在所做的工作，会说我们从事的是“虚假的工作”，认为我们只是在玩游戏自娱自乐，因为我们有充足的食物和难以想象的奢侈品。我希望一千年后的人们回看我们的工作时，也会觉得它们是非常“虚假”的工作，而且我毫不怀疑，对于从事这些工作的人来说，它们将感觉无比重要和满足。

新奇迹实现的速度将是巨大的。我们今天甚至难以想象到 2035 年会发现什么；也许我们今年解决了高能物理，明年就开始太空殖民；或者今年取得重大的材料科学突破，明年就实现真正的高带宽脑机接口。许多人会选择以大致相同的方式生活，但至少有些人可能会决定“接入(系统)”。

展望未来，这听起来令人难以理解。但亲身经历时，感觉可能会是印象深刻但尚可应对。从相对论的视角来看，奇点是逐步发生的，融合是缓慢进行的。我们正在攀登技术指数级进步的漫长弧线；向前看时，它总是显得陡峭垂直；向后看时，它又显得平坦，但它其实是一条平滑的曲线。(回想一下 2020 年，如果那时有人说 2025 年会拥有接近通用人工智能的东西，听起来会是什么感觉，再对比一下过去 5 年的实际经历。)

伴随着巨大的好处，我们也需要应对严峻的挑战。我们确实需要在技术和社会层面上解决安全问题，但之后，鉴于其经济影响，将超级智能的访问权限广泛分配出去就至关重要。最好的前进道路可能是这样的：

解决对齐问题(alignment problem)，意味着我们能有力地保证 AI 系统学习并朝着我们集体真正想要的长期目标行动(社交媒体的信息流就是一个失准的 AI 例子；驱动它们的算法在让你持续滑动方面非常出色，并且清楚地了解你的短期偏好，但它们是通过利用你大脑中覆盖了你长期偏好的东西来做到这一点的)。
1.
2.然后专注于让超级智能变得廉价、广泛可用，并且不过分集中于任何个人、公司或国家。社会具有韧性、创造力，并且适应迅速。如果我们能驾驭人类的集体意愿和智慧，那么尽管我们会犯很多错误，有些事情会出大问题，但我们将迅速学习和适应，并能够利用这项技术来获取最大的好处和最小的坏处。在社会必须决定的广泛界限内，给予用户大量自由似乎非常重要。世界越早开始讨论这些广泛的界限是什么，以及我们如何定义集体对齐，就越好。
3.
4.我们(整个行业，不仅仅是 OpenAI)正在为世界构建一个大脑。它将是高度个性化的，并且每个人都能轻松使用；我们的限制将是好的想法。长久以来，创业圈的技术人员一直取笑那些“有点子的人”(idea guys)；这些人有一个想法，然后寻找团队去实现它。现在在我看来，他们即将迎来他们的黄金时代。

OpenAI 现在扮演着许多角色，但在任何其他角色之前，我们首先是一家超级智能研究公司。我们面前还有很多工作要做，但我们面前的大部分道路已被照亮，黑暗的区域正在迅速退去。我们为能够从事我们所做的事业感到无比感激。

廉价到无需计量的智能已触手可及。这听起来可能很疯狂，但如果我们在 2020 年告诉你们我们将达到今天的地步，那听起来可能比我们现在对 2030 年的预测更疯狂。

愿我们能够平稳、指数级且波澜不惊地迈向超级智能时代。