太长不看：

AI模型的能力已经远远超出了它们的训练范围，并且即使是它们的发明者也对此感到困惑。越来越多的测试表明，这些AI系统会像我们的大脑一样，发展出对真实世界的内部模型，尽管机器的技术不同。研究者们惊讶于这些大型语言模型(LLMs)能够从文本中学到多少东西。这些系统似乎能够从互联网文本中吸收颜色描述并构建颜色的内部表示。此外，LLMs还能够通过“上下文学习”从用户的提示中学习，这是一种新的学习方式。

然而研究者们也担心他们研究这些系统的窗口正在关闭。OpenAI并没有透露GPT-4的设计和训练细节，这部分原因是因为它与Google等公司以及其他国家竞争。这种缺乏透明度不仅损害了研究者的利益，也妨碍了理解采用AI技术所带来的社会影响的努力。

研究人员仍在努力理解，训练成会模仿互联网文本的AI模型如何能执行高级任务，比如运行代码、玩游戏，甚至试图破坏婚姻。

目前还没有人知道ChatGPT及其人工智能同类将如何改变世界，其中一个原因是没有人真正知道它们内部发生了什么。这些系统的一些能力远远超出了它们的训练范围，甚至它们的发明者也不知道为什么。越来越多的测试表明，这些AI系统会像我们的大脑一样，发展出对于真实世界的内部模型，尽管机器的技术是不同的。

布朗大学的研究人员之一Ellie Pavlick表示：“如果我们不了解它们的工作原理，那么我们想要通过它们来使它们变得更好、更安全或者任何其他方面的事情都似乎是一个荒谬的要求。”

在某种程度上，她和她的同事们完全理解GPT(预训练生成式转换器)和其他大型语言模型(LLMs)。这些模型依赖于一种名为神经网络的机器学习系统。这些网络的结构松散地模仿了人类大脑中相互联系的神经元。这些程序的代码相对简单，只占用了几个屏幕，设置了一个自动纠错算法，根据对数百GB互联网文本的繁琐统计分析，选择最有可能完成一段话的词语。额外的训练确保系统以对话形式呈现其结果。在这个意义上，它所做的一切就是复读它所学到的东西；用语言学家Emily Bender的话来说，它是一个“随机鹦鹉”。但是LLMs也成功通过了律师资格考试，在抑扬顿挫的五音诗中解释希格斯玻色子，并试图破坏其用户的婚姻。很少有人预料到一个相当简单的自动纠错算法会获得如此广泛的能力。

GPT和其他人工智能系统表现出它们没有训练过的任务，赋予了它们“新兴的能力”，这甚至让一些一般对LLMs炒作持怀疑态度的研究人员感到惊讶。“我不知道它们是如何做到的，也不知道它们是否能够像人类一样更普遍地做到这一点，但它们挑战了我的观点，”圣塔菲研究所的人工智能研究员Melanie Mitchell说道。

蒙特利尔大学的人工智能研究员Yoshua Bengio表示：“它肯定不仅仅是一个随机鹦鹉，它肯定建立了一些世界的表现形式，虽然我不认为它与人类建立内部世界模型的方式完全相同。”

在3月份的纽约大学的一次会议上，哲学家Raphaël Millière展示了LLMs的另一个惊人例子。这些模型已经展示了编写计算机代码的能力，这令人印象深刻，但并不太令人惊讶，因为互联网上有很多代码可以模仿。然而，Millière更进一步展示了GPT也可以执行代码。他输入了一个程序来计算斐波那契数列的第83个数。“这是非常高度的多步推理，”他说。而机器人则通过了这个测试。然而，当Millière直接询问第83个斐波那契数时，GPT却答错了。这表明系统不只是在复读互联网上的内容，而是通过自己的计算得出了正确答案。

虽然LLM在计算机上运行，但它本身并不是一台计算机。它缺少必要的计算要素，如工作记忆。在承认GPT本身不应该能够运行代码的前提下，其发明者OpenAI已经推出了一种专门的插件，当ChatGPT回答查询时可以使用的工具，允许它这样做。但是这个插件没有在Millière的演示中使用。相反，他假设机器通过利用它根据上下文解释单词的机制， improvisierte了一个内存，这类似于自然用现有能力重新用于新功能的情况。

这种即兴能力表明LLMs发展出了超越浅层统计分析的内部复杂性。研究人员发现这些系统似乎能够真正理解它们所学到的内容。在上周的国际学习表示会议(ICLR)上，哈佛大学的博士生Kenneth Li和他的人工智能研究员同事：麻省理工学院的Aspen K. Hopkins、东北大学的David Bau以及哈佛大学的Fernanda Viégas、Hanspeter Pfister和Martin Wattenberg，启动了他们自己的GPT神经网络副本，以便研究其内部运作。他们通过以文本形式输入长序列的Othello棋盘移动，训练了它数百万次。他们的模型成为了一个几乎完美的玩家。

为了研究神经网络如何编码信息，他们采用了Bengio和蒙特利尔大学的Guillaume Alain在2016年开发的一种技术。他们创建了一个微型的“探测”网络，逐层分析主网络。Li将这种方法比作神经科学的方法。他说：“这类似于我们将电探头放入人类大脑中的情况。”在AI的情况下，探头显示它的“神经活动”匹配了Othello游戏棋盘的表示形式，尽管是以复杂的方式呈现。为了确认这一点，研究人员反复运行探头，将信息植入网络中。例如，将游戏中的黑色标记反转为白色标记。Li说：“基本上，我们侵入了这些语言模型的大脑。”网络相应地调整了它的移动。研究人员得出结论，它基本上像人类一样玩Othello: 通过保持一张棋盘在它的“内心视野”中，并使用这个模型来评估移动。Li说，他认为这个系统学会了这个技能，因为这是对其训练数据最简单的描述方式。他补充道：“如果你被给予大量的游戏脚本，试图找出其背后的规则是最好的压缩方式。”

LLMs能够推断外部世界的结构，这不仅限于简单的游戏操作，还可以体现在对话中。麻省理工学院的Belinda Li、Maxwell Nye和Jacob Andreas研究了玩文本冒险游戏的网络。他们输入了如“钥匙在宝箱里”，然后是“你拿了钥匙”的句子。通过探测，他们发现网络在自身编码了与“宝箱”和“你”对应的变量，每个变量都具有持有钥匙或没有钥匙的属性，并逐句更新这些变量。这个系统没有独立的方法知道箱子或钥匙是什么，但它学会了完成这个任务所需的概念。Belinda Li说：“模型内部隐藏着一些状态的表示。”

研究人员惊叹于LLMs从文本中能够学到多少知识。例如，Pavlick和她的博士生Roma Patel发现这些网络从互联网文本中吸收颜色描述并构建颜色的内部表示。当它们看到“红色”这个词时，不仅会将其处理为抽象符号，而且会将其处理为一个概念，与玫瑰红、深红、洋红、铁锈红等颜色有着某种关系。展示这一点有点棘手。研究人员并没有向网络中插入探针，而是研究了它对一系列文本提示的反应。为了检查它是否仅仅是从在线参考中复制颜色关系，他们试图误导系统，告诉它红色实际上是绿色，就像一个人的红色是另一个人的绿色的哲学思想实验。系统没有回答错误的答案，而是适当地改变了颜色评估，以保持正确的关系。

LLMs除了从语言中提取潜在意义外，还能够动态学习。在AI领域，术语“学习”通常是指开发人员将神经网络暴露于吉比特级别的数据并调整其内部连接的计算密集型过程。当您输入一个查询到ChatGPT时，网络应该已经固定了；与人类不同的是，它不应该继续学习。因此，LLMs实际上能够从用户的提示中学习，这种能力称为“上下文学习”。“这是以前不被理解的不同类型的学习，”人工智能公司SingularityNET的创始人Ben Goertzel说。

LLM学习的一个例子来自人类与ChatGPT等聊天机器人的交互方式。您可以给系统提供您希望它如何回答的示例，它会服从。它的输出由它最近看到的几千个单词决定。它在这些单词的基础上做出的决策是由其固定的内部连接规定的，但单词序列仍然具有一定的适应性。有整个网站专门用于“越狱”提示，以克服系统的“限制”，这些限制阻止系统告诉用户如何制作管状炸弹，通常是通过指示模型假装成没有限制的系统来实现。有些人将越狱用于不良目的，而其他人则将其用于引发更有创意的答案。“在学术研究方面，它会回答科学问题，我认为会比你直接问它要好，”佛罗里达大西洋大学机器感知和认知机器人实验室的联合主任威廉·汉说。“它对学术研究更好。”

一种上下文学习的类型是“思维链”提示，这意味着要求网络拼出其推理的每个步骤，这种策略使其在需要多个步骤的逻辑或算术问题上做得更好。但Millière的例子之所以让人惊讶，是因为网络在没有任何这样的指导下找到了斐波那契数列。

2022年，谷歌研究和瑞士联邦理工学院的Johannes von Oswald、Eyvind Niklasson、Ettore Randazzo、João Sacramento、Alexander Mordvintsev、Andrey Zhmoginov和Max Vladymyrov展示了上下文学习遵循与标准学习相同的基本计算过程，称为梯度下降。这个过程没有被编程，系统在没有帮助的情况下发现了它。“它需要成为一项学习技能，”谷歌研究副总裁Blaise Agüera y Arcas说。事实上，他认为LLMs可能还有其他潜在的能力，尚未被发现。“每次我们测试一个我们可以量化的新能力时，我们都能找到它，”他说。

尽管LLMs有足够的盲点，不足以称为人工通用智能或AGI(这是指一台机器达到动物大脑的机智程度的术语)但这些新出现的能力表明，一些研究人员认为科技公司比乐观主义者猜测的还要接近AGI。“它们是间接证据，表明我们离AGI可能没有那么远，”Goertzel在佛罗里达大西洋大学深度学习会议上于三月份说道。OpenAI的插件为ChatGPT提供了类似人脑的模块化架构。“将GPT-4 [ChatGPT所使用的LLM的最新版本]与各种插件结合起来，可能是走向人类化功能专业化的一条路，”麻省理工学院的研究员Anna Ivanova说。

与此同时，研究人员担心，他们研究这些系统的能力可能正在关闭。OpenAI没有透露它是如何设计和训练GPT-4的细节，部分原因是因为它与谷歌和其他公司(更不用说其他国家)在竞争中。“可能会有更少的工业开放研究，事情会更加隔离和组织建立产品，”麻省理工学院的理论物理学家Dan Roberts说，他将其职业技能应用于理解人工智能。

这种缺乏透明度不仅会损害研究人员，还会阻碍理解采用人工智能技术的社会影响的努力。“透明这些模型是确保安全的最重要的事情，”Mitchell说。

本文译自 Scientific American，由 BALI 编辑发布。

PREV : 无用知识系列：在美国，建一栋房子要多少钱？
NEXT : 今日好价 0515