在希腊神话中，尽管火具有危险性，普罗米修斯仍从神那里偷走了火种，赠予人类以推动文明进步。在当代世界，“普罗米修斯困境”指的是在倡导新技术时，可能带来的社会影响尚未充分考虑的行动。

对于生成型人工智能(GenAI)模型来说，普罗米修斯困境的概念已被讨论过，特别是关于是否应该允许公众使用这些黑箱性质且有混淆倾向的系统。在认知科学中，混淆理论指出，大脑会为了填补缺失或不完整的记忆而发展出虚假的记忆或印象。同样地，由于缺乏知识或学习模式的不一致，生成型人工智能也会生成混淆的输出。通常，这种行为在生成型人工智能系统中被称为“幻觉”。AI模型的幻觉可以表现为生成的内容与训练数据不符，导致输出不真实或不符合提示要求。虽然幻觉指向输出的真实性和可靠性不足，但它是否也可以成为我们理解如何从生成型AI中提取创造性输出的关键？在这方面，“AI的普罗米修斯困境”的现有范围可以扩展到捕捉生成型AI系统所产生的创造性和幻觉性输出之间的相互作用。

需要注意的是，AI模型并不意图产生创造力或幻觉。然而，训练数据、建模范式以及学习到的参数在过程中会诱发创造性和幻觉，后者被认为是这些系统的内在特征。从技术上讲，解码温度等超参数可以在多次运行中提高模型的确定性。由于训练管道的差异，不同模型在相同温度下可能产生不同的幻觉。即使在较低温度(更高的确定性和可重复性)下，如果错误的输出标记被赋予更高的概率，模型仍可能产生幻觉。因此，随机性并不一定意味着幻觉，这也为探索创造力与幻觉交汇的概念留下了空间。

当作家违背语法规则或导演不严格遵循历史时间线时，往往被认为是他们在“打破第四面墙”，即使最终作品是虚构的，他们也在行使自己的“创造性自由”。那么，生成型AI模型是否也可以如此？存在一个平衡点，即生成的内容有多少可以从现有概念中派生或转移，而有多少是新颖或幻想的。因此，当生成型AI模型开始生成抽象概念时，它引发了一个问题：“生成型AI模型的幻觉在多大程度上可以被视为创造力？”本文探讨了在创造力与幻觉之间的交汇处，AI所面临的普罗米修斯困境。通过幻觉引发的创造力不仅可以催生新的艺术主题，还可能有助于开发新药物和蛋白质。

提示的性质

生成型AI系统的输出依赖于输入的提示，评估创造性或可接受的幻觉程度在很大程度上取决于提示的性质。当提示带有模糊的上下文时，幻觉的可能性会增加，而系统在面对明确的提示时也可能失败。例如，当被要求解决数学方程或列出世界各国首都时，输出可以与真实数据进行对比。而当提示要求“写一首诗”或“画得像丢勒”时，结果只能部分地被评价为艺术，因为艺术是主观的。还有一些提示，如编写代码片段，其创造性可以通过测试案例来检验答案的正确性。因此，根据任务所需的客观性和新颖性，可以决定幻觉的可接受程度。

划分创造力与幻觉

创造力是跳出框架、从现有作品中寻找灵感的产物。那么，AI是否也可以如此？生成型AI模型的创造力是由其精确复制艺术作品的能力决定，还是通过引入创新来实现的？后者需要添加在现实世界中不太可能找到的概念。从基于主观提示的组合能力来看，难以区分生成型AI系统的创造性和幻觉输出。例如，在“画得像丢勒”的提示下，有三种可能的情况。如果模型生成的结果不符合丢勒的风格，它就产生了幻觉。另一方面，如果模型完全复制了丢勒的训练集中的作品，那么模型并没有产生幻觉。在第三种情况下，结果可能不是原创作品，而是丢勒艺术作品的灵感再现。同时，在这三种情况下，创造力和幻觉程度可以根据输入提示的忠实度进行单独评估。然而，在这种情况下，幻觉对创造力的影响无法直接评估，这进一步加剧了在主观任务中使用生成型AI的困境。现有文献假设创造力和幻觉可以直接相互归因，以及输出标记的预测概率。我们认为，这种假设应该扩展到考虑可能影响幻觉、创造力和预测概率的潜在变量。稍微偏离现有假设，我们还认为，如同绝对零度，只有没有幻觉的系统才是评估生成型AI系统创造力的唯一标准。此外，即使没有幻觉，模型仍能产生具有创造性但可预测的生成内容。这类似于自然语言生成中的流畅度和特异性评估指标。

在现实世界中，产生创造性输出需要对现有社会规范的认知以及灵活处理它们的能力。即使在AI系统的训练数据中包含了社会信息，复制社会可接受行为的示例是一回事，理解这些行为在何种情况下可能被认为不适当或令人反感则是另一回事。我们假设，生成型AI如果能够被训练发展出对这些规范的理解，可能会更好地区分新颖性和幻觉。虽然对人类来说，情境化和隐含推理是自然而然的，但在生成型AI中，这仅通过链式推理提示设置被弱化地观测到。最终，能够进行推理并捕捉隐含线索将提高输出的创造力。类似地，创造力通常需要绕过现有的由机构强制执行的法规。当前的生成型AI系统缺乏绕过任何人类检查点的固有能力。尽管对抗性提示是一种绕过过滤器的方法，但它源自人类，而非AI模型。由于生成型AI仅与人类相关，人类既是技术的发明者也是消费者，这是否意味着生成型AI的创造力总是由人类的创造力支撑并以人类标准进行评判？

结论

理解幻觉程度的一种方法是比较在开放性/主观任务中提示变化时结果的差异。这种比较也应扩展到分析超参数如温度的影响。这里的目的不是确定准确性，而是观察对于给定任务，哪种提示设置导致更高的幻觉，以及人类是否认为这些幻觉输出更具创造性。为此，确定幻觉对于生成型AI系统是否具有创造性价值将是一个有趣的挑战。如果人类反馈强化学习管道被扩展到包括主观提示和社会规范，可能会导致新艺术概念的开发，并使AI的创造性成为一个重要领域。另一个方向是动态更新生成型AI系统的世界知识。这将间接提高系统吸收现有规范的能力。改进对参数如何获得知识以及这些知识在提示时如何解释的理解，将有助于理解知识缺口如何导致幻觉。同样，改进对社会规范和幻觉的理解，应该有助于减少在AI接触创新与幻觉之间的普罗米修斯困境。未来的生成型AI界面设计可能会考虑一种允许用户根据其目标来指定连贯性和新颖性之间权衡的方式。

本文译自 ACM，由 BALI 编辑发布。

PREV : 乌鸦比我们想象的更聪明
NEXT : 最新研究表明，中国在89%的技术研究中领先