AI搜索结果日渐失真，模型崩塌导致数据失准、概念模糊。研究警告，AI自我训练或将输出偏离现实，威胁其可靠性。

我常使用AI搜索，尤其是Perplexity，感觉比谷歌好用得多。传统搜索引擎早已不堪重负，或许谷歌迷上AI后能有所改善，但我对此持怀疑态度。最近几个月，连AI搜索的质量也在下滑。每次搜索市场份额或财务数据等硬核信息，来源往往不靠谱。与其说是美国证券交易委员会要求的上市公司年度财务报告10-K里的数据，不如说是某些网站自称的“报告摘要”，似是而非。如果明确要求只查10-K，AI还能应付；但一旦泛泛地问“财务数据”，结果就变得“有趣”了。

这种问题不只出现在Perplexity上。我用同样的关键词测试了各大AI搜索工具，得到的都是“可疑”答案。这就是典型的“垃圾进，垃圾出”。在AI领域，这被称为模型崩塌。AI系统若用自己的输出反复训练，精准度、多样性和可靠性会逐渐下降。错误在每一代模型中累积，数据分布扭曲，最终导致性能“不可逆的缺陷”。2024年《自然》期刊一篇论文一针见血：AI最终被自己的“现实投影”毒害。

模型崩塌的根源有三。首先是错误累积，每一代模型继承并放大前代的缺陷，输出逐渐偏离原始数据。其次是尾部数据丢失，罕见事件从训练数据中消失，重要概念逐渐模糊。最后，反馈循环强化单一模式，生成重复的文本或偏见的推荐。Aquant公司说得直白：“AI用自己的输出训练，结果会越来越偏离现实。”

不止我一人察觉AI质量下滑。彭博社研究发现，包括GPT-4o、Claude-3.5-Sonnet等11个主流大语言模型，在处理5000多个有害提示时，输出结果不尽如人意。检索增强生成技术本应让AI从外部数据库提取信息，减少幻觉现象，生成更准确的答案。然而，它却增加了泄露客户隐私、误导市场分析和给出偏见投资建议的风险。彭博社AI战略负责人Amanda Stent指出，这种反直觉的现象影响深远，因为检索增强生成技术广泛用于客服和问答系统，普通网民每天都在与之互动。

理论上，负责任地使用AI听起来不错，但“负责任的AI用户”几乎是痴人说梦。有人宣称AI能让人专注更高质量的工作，事实却是AI被用来炮制虚假论文，从高中生的读书报告到伪造的科研文件，甚至包括《芝加哥太阳时报》虚构的夏季小说推荐，比如Min Jin Lee的所谓新作《夜荫市场》。当我问ChatGPT这本书的剧情，它信誓旦旦地回答：“Min Jin Lee的新作《夜荫市场》尚未公开剧情信息。”真是“垃圾进，垃圾出”的生动写照。

一些研究者建议，用人类生成的新鲜内容混合AI数据，或许能延缓崩塌。可这新鲜内容从哪来？面对需要真功夫的优质内容和唾手可得的AI“废料”，多数人会选后者。不只是学生想靠AI糊弄《珍珠》的读书报告，企业在追逐“运营效率”的幌子下，其实是想裁员增利。质量？别开玩笑了。

我们对AI的投资只会越来越多，直到模型崩塌彻底暴露其无用。Sam Altman曾在2024年2月发帖称，OpenAI每天生成约1000亿字。若这些文字充斥网络，崩塌的日子恐怕不远了。我认为这已经开始，但似乎只有我在敲响警钟。

本文译自 The Register，由 BALI 编辑发布。


王摸鱼夏款T恤第二波发布，有粉色和无图速干款