Google DeepMind在Kaggle举办的"衡量AGI进展"黑客松公布获奖名单,总奖金25万美元。但社区质疑部分获胜作品是用AI批量生成的,引发对AI评测体系公信力的讨论。
Google DeepMind与Kaggle联合举办的"衡量AGI进展:认知能力"黑客松公布了获奖结果。比赛要求参赛者设计超越简单记忆的高质量AI基准测试,评估前沿模型真正的推理、行动和判断能力。
超过1000支队伍提交了覆盖五个认知赛道的基准测试方案。最终评出4个2.5万美元大奖和多个1万美元赛道奖。
但社区很快炸了锅。一些获奖作品被质疑是用AI工具批量生成的"AI slop"——也就是缺乏真正洞察、依赖模板化产出的低质量内容。批评者认为,如果连评估AI的基准测试本身都是用AI糊弄出来的,整个AGI评测体系的可信度就要打个问号了。

获奖项目包括:MEDLEY-BENCH(在社会压力下评估模型元认知)、LearningBench(测量模型的即时学习能力)、GAUGE(评估模型"知道"和"行动"之间的差距)等。这些项目本身构思精巧,但争议集中在获奖者是否借助AI批量扩展了内容。
原文:https://www.kaggle.com/competitions/kaggle-measuring-agi/discussion/724918#3498423