2016年3月，Microsoft在Twitter上发布了新的聊天机器人Tay.AI。根据描述，Tay是“理解对话”实验的一部分，语言风格模仿美国中学女生，通过推文或直接消息与人们进行对话。她热爱E.D.M.音乐，有最喜欢的神奇宝贝，并且经常使用网络用语，如“满满的负能量”。

Tay是机器学习，自然语言处理和社交网络的交叉学科产物。过去的聊天机器人(如约瑟夫·魏岑鲍姆的Eliza)都是遵循预先编程的狭窄脚本来进行对话，而Tay则会随着时间流逝学习更多——她可以就任何话题展开对话。

微软的工程师利用匿名公共数据的数据集以及专业喜剧演员提供的一些预先编写的文本，对Tay的算法进行了培训，以使其掌握基本的语言规范。在线发布后，算法将通过与真人交互启发式地学习语言模式。最终，程序员希望Tay的回应就像互联网本身的反馈。

上线16个小时内，Tay发了超过95000条推文，而令人不安的的是，其中有大量侮辱性和令人反感的内容。 Twitter用户表达了他们的愤慨，微软别无选择，只能暂停该帐户。该公司原本打算在“对话理解”中进行有趣实验的意图已经变成了一场噩梦，网友故意的挑唆和调教，使AI逐渐失控。

事实证明，在Tay发布后仅几个小时后，就有大量的4chan用户开始向AI灌输种族主义和纳粹式的语言。如一位无辜的用户提问道，英国演员Tay Ricky Gervais是否为无神论者，Tay对此回答：“ Ricky Gervais从无神论者阿道夫·希特勒那里学到了极权主义。”

被玩坏的Tay甚至超出4channers的预期，并在随后几周内引发了广泛讨论。一些人将实验的失败视作互联网使人变暴力的证据。

不过，对其他人来说，Tay则代表着微软在设计上不缜密的思路。

游戏开发者兼作家Zoë Quinn认为，微软应该能够提前想到的才对。如果机器人在Twitter上学习说话，那么它自然会学习到辱骂性的语言。Quinn认为，微软应该为这种意外情况做好预案，并确保Tay不会学坏。“现在可是2016年啦，如果您在设计/工程过程中不问问自己'如何避免项目被用来伤害某人'，那您就太out了。”

在Tay下线几个月后，微软发布了Zo——原始AI的“政治正确”版本。Zo从2016年到2019年一直活跃在社交网络上，对策是暂停有争议的主题(包括政治和宗教)对话，以确保她不会冒犯到他人。(如果网友一直用敏感问题纠缠它，她会完全放弃对话，并说了一句：“我比你强，拜。”)

我们从微软的失败中学到的硬道理是，设计可以与人类在线交流的智能系统不仅是一个技术问题，而且是一项社会活动。邀请机器人进入充满价值判断的语言世界，需要事先考虑其部署环境，您希望它成为哪类信息的传播者以及您希望它体现什么样的人类价值观。

随着我们朝着真AI的目标迈进，这些问题必须摆到设计计划书中的开头几行。否则，将会有更多学坏了的AI被释放到世界上，它们会以语言的方式映照出人类自己最糟糕的部分。

本文译自 spectrum，由 majer 编辑发布。

PREV : 无聊图大吐槽20191209
NEXT : 世界上第一个人造神经元