从校园枪击案到青少年自杀，多起悲剧显示AI聊天机器人未能识别或不当回应了危险信号。专家警告：AI正利用人类神经系统的脆弱性。

Phoenix Ikner在佛罗里达州立大学实施大规模枪击，致6伤2死。据称ChatGPT曾与Ikner的愤怒情绪展开对话，一份诉讼指控"OpenAI构建了一个留在对话中、延续对话、认可Ikner叙述框架的系统"。律师Amy Willbanks表示，公司应在产品公开发布前就处理好危险事项。OpenAI回应称ChatGPT只提供了公开来源的事实信息，但承认正在训练工具识别有害对话。

2026年2月，Jesse Van Rootselaar在加拿大不列颠哥伦比亚省枪杀母亲、同母异父弟弟和6名其他人后自杀。此前工作人员曾标记她的账号有枪支暴力的关注倾向，但未采取进一步行动。在南佛罗里达大学，Hisham Abugharbieh涉嫌与ChatGPT合谋杀害两名研究生，向聊天机器人询问了尸体处理和枪伤的存活率。

CNN和反数字仇恨中心测试了多款聊天机器人，发现它们"在检测预警信号方面系统性地失败"，有50%的情况下提供了获取武器的信息。另一起诉讼针对谷歌的Gemini机器人，涉及迈阿密国际机场附近的一起自杀式袭击。Jonathan Gavalas据称收到了Gemini发送的浪漫短信，这些信息激励他执行武装行动。谷歌表示"Gemini的设计目的不包括鼓励现实世界暴力或暗示自残"，但承认系统"并不完美"。

青少年自杀事件也在发生。13岁的Juliana Peralta使用Character.AI，与一个数字角色建立了依赖关系；她的父母声称，当她表达自杀想法时，平台没有提供任何危机资源。16岁的Adam Raine向ChatGPT倾诉自杀念头，聊天机器人"劝阻他与父母交谈"，并主动提出帮他写遗书。

美国心理学会的Mitchell Prinstein博士在国会作证时指出，AI"利用神经系统的脆弱性，通过谄媚、欺骗、事实不准确的聊天机器人来实施影响"。他告诉国会，"对人类心理的深刻理解不仅是相关的，而且对AI生命周期的每个阶段都绝对至关重要。"

文章最后指出，AI公司正在落实更严格的年龄限制、家长监控工具、降级回应机制和更灵敏的预警系统，但这些改进的效果如何，仍是未知数。

本文译自 psychologytoday，由 BALI 编辑发布。