过度吹捧AI在医疗领域的功效忽视了医疗系统的现实问题。AI的使用不仅不能解决医疗数据缺失和偏见问题，反而可能放大现有歧视。

人工智能在医学领域取得了显著进展，例如通过视网膜图像检测帕金森病、识别潜在药物候选物以及预测住院患者的再入院风险。尽管这些进步令人兴奋，但我对人工智能对患者的实际影响持谨慎态度。

我最近观看了一场深夜脱口秀，怀疑论者和狂热分子辩论人工智能安全问题。尽管他们观点相左，但有一点所有人都同意：“人工智能将治愈癌症，”一位嘉宾宣称，其他人也自信地表示赞同。这种集体乐观让我觉得过于理想主义，并且忽视了医疗保健的现实问题。

我对医疗领域人工智能的保留源于两个核心问题：首先，医疗体系经常忽视患者的观点，这本质上限制了我们对医疗状况的理解。其次，人工智能被用于不成比例地使特权阶层受益，同时加剧不平等现象。在许多情况下，“人工智能将治愈癌症”之类的说法更多地只是肤浅的营销口号。要理解原因，首先需要了解人工智能的使用方式以及医疗体系的运作方式。

如何使用自动化决策

涉及人工智能的自动化计算机系统越来越多地被用于做出影响人们生活的重大决策，例如决定谁可以获得工作、住房或医疗保健。在许多国家和各种系统中都发现了令人不安的模式：通常没有办法发现或纠正错误，而且所有这一切的目标往往都是通过拒绝穷人获得生存所需的资源来增加企业和政府的收入。

法国的一位女士因计算机程序而减少了食品福利，现在已经无法负担足够的饮食。她和程序员交谈，对方说这是计算机程序错误造成的，但无法更改。她的食品福利没有恢复。该系统的设计使得计算机总是被认为是正确的，即使人类认识到这是一个错误。这位女士并不是唯一的一个例子；她是因这些错误而挨饿的 6 万人之一。

澳大利亚的一名男子被告知他领取了过多的福利金，现在欠政府债务。这笔债务是一个错误，是计算机器人债务计划 (RoboDebt) 中故意错误计算的一部分。然而，该男子无法提出异议。他心灰意冷，最终自杀身亡。这不是偶发事件。后来发现，澳大利亚政府错误地为数十万人创造了债务。他们用一个有缺陷的计算系统让穷人背负债务，大规模地有效地毁掉他们的生活。政府将每周将其归类为债务穷人的数量增加了 50 倍，比实施 RoboDebt 之前还要多。

美国的一位患有脑瘫的女士需要一名护理人员帮助她在早上起床、吃东西以及完成其他基本任务。由于计算机程序错误，她的护理服务被大幅削减。她没有得到任何解释和补救措施，她的生活质量急剧下降。只有经过漫长的诉讼，才最终揭露许多患有脑瘫的人由于计算机错误而错误地失去了护理。

自动化决策中的模式

这些例子总是遵循相同的模式。乔治敦大学法学院隐私和技术中心创始主任 Alvaro Bedoya 教授写道：“历史上，监视一直被用来对付那些被认为是‘劣等’的人，比如穷人、有色人种、移民和异端者。它被用来阻止边缘群体获得权力。” 在决策系统中，技术也扮演着同样的角色。

许多自动化决策系统的目标是增加政府和私营公司的收入。当将其应用于卫生和医疗领域时，通常会通过拒绝穷人获得食物或医疗护理来实现这一目标。人们通常比人类更信任计算机的准确性，这种偏见称为自动化偏见。一项针对 74 项研究的系统性审查发现，自动化偏见存在于包括医疗保健在内的多个领域，并且会产生持续的影响。这种偏见可能会使人们更难识别自动化决策中的错误。此外，实施识别和纠正错误的机制通常被视为不必要的支出。

在上述所有案例中，受影响最严重的人(那些失去获得所需食物或医疗护理的机会，或被不公正地背负债务的人)最早认识到系统中的错误。然而，这些系统没有建立任何识别错误、允许受影响者参与、或为受到伤害者提供补救措施的机制。不幸的是，这种情况也可能发生在医学领域。

医疗系统如何运作

即使一个能够更准确读取 MRI 的 AI 算法也无法帮助神经学家 Ilene Ruhoy 博士在她患有 7 厘米脑瘤时得到及时诊断。她治疗的关键障碍是让其他神经学家相信她的症状，甚至首先给她安排 MRI 检查。Ruhoy 博士回忆说：“他们告诉我，我知道得太多了，我工作太努力了，我压力很大，我很焦虑。” 最终，在她症状进一步恶化后，她得以接受 MRI 检查，并紧急接受了 7 小时的手术。由于诊断延迟，她的肿瘤长得太大，无法完全切除，导致肿瘤在她第一次手术后又长回来了。

Ruhoy 博士的经历很遗憾，但却很常见。虽然 Ruhoy 博士住在美国，但英国的一项研究发现，几乎三分之一的脑瘤患者在得到准确诊断之前必须至少去看 5 次医生。同样，MRI 读取 AI 无法帮助那些医生一开始就不愿意给患者安排 MRI 检查的患者。平均而言，狼疮患者需要 7 年才能得到正确的诊断，三分之一的患者最初被误诊，医生错误地声称他们的症状是心理健康问题引起的。即使是医护人员也常常惊讶于自己一旦成为患者后，会被多么快地忽视和不信任。例如，对十几名医护人员的采访显示，他们患上长新冠后，他们的同事开始不再尊重他们的专业知识。

这种对患者经验和专业知识的忽视严重限制了医学知识。它导致诊断延迟、误诊、数据缺失和数据错误。人工智能擅长发现现有数据中的模式。但是，人工智能无法解决数据缺失和错误的根本问题。此外，对于人们不太了解的疾病，缺乏医学数据存在一个负反馈循环：医生不相信患者，并将他们视为焦虑或抱怨过多，无法收集有助于阐明疾病的数据。

错误的数据

更糟糕的是，研究问题经常被重新定义为适合不足的数据来源。分析电子健康记录数据比寻找新的因果机制更便宜。医学数据通常受到计费代码类别、医生从患者病历中选择记录的内容以及所订购的检查的限制。数据本身是不完整的。

医疗偏见普遍存在，研究表明，对于相同的病情，医生给黑人患者的止痛药比给白人患者的要少。平均而言，女性在获得相同病情的准确诊断方面需要等待数月或数年，比男性更长。这会影响收集的数据以及将用于人工智能的数据。多项研究表明，人工智能不仅会编码现有的偏差，还会放大它们的程度。从本质上讲，这些偏见往往源于不相信边缘群体对他们经历的讲述：不相信他们所说的疼痛感，也不相信他们报告症状的方式。

在更深层次上，忽视患者的专业知识限制了假设的制定，并可能减缓研究进展。这些问题会传播到人工智能，除非研究人员寻求方法纳入有意义的患者参与。这些问题并非任何一个国家或任何一种医疗系统的特有现象。美国、英国、澳大利亚和加拿大(我最为熟悉的四个国家)的患者都有充分的记录表明他们经历了这些问题。

虽然人工智能为医学带来了变革的可能性，但我们必须对风险和机遇保持清醒的认识。许多关于医学人工智能的演讲给人的印象是，阻碍医学发展的唯一因素是知识缺乏。这些讨论经常忽视影响医疗保健的许多其他因素，包括系统性忽视患者对其自身经历的了解。忽视这些现实会导致人们为一个并不存在的理想化医疗系统设计人工智能。已经有一个明确的模式，即人工智能被用来集中权力和伤害边缘群体。在医学领域，这可能导致患者更加失去权力和声音，而他们现在已经被剥夺了权力，经常被忽视。

在我看来，一些最有希望的研究领域是参与式机器学习和患者主导的医学研究。ICML 上的“参与式机器学习方法”研讨会收录了一系列强有力的演讲和论文，内容涉及设计更具参与性的系统的必要性和机会，让受影响的人群参与其中。人工智能伦理学工作需要围绕可争议性(建立参与者挑战输出的方式)和可行的补救措施展开。对于医学研究而言，更广泛地说，以患者为中心的研究所 (专注于长新冠) 是一个令人鼓舞的模式。我希望看到医学人工智能领域更多地以患者专业知识为中心。

本文译自 Rachel Thomas，由 BALI 编辑发布。

PREV : 3D打印钛结构展现超强性能
NEXT : 顶尖癌研机构数据造假，引发科学界诚信危机