AI也会种族歧视？《柳叶刀》文章：AI诊断系统可能输出带有种族偏见的结果

麻省理工学院和哈佛大学的一个研究团队在医学杂志《柳叶刀数字健康》上发表文章，称AI程序可以从X射线和CT扫描结果中分辨患者的种族，准确率高达90%。

这并不是一个好消息，因为连科学家们都没弄清楚这些AI程序是如何做到分辨种族的。

“当我的研究生向我展示这篇论文中的某些结果时，我认为这一定出了差错。”负责分析对应主题的论文作者之一，麻省理工学院助理教授Marzyeh Ghassemi告诉媒体，“当他们告诉我的时候，我真的以为我的学生疯了。”

Marzyeh Ghassemi

这篇文章中提到，AI诊断系统似乎会根据种族对患者进行诊断和治疗，而非患者的个人身体状况。

这种做法将会损害患者的健康。

研究人员提到一个案例，AI程序在检查胸部X光片时，漏掉黑人和女性患者身体病变的几率更高。

而这项研究的目的，正是确认AI系统从医学影像中检测人类种族的程度，以及它们如何从中检测出种族信息。

为此，研究团队使用人类身体不同部位的医学图像对AI系统进行训练。被提供给AI系统的医学影像中，不包含头发质地、肤色以及BMI或骨密度等明显的种族标记。

通过测试，研究人员发现，AI系统对人类种族的识别准确率高达90%。不论是哪个身体部位的医学影像，AI系统都能从中识别出种族信息。

更令人惊讶的是，即便是严重缺失或损坏的医学影像，AI系统也能从中准确识别种族。

研究人员更关心的，并非是AI系统能够检测人类种族这件事情本身，而是AI系统的临床表现将因为这些种族偏见受到影响。而医生可能会忽略AI系统诊断结果中的误差。

文章的作者表示，“AI预测种族身份的能力本身并不重要，但是这种能力很可能存在于许多医学影像分析模型中，这将会使临床中已经存在的种族差异问题恶化。”

人类目前还无法确认AI系统从医学影像的哪些特征中检测出患者的种族，加之AI能够从身体任何部位的医学影像，以及严重损坏的医学影像中识别患者种族，这意味着使用医学成像技术创建一个没有种族偏见的AI系统将会非常困难。

Ghassemi告诉媒体，她猜测，也许是医学图像以某种未知方式记录了患者皮肤中黑色素的水平，从而被AI系统识别。

根据研究结果，也有可能是种族之间存在一些先天的差异。

罕布什尔学院生物人类学教授、《种族主义不是种族》的作者之一Alan Goodman告诉媒体，他不太认同这种说法。

Alan Goodman

在过往的研究中，科学家们很难在人类基因组中找到一致的种族差异，但往往能根据人类祖先的进化找到一致的遗传差异。因此，人与人之间的基因差异，更大概率是源于人类个体祖先进化的不同特征，而非种族。

Ghassemi表示，这一问题还需要进行更多的研究才能得出明确的结论。

“我们需要暂停AI系统的落地，”麻省理工学院的科学家、医生Leo Anthony Celi说，“在确认AI系统没有做出种族主义决定或性别歧视决定之前，我们不能急于将其带入医院和诊所。”