随着人工智能逐渐能够处理复杂任务，我们也开始相信AI算法可以做出关键决策。但这些决定有多公平？过去几年的经验表明，人工智能算法可以表现出性别和种族偏见，引起人们对其在关键领域的使用的担忧。

波士顿大学科学家的新研究表明，评估AI算法的公平性，并试图建立一个框架来检测和减轻自动决策中的问题行为非常困难。

研究建立在近年来为记录和减轻算法偏差所做的工作的基础上。该领域的大部分工作都集中在研究自动化系统如何影响不同的人群，以及它们是否平等对待这些群体。该领域的一个挑战是评估AI公平性的规则和指标并不明确。

波士顿大学计算机科学与工程系教授，该论文的共同作者Adam Smith表示，“早期引起我们注意的事情之一是，在许多情况下，存在不同的公平观念，这些观念似乎都是合理的，但从根本上说是不相容的。但你不能拥有一个满足所有的系统。”

在他们的研究中，波士顿大学的科学家使用了2016年著名的ProPublica对COMPAS（一款自动累犯评估软件）的调查数据。ProPublica的结论是，COMPAS对非裔美国被告表现出偏见，将他们与较高的风险评分联系在一起，并给予他们更严厉的监禁判决。

大多数自动化决策系统由两部分组成。第一个是校准的评分分类器，为每个特定情况分配0到1之间的数字。系统通常使用机器学习来分析不同的数据点，并提供与之前看到的模式最匹配的输出。在累犯制度中，评分系统的输出是被告从监狱释放后可能犯罪的概率。

第二个组件是二进制后处理系统，它将风险分数转换为是/否输出。在累犯中，后处理部分根据阈值和范围决定被告是在监狱中还是自由行走。例如，如果风险评分高于0.5，则被告被视为高风险，其监禁刑期将延长。经验表明，对所有人群使用相同的阈值可能导致不公平的决策。

Smith说，“我们好奇的是，如果两个群体的风险得分在某种程度上表现相似，它们是否可以用来做出公平或公正的决定？简而言之，答案是否定的。即使你的风险评分满足这些校准的概念，仍然可能不可能根据这些评分做出满足各种均衡误差标准的决策。”

研究人员开发了不同的方法来评估和处理风险评分，这些方法可以帮助减少误报和漏报，并对不同的人群表现出更多的公平性。

他们的技术的第一部分涉及为不同的人群分别配置决策者和分类器。例如，如果特定人口统计数据由于不公正的历史而更容易受到有偏见的决策的影响，而这种不公正行为会影响分类器的训练，那么系统的阈值会进行调整以降低特定人群的风险。本文的例子表明，对于不同的群体使用不同的决策规则将在均衡错误率方面产生更好的结果。

人们发现，在这种情况下，决定什么是公平是很棘手的。通常情况下，让分类器知道受保护群体的状态实际上会带来更好的总体结果。

研究人员介绍的第二种技术是改变自动决策者，某些情况标记为不确定，特别是当风险评分接近决策阈值时。

“在我们开发的技术中，我们允许后处理算法引入不确定性。有时候，它不能决定一个特定的案例，”波士顿大学计算机科学教授，研究论文的共同作者Ran Canetti表示。

当决策者系统将案例标记为不确定时，它将经历一个不同的决策过程，该过程可以是手动的或由不同的自动化系统处理。例如，在累犯的情况下，如果系统得出结论，它无法决定具体的被告，案件将推迟到一个法官小组或进行更彻底的调查。

Canetti表示，“这些是部分决策算法。它们得到一个数字分数，有时输出一个决定，有时他们输出‘抱歉。我无法做出决定’。但当它们做出决定时，它们是公平的。”

研究人员对COMPAS调查发布的数据进行了测试。他们发现自动决定只有75％的案例是正确的。虽然这种方法有助于减轻自动决策中的不公平和偏见，但它仍然不是一个完美的解决方案。

这是团队在下一阶段工作中将要研究的重点之一。Smith说，“我们试图列出不同的原型设置，并讨论在使用这种延期决策过程时可能需要考虑的不同因素。”

虽然团队使用累犯作为项目的试验平台，但他们的工作成果可以应用于存在算法偏差的其他领域。可以从这种技术中受益的一个领域是招聘。借助可以更好地了解AI算法公平性的工具，使用这些系统的人可以更好地掌握何时可以信任它们。