人工智能的故事通常会描述机器随着时间变得越来越智能。但在这些故事中缺少的是人的因素，即智能机器是如何被人类设计、训练和驱动的。

在20世纪70年代，伦敦圣乔治医院医学院的Geoffrey Franglen博士开始编写一种算法来筛选学生入学申请。当时，圣乔治大学每年2500名申请者中，有四分之三的人仅凭书面申请就被学术评审人员拒绝，而且没有进入面试阶段。大约70%的人通过了最初的筛选，进入了医学院。所以最初的淘汰是至关重要的。

Franglen是圣乔治的副院长，他本人也是招生评估员。阅读应用程序是一项耗时的任务，他觉得可以实现自动化。他研究了他和他的同事筛选学生的过程，然后编写了一个程序，用他的话说，就是“模仿人类评估员的行为”。

虽然Franglen的主要动机是提高招生流程的效率，但他也希望能够消除招生人员履行职责的不一致之处。他们的想法是，通过将代理机构分配给技术系统，所有学生申请人都将接受完全相同的评估，从而创造一个更公平的过程。

事实上，结果恰恰相反。

Franglen于1979年完成了该算法。那一年，学生申请人被计算机和人类评估员进行了双重测试。Franglen发现他的系统在90％到95％的情况下认同了选择小组的等级。对于医学院的管理员来说，这个结果证明了算法可以取代人类选择者。到1982年，圣乔治的所有初始申请都通过该计划筛选。

几年之内，一些工作人员对成功申请人缺乏多样性感到担忧。他们对Franglen的计划进行了内部审查，并注意到系统中的某些规则会根据看似不相关的因素（如出生地和姓名）来衡量申请人。但Franglen向委员会保证，这些规则是根据之前录取趋势收集的数据制定的，对录取结果的影响微乎其微。

1986年12月，圣乔治大学的两名高级讲师得知了这一内部审查结果，并前往英国种族平等委员会。他们告诉委员们，他们有理由相信，这个程序暗中歧视女性和有色人种。



委员会展开了调查。研究发现，根据候选人的姓名和出生地，该算法将他们分为白种人和非白种人。如果他们的名字不是白人，那么选择过程对他们不利。事实上，只要不是欧洲人的名字就能自动扣分15分。委员会还发现，女性申请者平均被扣3分。根据这个评分系统，每年可能会有多达60份申请被拒之门外。

当时，性别和种族歧视在英国的大学里猖獗。圣乔治大学之所以被发现，只是因为它把自己的偏见写进了一个电脑程序。由于该算法的设计是可核实的，目的是给妇女和非欧洲姓名的人较低的分数，因此委员会有具体的歧视证据。

圣乔治大学被委员会认定在招生政策中存在歧视行为，但没有造成重大后果。该学院试图联系那些可能受到不公平歧视的人，三名先前被拒绝的申请者被学校录取。

委员会指出，问题不仅是技术上的，而且是文化上的。许多工作人员认为招生机器是毫无疑问的，因此没有花时间去问它如何区分学生。

在更深层次上，该算法维持了招生系统中已经存在的偏见。毕竟，Franglen已经进行了测试，结果发现了90％到95％的相关性。但是，将人类选择者的歧视性做法编入技术系统，这些偏见将不断重演。

圣乔治的歧视案得到了很多关注。委员会强制要求将种族和种族信息纳入大学录取表格。但这并没有阻止算法偏见的扩散。

实际上，随着算法决策系统越来越多地进入高风险领域，如医疗保健和刑事司法，基于历史数据的现有社会偏见的长期存在和扩大已成为一个巨大的问题。2016年，调查性新闻机构ProPublica表明，在美国各地用来预测未来罪犯的软件对非洲裔美国人有偏见。最近，研究人员证明，亚马逊的面部识别软件对于黑肤色的女性的错误率要高得多。

虽然机器算法偏见正在成为人工智能中讨论最多的话题之一，但算法仍然常常被认为是不可思议和毫无疑问的数学对象，能够产生理性、无偏倚的结果。正如AI评论家Kate Crawford所说，是时候认识到算法是人类设计的产物，并且它继承了我们的偏见。