最近的进展使从业者能够打破机器学习的“黑匣子”。

从引导药物制造分析测试的机器学习算法，到推荐治疗课程的预测模型，到能够比医生更好地阅读图像的复杂软件，机器学习已经承诺了一个新的医疗保健世界，其中算法可以帮助甚至超越专业人员。一致性和准确性，节省资金并避免可能危及生命的错误。但是，如果你的医生告诉你，你生病但无法告诉你原因怎么办？想象一下，医院住院和出院的患者，但无法为这些决定提供具体的理由。几十年来，这是在医疗保健中采用机器学习算法的障碍：他们可以制定数据驱动的决策，帮助从业者，付款人和患者，

今天，机器学习研究和实施的最新进展可能已经破解了算法决策的黑匣子。一系列关于解释的研究，或“解释或理解的术语呈现给人类的能力 ”，已经产生了越来越多的可靠文献和工具，用于准确的模型，具有可解释的内部工作，问责制和算法决策的公平性制作，以及复杂模型 预测的事后解释。这项研究是否真的可以应用于医疗保健，如果是这样，哪里最直接有影响力？下面提出三个建议和一个示例用例。

黑箱算法的三个障碍
FDA和药物开发
FDA对新药的批准提出了非常严格的要求。这可能对试验机器学习以实施质量控制甚至分析测试结果以更好地检测药物化合物的存在和适当浓度的制药公司构成挑战。FDA要求所有涉及新药生产的分析测试具有完全透明性和可复制性。在过去，这涉及提供用于分析测试结果的公式和方法的列表（例如色谱测试）。但问题仍然是FDA如何处理依赖复杂的黑匣子机器学习模型来维持制造过程质量的新药申请（NDA）。可解释的机器学习技术可以帮助解决其中一些问题。

医疗设备
今年，FDA首次批准了人工智能设备。这标志着使用专有黑盒算法的医疗设备的一个重要里程碑，该算法可以诊断图像中的疾病。该设备通过FDA的De Novo上市前审查途径获得批准它为代表低到中等风险的新设备提供审查流程。低至中等风险分类是De Novo成功审核的关键。但FDA尚未批准一种确定对患者预后具有高风险的设备。例如，一种诊断算法，其中假阳性可能导致侵入性和危险的程序。在这样的算法上可能需要额外的控制，并且利用最新的模型可解释性技术，可以进行那些额外的检查。

2016年底，当国会通过“21世纪治愈法案”时，另一种将机器学习引入医疗设备的可能性。该法案在某些条件下排除了FDA范围内通常称为临床决策支持（CDS）软件的行为; 即，使用该软件的医疗保健提供者可以独立地审查该软件推荐的基础。2017年12月，FDA发布了指南指出“应该识别支持推荐或建议的基本原理的来源，并且预期用户可以轻松访问这些来源，预期用户可以理解（例如，预期用户很好理解其含义的数据点）......”传统机器由于大多数机器学习模型的黑盒特性，学习软件不符合这个标准。然而，随着可解释性的最新进展，可以显示由机器学习模型做出的每个决定的解释，潜在地使用户能够验证自动推荐背后的基本原理的可靠性。

基于风险的指导
自“平价医疗法案”通过以及医院再入院减少计划开始以来，已经给予了很多关注。通过机器学习开发的预测模型已经证明可以成功预测可避免的医院再入院，并且一些医疗系统已经成功地采用了基于机器学习的模型。与此同时，利率为使用机器学习，制定自动化欺诈和测漏传入医疗报销一直在增长当中政府机构和私人保险企业。现在，这些模型应该可以向从业者，付款人和患者解释他们的决策，允许用户调查自动医疗决策背后的实际原因，并确定个人决策是否合理或可以改进。

可解释机器学习在医疗保健领域的应用
由于更多关于可解释机器学习在医疗保健中的伦理，医学和经济影响的讨论当然是必要的，因此为了进一步进行此类讨论，已经提供了基于风险的指导用例的示例。示例用例应类似于组织已用于预测30天再入院的方法，但该示例使用非线性“白盒”机器学习方法来实现大约1，而不是使用较旧的线性建模方法。再入院预测准确度增加％。然后使用解释性技术来描述模型的内部机制和模型的每个预测。

从业者和领域专家可以确定示例技术是否真正超越了许多标准的方法，例如处理异构数据的能力，准确性或可解释性。这里唯一明确的论点是：当人们的生活受到数学模型的影响时，研究和评估具有潜在影响力的新建模和分析技术似乎是明智的。

这里提供了开源和免费提供的示例用例：

https://github.com/jphall663/diabetes_use_case
作者期待在线和即将举行的Xavier Healthcare AI峰会上继续讨论。
关于作者
Andrew Langsner是Sphaeric.ai的联合创始人和执行合伙人。他是一位经验丰富的问题??解决者，对数据驱动的决策充满热情。安德鲁一直在探索如何使高级分析对企业和组织有价值。他拥有乔治敦大学的MPP。在LinkedIn上与Andrew在线继续对话。

Patrick Hall是H2O.ai的数据科学产品高级主管，主要负责模型可解释性和模型管理。帕特里克目前还是乔治华盛顿大学决策科学系的兼职教授，在那里他教授数据挖掘和机器学习的研究生课程。在从NCSU的高级分析研究所毕业之前，Patrick学习了数学和计算化学。在Linkedin，Twitter或Quora上与他在线继续对话。