本文由Google的研究科学家Jasper Snoek和Google的研究工程师Zachary Nado发布于GoogleAI博客，atyun编译。

在理想的世界中，部署了像深度学习这样的机器学习（ML）方法，就可以根据与训练数据相同的分布对数据进行预测。但是实际情况可能大不相同：相机镜头变得模糊，传感器性能下降以及流行的在线主题发生变化，可能会导致训练模型的数据与应用模型的数据分布之间存在差异，这种情况被称为协变。例如，最近观察到当对未知医院数据进行评估时，受过训练以检测胸部X光片中的肺炎的深度学习模型将获得非常不同的准确性，这部分是由于图像获取和处理之间的细微差异。在NeurIPS 2019期间，我们对最先进的深度学习模型的不确定性进行了基准测试，因为它们同时暴露于变化的数据分布和分布失调的数据。在这项工作中，我们考虑了多种输入方式，包括图像，文本和在线广告数据，使这些深度学习模型暴露于日益变化的测试数据中，同时仔细分析了其预测概率的行为。我们还比较了改善模型不确定性的各种不同方法，以查看哪种策略在分布偏移下效果最佳。

什么是分发数据？

深度学习模型为每个预测提供概率，代表模型的置信度或不确定性。因此当数据超出原始训练数据集的范围时，可以表达他们不知道的内容，并相应地放弃预测。在协变量平移的情况下，不确定性理想情况下将与精度的任何降低成比例地增加。一个更极端的情况是，在训练集中根本没有表示数据时，即数据失配（OOD）时。例如，考虑将动物图像分类器显示为飞机图像时会发生什么。该模型会自信地预测错误，还是会为每个类别分配低概率？在相关文章中我们最近讨论了为识别此类OOD示例而开发的方法。相反，在这项工作中，我们分析了模型的预测不确定性，并给出了分布失调的例子并转移了示例，以查看模型概率是否反映了它们对此类数据进行预测的能力。

量化不确定性的质量

一个模型比另一个模型更好地表示其不确定性意味着什么？尽管这可能是一个细微的问题，通常由下游任务来定义，但仍有一些方法可以定量评估概率预测的总体质量。例如，气象界已经仔细考虑了这个问题，并制定了一套适当的评分规则概率天气预报的比较功能应该得到满足，以便进行良好的校准，同时仍会提高准确性。我们应用了一些适当的评分规则，例如Brier得分和负对数可能性（NLL），以及更直观的启发式方法，例如预期的校准误差（ECE），以了解不同的ML模型如何处理数据集移位下的不确定性。

实验

我们分析数据集移动对各种数据模式（包括图像、文本、在线广告数据和基因组学）不确定性的影响。例如，我们说明了数据集移位对ImageNet的影响数据集，一种流行的图像理解基准。ImageNet涉及将超过一百万个图像分类为1000个不同类别。现在，有些人认为这一挑战已基本解决，并且已经开发出了更难的变体，例如Corrupted Imagenet（或Imagenet-C），其中数据根据16种不同的实际破坏程度（每种强度分别为5种不同）进行了扩充。

我们探索了模型不确定性在数据分布变化下的行为，例如在Corrupted Imagenet中使用的图像扰动强度增加。此处显示的是强度级别3（共5个）中每种类型的图像损坏的示例。

我们使用这些损坏的图像作为移位数据的示例，并研究了深度学习模型暴露于强度变化时的预测概率。在下面，我们显示了每个损坏级别（包括未损坏的测试数据）所得到的准确性和ECE的箱形图，其中每个箱形图汇总了ImageNet-C中的所有损坏类型。每种颜色代表不同类型的模型-用作基线的“香草”深层神经网络，四种不确定性方法（压差，温度缩放和我们的最后一层方法）和整体方法。

精度（top）和预期的校准误差（bottom ;越低越好），以提高ImageNet-C上数据集移位的强度。我们观察到准确性的降低并没有反映在模型不确定性的增加上，这表明准确性和ECE都变差了。

随着移位强度的增加，每个模型的不同破坏方法的准确性偏差会增加（框大小会增加），这与预期的一样，并且总体上，准确性会下降。理想情况下，这将反映在模型不确定性增加的情况下，从而使预期的校准误差（ECE）保持不变。但是，查看ECE的下部图，就会发现情况并非如此，而且校准通常也会受到影响。我们观察到了类似的Brier得分和NLL恶化趋势，这表明模型并不会随着移位而变得越来越不确定，而是肯定会变得错误。

一种改进校准的流行方法称为温度缩放，这是Platt缩放的一种变体，其中涉及在训练后使用保持的验证集上的性能来平滑预测。我们观察到，虽然这种改进了对标准测试数据的校准，但通常会使移位的数据变得更糟！因此，应用此技术的从业人员应警惕分配偏移。

幸运的是，一种方法比其他方法更能优雅地降低不确定性。深层合奏（绿色）可以平均所选模型的预测值，每个模型具有不同的初始化，这是一种简单的策略，可以显着提高转换的鲁棒性，并且胜过所有其他测试方法。

摘要和推荐的最佳实践

在我们的论文中，我们探索了在图像，文本，在线广告数据和基因组学之间的数据集移位下最新模型的行为。在这些不同类型的数据中，我们的发现大体上是一致的。不确定性的质量随着数据集的移动而降低，但是有缓解该问题的研究方法很有希望。我们希望深度学习用户从我们的研究中获得以下信息：

训练模型时，必须考虑数据集移位下的不确定性。

改善分布内测试集的校准和准确性通常不会转化为对移位数据的改进校准。

在我们考虑的所有方法中，深度合奏对数据集移位最稳健，并且较小的合奏大小（例如5）就足够了。集成的有效性为改进其他方法提供了有趣的途径。

改善深度学习模型的预测不确定性仍然是机器学习的活跃领域。我们已经发布了该基准测试中的所有代码和模型预测，希望对社区推动和评估有关此重要主题的未来工作很有用。