尽管当今的人工智能系统体积巨大、功能强大，但它们常常无法区分幻觉和现实。自动驾驶系统可能无法正确感知行人和急救车辆，产生致命的后果。对话式人工智能系统会自信地编造事实，并且经过强化学习训练后，通常无法准确评估自己的不确定性。

麻省理工学院和加州大学伯克利分校的研究人员合作开发了一种新方法，用于构建精密的人工智能推理算法，可以同时生成概率性的数据解释集合，并准确评估这些解释的质量。

这种新方法基于一种称为顺序蒙特卡罗（SMC）的数学方法。SMC算法是一组已经被广泛用于不确定性校准人工智能的算法，它通过提出可能的数据解释并跟踪每次获得更多信息时所提出解释的可能性或不可能性来实现。但是，对于复杂的任务来说，SMC算法过于简单。其中一个主要问题是算法的中心步骤之一——提出可能解释的猜测（在跟踪不同假设相对于彼此的可能性之前）过于简单。在复杂应用领域中，查看数据并提出可能发生的事情的合理猜测本身就是一个具有挑战性的问题。例如，对于自动驾驶来说，这需要查看自动驾驶汽车摄像头拍摄的视频数据，识别道路上的车辆和行人，并猜测目前隐藏在视野中的行人的可能运动路径。从原始数据中提出合理的猜测可能需要复杂的算法，而常规的SMC算法则无法支持。

这就是新方法“带有概率程序建议的顺序蒙特卡罗”（SMCP3）的优势所在。SMCP3使得可以使用更智能的方式推测可能的数据解释，并根据新信息更新提出的解释，以及评估这些经过复杂方式提出的解释的质量。SMCP3通过允许使用任何概率程序——也就是允许进行随机选择的计算机程序——来作为提出数据解释的策略（即智能猜测）。早期版本的SMC只允许使用非常简单的策略，以至于可以计算任何猜测的准确概率。这种限制使得难以使用多阶段的猜测过程。

研究人员的SMCP3论文表明，通过使用更复杂的建议过程，SMCP3可以提高AI系统跟踪3D对象和分析数据的准确性，并提高算法自身对数据的可能性估计的准确性。麻省理工学院和其他机构的以前的研究表明，这些估计可以用来推断一个推理算法相对于理想的贝叶斯推理者解释数据的准确程度。

这篇论文的共同第一作者George Matheos（即将入读麻省理工学院电气工程与计算机科学博士生）表示，他最为兴奋的是SMCP3的潜力，它使得在较老版本的SMC无法发挥作用的复杂问题设置中使用理解良好、不确定性校准的算法成为可能

“今天，我们有许多新算法，许多是基于深度神经网络的，可以根据数据提出在各种问题领域中可能正在发生的事情。但是，这些算法通常不是真正的不确定性校准算法。它们仅输出一种可能发生的情况，不清楚这是否是唯一的合理解释，或者是否存在其他解释，甚至是否是一个好的解释！但是使用SMCP3，我认为可以使用更多这些聪明但难以信任的算法来构建不确定性校准的算法。随着我们使用人工智能系统在越来越多的生活领域做出决策，拥有我们可以信任的系统，它们知道自己的不确定性，将对可靠性和安全至关重要。”

高级作者Vikash Mansinghka补充道：“第一台电子计算机是用于运行蒙特卡罗方法的。蒙特卡罗方法是计算和人工智能领域中最广泛使用的技术之一。但是从一开始，蒙特卡罗方法就很难设计和实现：数学公式必须手动推导，并且有许多微妙的数学限制，用户必须意识到这些限制。 SMCP 3同时自动化了繁重的数学计算，并扩大了设计领域。我们已经用它来想出以前无法设计的新的AI算法。
来源：https://news.mit.edu/2023/probabilistic-ai-knows-how-well-its-working-0525