一位计算机科学家解释了当ChatGPT和其他人工智能的内部工作被隐藏时意味着什么。

对于一些人来说，“黑匣子”一词让人想起飞机上的记录设备，如果发生意外，这些设备对于尸检分析很有价值。对于另一些人来说，它让人联想到小型、装备简陋的影院。除此之外黑匣子还是人工智能世界中的一个重要术语。



人工智能黑匣子是指具有用户不可见的内部工作的人工智能系统。您可以向他们提供输入并获取输出，但无法检查系统代码或生成输出的逻辑。

机器学习是人工智能的主要部分。它是像ChatGPT和DALL-E 2这样的生成式人工智能系统的基础。机器学习有三个组成部分：一个或一组算法、训练数据和模型。算法是一系列的过程。在机器学习中，算法在被训练数据集训练后学习识别模式。训练机器学习算法后，就可以得到人们使用的机器学习模型。

例如，可以设计机器学习算法来识别图像中的模式，训练数据可以是狗的图像。由此产生的机器学习模型将是一个犬类观察者。您可以向它输入一个图像，就能得到它的输出结果，判断这张图像中是否有一组像素表示了一只狗，以及它在图像中的位置。

机器学习系统的三个组成部分都可以隐藏，也就是被设置成黑匣子。通常情况下，算法是公开的，这样就使得将其放入黑匣子中的效果减弱。因此，为了保护他们的知识产权，人工智能开发者通常会将模型设置成黑匣子。另一种软件开发者采用的方法是模糊用于训练模型的数据，也就是将训练数据设置成黑匣子。

黑匣子让我们很难理解人工智能是如何工作的，黑匣子的反面有时被称为玻璃匣子。人工智能玻璃匣子是一个算法、训练数据和模型都可供任何人查看的系统。但研究人员有时仍然将一些方面视为黑匣子。这是因为研究人员没有完全了解机器学习算法，尤其是深度学习算法是如何运作的。可解释人工智能领域正在努力开发算法，虽然不一定是玻璃匣子，但可以让人类更好地理解。

为什么人工智能黑匣子很重要

在许多情况下，有充分的理由警惕黑匣子机器学习算法和模型。假设机器学习模型已经对您的健康状况进行了诊断。您希望模型是黑匣子还是玻璃匣子？对于给你开处方的医生呢？她也许想知道这个模型是如何做出决定的。

假设一种判别你是否符合银行商业贷款资格的机器学习模型拒绝了你，你不想知道为什么吗？如果你知道了，你就可以更有效地申诉，或者做出改变，以增加下次获得贷款的概率。

黑匣子对软件系统安全也有重要影响。多年来，计算领域的许多人认为将软件保存在黑匣子中可以防止黑客查看它，以此来保证它的安全。这一假设在很大程度上被证明是错误的，因为黑客可以对软件进行逆向工程——也就是说，通过仔细观察软件的工作原理来构建复制品——并发现可以利用的漏洞。

如果软件在玻璃匣子里，那么软件测试人员和善意的黑客可以检查它并告知创建者弱点，从而最大限度地减少网络攻击。

 

来源：https://gizmodo.com/chatgpt-app-what-is-an-ai-black-box-1850481273