麻省理工学院和卡塔尔计算研究所（QCRI）的研究人员将神经网络置于显微镜下，在一项揭示这些系统如何将文本从一种语言翻译成另一种语言的研究中，研究人员开发出一种方法，可以在捕获特定语言特征的网络中单个节点或“神经元”。

神经网络学习通过处理大量训练数据来执行计算任务。在机器翻译中，网络处理由人类注释的语言数据，并且可能学习语言特征，例如单词形态，句子结构和单词含义。给定新文本，网络将这些学习的特征从一种语言与另一种语言相匹配，并生成翻译。

但是在训练中，这些网络以无法解释的方式调整内部设置和值。对于机器翻译，这意味着创作者不一定知道网络会捕获哪些语言特征。

在本周的AI促进协会会议上发表的一篇论文中，研究人员描述了一种方法，可以在对特定语言特征进行分类时识别哪些神经元最活跃。他们还为用户设计了一个工具包，用于分析和操作网络如何出于某种目的翻译文本，例如弥补训练数据中的任何分类偏差。

研究人员精确定位了用于分类的神经元，例如，性别词，过去和现在的时态，句子开头或中间的数字，复数和单数词。他们还展示了一些任务需要许多神经元，而其他任务只需要一个或两个。

“我们的研究旨在深入了解语言的神经网络，并了解他们所学的信息，”共同作者Yonatan Belinkov说，他是计算机科学与人工智能实验室（CSAIL）的博士后，“这项工作的目的是获得对神经网络的更细粒度的理解，并更好地控制这些模型的行为。”

利用显微镜

 

神经网络以层的形式构建，其中每个层由许多处理节点组成，每个处理节点连接到上下层中的节点。数据首先在最低层处理，最低层将输出传递给上一层，依此类推。每个输出都有不同的权重，以确定它在下一层计算中的数量。在训练期间，这些重量会不断重新调整。

用于机器翻译的神经网络训练注释语言数据。在训练中，每个层为一个单词学习不同的词嵌入。词嵌入本质上是几百个数字的表，其组合方式对应于一个单词和单词在一个句子中的功能。嵌入中的每个数字由单个神经元计算。

在过去的工作中，研究人员训练了一个模型来分析每层的加权输出，以确定层如何分类任何给定的嵌入。他们发现，较低层（例如特定单词的结构）对相对较简单的语言特征分类，而较高层（例如单词如何组合形成意义）则有助于对更复杂的特征分类。

在新工作中，研究人员使用这种方法来确定学习词嵌入如何进行语言分类。但是他们还实施了一种称为“语言相关性分析”的新技术，该技术将模型训练到每个单词嵌入中的个体神经元中，这些单元嵌入在分类中是最重要的。

新技术将从不同层捕获的所有嵌入（每个嵌入包含关于单词的最终分类的信息）组合到单个嵌入中。当网络对给定单词进行分类时，模型会学习在每个分类过程中激活的每个神经元的权重。这为每个单词嵌入中的每个神经元提供了权重，该单词嵌入为分类的特定部分触发。

Belinkov说，“如果这个神经元很重要，那么应该有很高的权重，具有高权重的神经元是预测某些语言属性更重要的神经元。你可以将神经元想象成许多需要转动的旋钮，以便在嵌入中获得正确的数字组合。有些旋钮比其他旋钮更重要，因此该技术是一种分配这些旋钮重要性的方法。”

神经元消融，模型操作

因为每个神经元都是加权的，所以它可以按重要性排序。为此，研究人员设计了一个名为NeuroX的工具包，根据其重要性自动对神经网络的所有神经元进行排序，并在网络界面中对其进行可视化。



用户上传他们已经训练过的网络以及新文本。该应用程序显示文本，并在其旁边显示特定神经元的列表，每个神经元都有一个标识号。当用户点击神经元时，文本将根据神经元激活的单词和短语而高亮显示。从那里，用户可以完全破坏或削弱神经元，或修改它们的激活程度，以控制网络的转换方式。

消融的任务被用来确定研究人员的方法是否捕获了正确的高级神经元。在他们的论文中，研究人员使用该工具表明，通过消融网络中的高级神经元，其在分类相关语言特征方面的表现显著下降。或者，当他们消融较低等级的神经元时，性能受到影响，但不是那么显著。

“当你获得所有这些排名后，你想看看当你消除这些神经元时会发生什么，看看它对性能有多么严重的影响，”Belinkov说，“这是一个重要的结果，证明我们发现的神经元实际上对分类过程很重要。”

该工具包的一个有趣的应用是帮助限制语言数据的偏差。机器翻译模型（例如谷歌翻译）可以训练具有性别偏见的数据，这对于具有性别化词语的语言可能是有问题的。

例如，某些职业可能更常被称为男性，而其他职业则被称为女性。当网络翻译新的文本时，它可能只生成学习到的这些单词的性别。

“但我们发现可以追踪负责性别等语言属性的个别神经元，”Belinkov说，“如果你能够追踪它们，也许你可以以某种方式进行干预并影响翻译，将这些词语更多地翻译成异性，以消除或减轻偏见。”

在初步实验中，研究人员修改了网络中的神经元，将翻译后的文本从过去时变为现在时，准确度达到67％。他们简化了单词的性别转换，准确率达到21%。这仍然是一项正在进行的工作，下一步是对网络应用程序进行微调，以实现更准确的消融和操作。