人工神经网络发展出与动物相似的先天能力

2020年01月10日由 KING 发表 336330 0

许多动物天生就具有某些能力。马可以在出生后数小时内行走，鸭子可以在孵化后很快游泳，人类婴儿刚出生就会啼哭。动物大脑已经进化为几乎不用通过学习就可以具有某项技能，许多研究人员希望在人工智能中重现这种自然的能力。

新研究发现，人工神经网络可以进化为无需训练即可执行任务，该技术可能会使AI更擅长处理各种任务，例如为照片加标签或驾驶汽车。

人工神经网络是小型计算元素（神经元）之间的信息传递媒介。网络通常通过调整神经元之间连接的权重或强度来学习执行诸如玩游戏或识别图像之类的任务。一种称为神经体系结构搜索的技术会尝试许多网络形状和大小，以找到可以针对特定目的进行更好学习的网络。新方法使用相同的搜索技术来查找权重较低的网络。对于这样的网络，它们的整体形状决定了它的智能，可能使其特别适合于某些任务。该过程从一组非常简单的网络开始，这些网络将输入（例如，来自机器人传感器的数据）链接到行为输出。它通过添加神经元，添加链接或更改神经元对其输入总和的敏感程度来评估网络在给定任务上的性能，保持网络的最佳性能，并对其进行突变。在评估阶段，将共享的随机数分配给网络的所有权重。（实际上是对几个随机数完成的，并且将结果取平均值。）

结果称为重量不可知神经网络（WANN）。这些网络获得了在任务中表现出色以及简单的要点。虽然这项研究中的典型任务网络可能具有数千个神经元和权重，但WANN仅有少数神经元和一个权重。

WANN仍然以某种方式表现出色。研究团队将它们与标准网络体系结构进行了比较，这些标准网络体系结构根据经验精炼了权重，可以完成三个模拟任务：驾驶赛车，使机器人行走，控制轮式推车以平衡杆位。

WANN的得分大约是有训练经验网络的六分之一到一半。当研究人员分配性能最佳的权重而不是随机权重时，这些数字介于受过训练的网络得分的三分之二至五分之四之间。而且，如果经过进化，WANN的训练方法与更大的标准网络相同，则它们的性能可以媲美。在涉及识别手写数字的任务中，WANN的准确率超过90％（相比之下，接受该任务训练的较大网络的准确率则为99％）。该研究于上个月在加拿大温哥华的神经信息处理系统（NeurIPS）会议上发表。

研究人员说，这一突破最初是一个漏洞，该漏洞将所有权重分配了相同的数字，最终简化了架构搜索。

虽然WANN的性能并不能取代训练有素的大型网络，但该方法为寻找专门适应各种任务的网络架构开辟了一条新途径，即大脑的各个部分针对特定目的的接线方式不同。例如，卷积神经网络具有适合图像识别的架构，可反映大脑视觉皮层的结构。他们相信，还有更多的构建基块，可以使AI从一开始就变得聪明。

标签：

机器学习人工神经网络

0 评论

欢迎关注ATYUN官方公众号

商务合作及内容投稿请联系邮箱:bd@atyun.com

上一篇来自神经网络的物理学见解

下一篇亚马逊的AutoGluon只需3行代码即可生成AI模型

评论登录

要发表评论，您必须先登录。

jonatasgrosman/wav2vec2-large-xlsr-53-english facebook/dino-vitb16 bert-base-uncased xlm-roberta-large xlm-roberta-base gpt2 microsoft/resnet-50 facebook/dino-vits8

最好的基于Transformer的LLM（上）