您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
减少人工智能的能源消耗
2020年01月06日 由 TGS 发表
628516
0
人类大脑的运作，有一个“生长和修剪”的策略，最初，是从大量的神经连接开始，然后随着时间的推移修剪掉未使用的连接。前段时间，一个人工智能研究小组将这种方法应用到人工智能系统中，发现它可以大大减少训练人工智能所需的能量。普林斯顿大学的一组研究人员发明了一种训练人工智能系统的新方法。能够达到行业标准的同时，消耗更少的计算能力，更少的能量，比传统的机器学习模型环保许多。在两篇论文中，普林斯顿大学的研究人员展示了如何通过增加神经元和连接来构建网络——随着时间的推移，未使用的连接被修剪掉，只留下模型中最有效的部分。
研究人员开发的模型采用了“行-修剪”模式。普林斯顿大学电气工程教授，Niraj Jha解释说，人类大脑在三岁左右是最复杂的，之后，大脑就开始修剪不必要的突触连接。结果是，发育完全的大脑能够完成许多复杂任务，但它工作时使用的突触只约占其峰值时所有突触的一半。研究人员通过模仿这种形式，加强了人工智能的训练。
由于这种“生长和修剪”技术，只需使用以前需要的计算能力的一小部分，就可以对数据中的模式做出同样好的预测。研究人员的目标是找到降低能耗和计算成本的方法，因为这样做是将机器学习引入手机和智能手表等小型设备的关键。此外，减少机器学习算法所耗能量也可以帮助该行业减少碳足迹。论文的第一作者补充说：“模型需要在本地进行训练，因为传输到云需要大量的能量。”开发过程中，研究人员试图开发一个神经网络创建工具，想用它来设计神经网络，并从头创建一些性能最好的网络。这一工具被称为神经网络合成工具(NeST)，当它只提供少量的神经元和连接时，就会通过向网络中添加更多的神经元而迅速增加复杂性。
一旦网络达到了选定的基准，它就开始随着时间的推移而自我修剪。传统网络模型也使用了一些修剪技术，但不同的是，普林斯顿大学的方法是第一个，使用网络模拟从“婴儿大脑”到“幼儿大脑”再到“成人大脑”的发展阶段的方法。
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消