SigOpt:AI产生的碳足迹将成为企业不可忽视的问题
2019年07月26日 由 bie管我叫啥 发表
61318
0
研究人员最近发现,训练单个AI模型所产生的碳排放量几乎是普通美国汽车碳排放量的五倍。由马萨诸塞大学的计算机科学家发表的这一研究结果强调了一个在人工智能的所有宣传中受到忽视的问题:训练新的深度学习模型的过程消耗了相当多的能量。
尽管目前大多数企业在人工智能项目上的用电量不及谷歌或Facebook等公司,但有关人工智能碳足迹的新数据应该会促使IT领导者考虑到其组织在深度学习方面的总体局限。
马萨诸塞州立大学的研究人员专门研究了用于自然语言处理的神经网络模型的训练能耗。论文中描述的一个更大的能源挑战与测试模型的不同设置有关。训练人工智能模型在不同领域工作的过程,往往比训练原始模型消耗的能量要大得多。此外,人工智能在计算和功率需求方面的爆炸式增长,也出现在物流、建模和仿真等其他业务实践中。
人工智能碳足迹研究的另一个含义是许多人工智能应用程序从头开始会更好,因为调整它们以适应其他应用程序会使用更多功能。虽然一类新的参数调整工具可以帮助降低能耗,但一些专家质疑深度学习是否适用于许多常见用例。在未来,量子计算可以在减少这些类型问题的电力负担方面发挥重要作用。
深度学习的极限
处于人工智能最前沿的是使用大部分能源的,人工智能和机器学习平台Dataiku的首席数据科学家Jed Dougherty指出,AI模型开发的潜在低效率是由对GPU的依赖引起的,“我们有责任尽可能避免深度学习。不仅仅是因为我们从根本上不知道它在做什么,而是因为它需要大量的GPU消耗。”
他说,虽然深度学习可以为自然语言处理和计算机视觉提供良好的结果,但从事其他类型应用程序的开发人员应该问他们为什么要参与深度学习。事实上,许多研究人员正在使用合理的,人为设计的业务规则和算法来发现更好的方法。
Dougherty补充说,对新的深度学习模型的大量二氧化碳排放量的担忧可能会被夸大 - 并且可以通过这些模型的优势得到缓解。毕竟,更好的基于AI的模型可以通过其他方式实现节能,更不用说为企业带来更多收入。无论如何,人工智能的碳足迹并不是一个问题。大部分Dataiku的客户更关注财务成本而不是环境影响,尽管两者有些联系。
需要进行碳监测
身份授权和认证公司Callsign的产品负责人Stuart Dobbie表示,人工智能的工作量实际上加剧了IT行业现有的不良做法,与人工智能相关的成本和能源问题是传统上效率低下的概念和IT行业光明前景交织的产物。
大多数公司过度配置基础设施并且未充分利用计算,云提供商和新监控框架的开发都可以改善这些长期不良做法的一些能源和环境影响。例如,云计算供应商应采用最佳实践数据中心架构设计,以确保技术基础架构的高效运行。这包括数据中心气流,高效冷却,可再生能源服务的使用和最重要的监控等领域。
Dobbie还认为应该要求云提供商公布他们的能源消耗和碳足迹,以便这些指标成为选择提供商的因素。
对于非关键人工智能培训流程,使用现场实例可以帮助借用其他云计算租户的成本的一小部分来借用未充分利用的计算。
参数调整和AI的碳足迹
提高人工智能模型性能的最大挑战之一是调整神经网络中使用的不同人工神经元的参数或权重。这一方面不仅限于人工智能——很多业务问题都需要这种类型的调优,包括优化业务模型和仿真、运筹学、物流和编程实例等。
通过示例编程(PBE)是一种通过示例训练AI的技术,例如提供与如何构造数据相关的I / O对。所有这些问题都可能导致组合爆炸,当数据科学家测试各种参数组合时,每个参数都可以增加可能的解决方案的数量。
SigOpt公司的联合创始人兼首席执行官Scott Clark表示,参数会对模型的性能产生重大影响,从而导致该模型对业务的影响,该公司生产用于调整深度学习参数的软件。因为参数调整通常需要评估各种配置,所以它在计算上可能很昂贵。在数据中心没有可持续能源运行的情况下,AI的碳足迹将变得更多。
但并非所有参数调整方法都相同。它们越详尽,计算密集程度越高。这种类型的方法随机地尝试所有可能性,这可能需要大量时间来找到正确的解决方案。参数调整方法越智能并且自适应,计算密集度越低。
研究人员和供应商正在设计一种新的参数优化AI工具,它依赖于贝叶斯优化算法,而不是天真的随机搜索或穷举网格搜索。贝叶斯优化使用统计和近似的组合来搜索效率的最佳参数组合。SigOpt研究表明,与随机搜索配置的标准实践相比,他们可以将计算时间和功耗降低95%。
量子可提供帮助
量子计算机创业公司IonQ的总裁兼首席执行官Peter Chapman说,量子计算机可能会在一条指令中解决许多这些组合爆炸问题。这将使一种新的机器学习能够通过大大减少的输入数据集和最少的训练来学习。
程序员通常可以使用他们可以用来解决某些问题的工具。对于这些问题的某个子集,量子计算机将允许程序员访问当前不能使用的新方法。
量子计算机会施加不同的限制,因为它们不适用于所有经典的计算问题,但是对于他们擅长的问题,它们将解开新的方法来处理现在在经典计算机上运行过于昂贵的事情。Chapman预计量子计算机将很快进入商业市场,以应对现实世界的商业问题。