Facebook首席AI研究员:深度学习可能需要一种新的编程语言
2019年02月19日 由 Esther 发表
484766
0
Facebook AI研究主管Yann LeCun表示,深度学习可能需要一种比Python更灵活,更易于使用的新编程语言。目前尚不清楚这种语言是否必要,但这种可能性与研究人员和工程师根深蒂固的愿望背道而驰。
自20世纪80年代以来,LeCun一直致力于研究神经网络。“谷歌,Facebook和其他地方有几个项目设计这样的编程语言,可以有效地进行深度学习,但不清楚社区是否会接受,因为人们只想使用Python,然而现在的问题是,它是一种有效的方法吗?”
根据GitHub最近的Octoverse报告,Python目前是开发机器学习项目的开发人员使用的最流行的语言,该语言构成了Facebook的PyTorch和谷歌的TensorFlow框架的基础。
LeCun今天在旧金山举行的IEEE国际固态电路会议(ISSCC)上发表了一篇探讨最新趋势的论文,并在公司制造下一代计算机芯片之前发表了讲话。
论文第一部分专门介绍LeCun从贝尔实验室吸取的经验,包括他观察到AI研究人员和计算机科学家的想象力往往与硬件和软件工具联系在一起。
AI已有50多年的历史,但其目前的增长与计算机芯片和其他硬件提供的计算能力的增长密切相关。
LeCun说,他在20世纪80年代在贝尔实验室工作,并使ConvNet (CNN) AI能够读取邮政信封和银行支票上的邮政编码。更好的硬件会引入更好的算法,达到更好的性能,以便使更多人构建更好的硬件,而这种良性循环只有几年的历史。
在21世纪初,在离开贝尔实验室并加入纽约大学后,LeCun与该领域的其他杰出人物合作,如Yoshua Bengio和Geoffrey Hinton,进行研究以恢复对神经网络的兴趣并提高深度学习的知名度。
近年来,硬件的进步,如现场可编程门阵列(FPGA),TPU和GPU 在该行业的发展中发挥了重要作用。据报道,Facebook也在研发自己的半导体产品。
“可用的硬件类型对人们的研究类型产生了很大的影响,因此未来十年左右的AI方向将受到硬件可用性的极大影响,科学家们喜欢从抽象的角度来思考,不受硬件的限制,但事实上我们是受限制的。”
LeCun强调了硬件制造商未来几年应该考虑的一系列AI趋势,并就不久的将来所需的架构类型提出了建议,并建议考虑不断扩大的深度学习系统的规模。
他还谈到需要专门为深度学习设计的硬件,以及能够处理一批训练样本的硬件,而不是需要批量处理多个训练样本才能有效运行神经网络,然而后者正是目前的标准。
“如果你运行单个图像,那么你将无法利用GPU中可用的所有计算。基本上,这样做是在浪费资源,所以批量生产迫使你去想一些训练神经网络的方法。”
他还建议动态网络和硬件可以调整以仅利用任务所需的神经元。在论文中,LeCun重申了他的观点,即自我监督学习将在推进最先进的AI方面发挥重要作用。
“如果自我监督的学习最终允许机器通过观察学习关于世界如何运作的大量背景知识,那么可以假设某种形式的机器常识可能出现,”LeCun在论文中写道。
他认为,未来的深度学习系统将主要通过自我监督学习进行训练,并且需要新的高性能硬件来支持这种自我监督学习。
上个月,LeCun讨论了自我监督学习的重要性,作为2019年AI预测的一部分。能够处理自我监督学习的硬件对于Facebook、自动驾驶、机器人技术和许多其他形式的技术都很重要。