Oculus推出了DeepFocus,为变焦VR开发的开源AI渲染器
2018年12月20日 由 浅浅 发表
791269
0
今年五月,Facebook的Oculus部门发布了下一代VR原型设备,名为Half Dome,其标志性功能之一是可变焦显示系统,它实际上将屏幕移动到内部,以模仿用户眼睛的焦距变化。现在,该公司发布了DeepFocus,这是一种软件呈现系统,用于支持变焦特性,而且DeepFocus的代码和数据是开源的,因此研究人员可以了解它是如何工作的,并可能对其进行改进。
虽然DeepFocus的细节技术足以让开发人员感兴趣,但Oculus的软件使用AI来创建了一种散焦效果,使得图像的一部分看起来比其他部分更清晰。该公司表示,这种效果对于全天沉浸在VR中是必要的,因为选择性聚焦可以减少不必要的视觉疲劳。
Oculus表示DeepFocus是第一款能够实时生成效果的软件,为用户目前没有关注的内容提供逼真的视线跟踪模糊。关键词是“逼真的”,因为以前为游戏开发的模糊系统是为闪光或电影效果开发的,而不是为了准确性,而Half Dome的任务是忠实地再现光线落在人眼视网膜上的方式。
为实现这一目标,该公司将深度学习AI工具与游戏引擎已经提供的基本颜色和深度RGB-D数据配对。DeepFocus开发团队创建了196000个随机填充对象的图像,训练系统在场景中正确渲染模糊,比典型的VR环境具有更大的复杂性和可变性。
Oculus研究科学家Anton Kaplanyan解释说,“通过深入学习,我们的系统能够掌握复杂的效果和关系,例如前景和背景散焦,以及遮挡边界的模糊。通过生成丰富的地面真值数据库,我们能够覆盖更广泛的散焦效应,并为景深合成设立新的标准。”
虽然DeepFocus在1080p图形上工作顺利,但团队后来扩大了工作规模,以处理VR设备的图像渲染管道,最终引入了一个4 GPU管道来实时处理现代VR质量的图像。目前,团队仍在努力让DeepFocus在单个GPU上以较高的VR分辨率运行。
Facebook在开源DeepFocus方面的既定目标是与VR系统开发人员,视觉科学家和感知研究人员分享其知识,很明显,这些信息也将帮助软件开发人员准备未来的VR应用程序。但发布具有变焦硬件的VR设备的时间表尚未公开。Oculus表示它开发了Half Dome的散焦软件,但认为它与硬件无关,并且将在下一代VR设备中发挥作用。
这可能表明Oculus还没有准备好将可变焦的解决方案推向市场,这一结论与该公司报道的制造Rift VR头戴设备的决定相吻合,根据今天的公告,这个有争议的决定会更有意义,因为几乎没有人拥有Oculus所说的四倍GPU PC,而这是目前渲染可变焦距图像所必需的。让开发者有机会加速渲染软件的开发,可能有助于更快地将下一代VR设备推向市场。
开源:github.com/facebookresearch/DeepFocus