您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
Facebook用AI完成虚拟现实渲染
2019年11月20日 由 TGS 发表
361731
0
Foveated rendering在前段时间提出了一个解决VR头戴设备视觉呈现挑战的方案，能够为眼睛的视觉最佳点呈现清晰的细节，并提供了一个周边视觉呈现更简单、更模糊的版本。近日，Facebook现实实验室的工程师们提出了DeepFovea，以人工智能代替该方案，它可以创建“貌似合理的外围视频”，而不是实际呈现精确的外围图像。这个新过程被称为“凹形重建”，Facebook表示，AI代替方案在RGB视频上实现了超过14倍的压缩，并能保证用户的感知质量不会有显著下降。在捕捉视频流时，DeepFovea只对每个视频帧中10%的像素进行采样，主要聚焦(但不完全聚焦)用户眼睛聚焦的区域。
相比之下，周边区域仅由分散的点采样，这些点离眼睛的焦点区域越远，密度越小。然后，该系统会使用训练有素的生成对抗神经网络，从微小样本中重建每一帧，以稳定的方式填充细节。
如上图所示，未完全采样的蜥蜴头在帧与帧之间，基本上无法区分，同时，“重建”图像中，相邻的树皮没有“参考”像素那么清晰且详细。传统的中央凹渲染系统会将这些像素描绘成低分辨率的平面阴影块，而深凹重建则会保留更多的原始形状和颜色。DeepFovea之所以重要，是因为与标准的中心凹渲染相比，它提供了更高的功率效率和图像质量。Facebook的说法是，渲染量减少了14倍，意味着能够向依赖于凝视检测的显示器提供实时、低延迟的视频，这是构建轻量级虚拟现实和AR眼镜的必要步骤。
去年，Facebook的Michael Abrash在Oculus Connect 5上首次暗示了DeepFovea的基本概念，如今则是提出了具体方案。而在未来五年中，他们将着重研究把基于深度学习的Fovea和良好的眼动跟踪技术结合在一起，以实现更高分辨率的虚拟现实。
Facebook并没有在开发下一代VR设备的计划中把DeepFovea单独保留下来，而是为研究人员、虚拟现实工程师和图形工程师发布了一个网络架构的示例版本。该公司将在今晚的SIGGRAPHASIA上提交基础研究论文，这对于虚拟现实来说，将是值得铭记的小小里程碑。
论文地址
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消