您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
二维人物变3D，AI让人物从静态图像中走出来
2019年01月10日 由 浅浅 发表
624926
0
来自华盛顿大学和Facebook的研究人员最近发表了一篇论文，该论文展示了一种基于学习的深度系统，可以将静态图像和绘画转换为动画。该算法名为Photo Wake-Up，使用卷积神经网络将单个静止图像中的人物或角色转换为3D形态。[video width="1280" height="720" mp4="http://imgcdn.atyun.com/2019/01/Photo-Wake-Up_-3D-Character-Animation-from-a-Single-Photo.mp4"][/video]
研究人员在论文中指出：“我们的方法适用于各种各样的全身正面照片，包括体育照片到艺术品和海报。此外，用户可以在图像中编辑人物，在3D中查看重建，并在AR中进行探索。”
为了展示算法的强大功能，团队使用了涂鸦，卡通人物，NBA明星斯蒂芬库里和毕加索的画作。
在工作的关键是一个独特的方法，允许研究人员在静止图像中扭曲一个人的二维轮廓，使该算法能够生成与图像中的人物匹配的逼真的三维动画网格。
团队使用NVIDIA TITAN GPU和cuDNN加速 PyTorch深度学习框架，将他们的软件建立在一个名为SMPL的预先训练模型的基础上，该模型最初是由微软和德国马普智能系统研究所的一个团队开发的。
如上图所示，首先给定照片，进行人物检测，2D姿势估计和人物分割，使用现成的算法来执行。然后，SMPL模板模型适合2D姿势并作为皮肤贴图投射到图像中。
系统的核心是：找到人物轮廓和SMPL轮廓之间的映射，将SMPL贴图变形到输出，并通过整合变形的贴图来构建深度贴图。
接着重复此过程以模拟模型的后视图，并组合深度和皮肤贴图以创建完整的3D网格。之后，网格进一步纹理化，并使用修复背景上的运动捕捉序列进行动画处理。
团队表示，“我们相信这种方法不仅为人们提供了欣赏和与照片互动的新方式，而且还提出了从单一图像重建虚拟化身的途径，同时也为从一张照片了解人体建模的艺术现状提供了思路。”
论文：
arxiv.org/pdf/1812.02246.pdf
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消