照相时眨眼了怎么办?Facebook研究者创建AI系统,可以生成“假眼”
2018年06月20日 由 浅浅 发表
152030
0
你可能在照相时遇到以下的情况:闪光灯闪烁,你控制不住眨了眼,照片上也许就显示出你闭眼的样子。Facebook的研究人员创建了一个人工智能系统,该系统可以用计算机生成的图像来代替闭合的眼睛。
该工具使用生成对抗网络(GAN),这是一个由两部分组成的机器学习系统,其双组重件互相竞争,试图欺骗系统让其认为生成的图像是真实的。基本上,需要训练一个网络来识别和分类睁开眼睛的图像是否真实,训练另一个网络以产生令人信服的睁眼图像。生成器网络试图创建更多更令人信服的图像来欺骗分类器网络,分类器网络试图更好地发现这些复杂的假象。随着时间的推移,GAN的每个部分都会精炼,并创建更准确的修饰图像,因为网络会更好地确定图像是否真实,以及如何成功生成这些图像。
这种技术类似于PS中的“内容感知填充”工具,该工具允许用户让程序在空间中填充空间并相当程度地猜测它应该补充的位置,从而在他们的照片中移除不需要的特征(如分散注意力的背景对象)。
目前的AI系统可以在人脸的一般图像的基础上进行绘画中的面部特征的工作,但到目前为止,他们一直在努力进行与特定人物非常相似的绘画。Facebook公布的该研究论文中关于其新工具的解释是,“如果有足够大小的训练集,网络将会了解人脸应该是什么样子,并相应地进行补涂。”但是大多数绘画技术都无法保留特定主体的身份,这可能会导致不切实际或不准确的结果。
Facebook的新工具通过包含示例数据修复了这个问题,也就是说,它为其系统提供了目标人员睁着眼睛的示例照片。这使得GAN可以了解特定目标人的睁开眼睛的样子,并提供能够准确反映目标人员肤色,眼睛颜色,眼睛形状和位置的生成图像。这意味着系统可以生成眼睛的个性化图像,而不只是用一组通用的眼睛的图像。
Facebook的研究论文包括许多使用计算机生成的眼睛修饰过的图像的,用的是很多名人之前参加百事可乐一公升阳光活动的照片,照片里他们都闭着眼睛。
结果很成功,在测试中,受访者往往错误地将计算机生成的睁眼图像误认为真实照片,他们无法确定照片中的眼睛是真实的还是计算机生成的。
不过,Facebook的工具并不完美。它仍然在一些照片中与色彩发生冲突,如果眼睛被眼镜或头发部分覆盖,它会产生奇怪的效果。然而,研究人员认为,他们可以通过更好的调整来克服这两个问题。也许该工具最大的技术障碍是在没有好的示例性数据使用时尝试修复照片。如果系统没有任何目标人物的示例照片,它可能很难产生令人信服的睁眼图像。
这个工具有可能消除照片中令人沮丧的特征,比如有人在恰好错误的时刻眨了眼。如果Facebook的工具可以制作相当真实的双眼,也许它会像其他照片修饰工具一样受欢迎。
尽管如此,对很多人来说,Facebook在了解人脸的细微差别时,会让人感到不安,因为它可以在照片中自动生成双眼。然而,它似乎为一个常见的问题提供了一个快速而简单的解决方案,尤其是对于群组照片。这种情况似乎又让我们回到了典型的Facebook问题:如何平衡实用性和令人不安的特性。
论文网址:research.fb.com/wp-content/uploads/2018/06/Eye-In-Painting-with-Exemplar-Generative-Adversarial-Networks.pdf