您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
裤子变裙子，GAN图像转换新进展
2019年01月03日 由 浅浅 发表
403900
0
把图像中的羊换成长颈鹿，牛仔裤换成裙子——这可能听起来很神奇，但韩国高等科学技术研究院和浦项科技大学的研究人员在摄取大量图像数据后设计的机器学习算法，已经可以实现这样的转换。他们在发布的一篇新论文“InstaGAN：Instance-Aware Image-to-Image Translation”中对此进行了描述。图像到图像转换系统，即学习从输入图像到输出图像的映射的系统，这并不是什么新东西，仅在本月早些时候，Google AI研究人员开发了一种模型，可以通过预测其比例，遮挡，姿势，形状等，将对象插入照片中。但正如InstaGAN的创作者在论文中所说的，即使是目前最先进的方法也并不完美。
由于最近GAN取得令人印象深刻的进展，无监督的图像到图像转换已经引起了相当大的关注，然而，以前的方法经常在具有挑战性的情况下经常失败，特别是在图像具有多个目标实例，翻译任务涉及形状的重大变化时。
研究人员的解决方案是系统InstaGAN，它包含多个目标对象的实例信息。在这种情况下，它会生成对象分割掩码（属于同一对象的像素组），包含对象的边界，同时忽略诸如颜色之类的细节。
新颖的是，InstaGAN转换图像和相应的实例属性集，同时保留语境。当与允许其在传统硬件上处理大量实例属性的创新技术相结合时，它可以概括为具有许多实例的图像。
研究人员写道，“据我们所知，我们是首个实现图像到图像转换的多实例变形任务的，与以前在简单设置中的结果不同，我们关注的是与背景自然渲染的实例的和谐。”
研究人员为InstaGAN提供了来自各种数据集的两个类，包括多人解析，MS COCO和服装协同解析。与CycleGAN（两个图像之间转换的可接受基线）相比，InstaGAN在保持原始上下文的同时更成功地生成目标实例的合理形状。
在一个例子中，InstaGAN生成长颈鹿，并逼真地换成了绵羊。在其他例子中，它生成了双腿，它叠加在T台模特上。
研究人员写道，“对不同数据集的实验表明，在多实例变形的挑战性任务中成功地进行了图像到图像的转换，包括新的任务，例如，在时尚图像中将牛仔裤转换成裙子，而探索新任务和新信息可能是未来一个有趣的研究方向。”
论文：
arxiv.org/pdf/1812.10889.pdf
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消