AI构图领域的新进展
2019年09月27日 由 TGS 发表
139461
0
人工智能的艺术构图工具正在迅速更新换代。近日,麻省理工学院-IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)的科学家们详细介绍了一种可以让用户上传任何照片,并编辑建筑物、植物群和固定装置外观的工具。加州大学伯克利分校(University of California at Berkeley)、牛津大学(University of Oxford)和Adobe Research的研究人员希望通过交互式素描与填充技术,进一步推动该领域的发展——该技术是一种机器学习系统,可以在用户绘制图象时,以交互方式向用户推荐绘制图像素材,新发表在Arxiv.org上的一篇论文(“交互式草图与填充:多类草图到图像转换”)对此进行了简单的介绍。
合著者写道:“AI图像翻译模型在获取抽象输入(如边缘图或语义分割图)并将其转换为真实图像方面,取得了显著的成功。将此与用户界面结合使用,用户可以在目标域中快速创建图像。然而对许多人来说,在没有任何反馈的情况下完成一幅线条画可能会很困难,因为未经训练的实践者通常很难徒手画出物体及其零件、三维形状和透视图的精确比例。因此,使用当前的交互式图像翻译方法,通过编辑现有图像而不是从头创建图像来获得逼真的图像要容易得多。”
该团队使用了一个多部分系统,完美解决了图像生成问题,其中包括从用户草图中推测素材形状并提供完成作品的预览。他们利用氮化镓- 2神经网络组成的发电机,生产样品和鉴别器,以试图区分生成的样本和真实样本——帮助鉴别完成图像的准确性。
为了评估该系统的稳定性,研究人员采用了两个开源数据集Edges2shoes和Celebat - HQ来绘制物体的渲染图,他们用一个单独的人工智能模型简化了物体的边缘,使其更接近人类绘制的笔画。在测试了形状绘制和图像生成之后,他们从流行的互联网搜索引擎中获取了一个包含篮球、鸡、饼干、纸杯蛋糕、月亮、桔子、足球、草莓、西瓜和菠萝等200张更具挑战性的语料库。
研究人员表示,在测试的大多数情况下,系统都能生成正确的图像,他们认为这是朝着完全端到端系统迈出的,令人鼓舞的一步。