以假乱真!MIT新系统通过深度学习和3D打印复制经典画作
2018年11月30日 由 浅浅 发表
368759
0
悬挂在Isabella Stewart Gardner博物馆内的空框架一直提醒着人们,世界上最大的艺术抢劫案仍然悬而未决。虽然该杰作可能永远无法找到,但麻省理工学院计算机科学与人工智能实验室(CSAIL)的团队正在开发一个新系统RePaint,旨在设计画作的复制品。该系统将在亚洲ACM SIGGRAPH展出。
RePaint结合
3D打印和深度学习来真实地重现画作,不管照明条件或位置如何。RePaint可用于重建家居艺术品,保护原件免受博物馆磨损,甚至帮助公司创建历史作品的印刷品和明信片。
“在画廊中看到一幅画的颜色,和在家中的画面可能会有所不同,”作为该系统新论文的作者之一的Changil Kim表示,“我们的系统可以在任何照明条件下工作,这显示出比以往系统都强大的色彩再现能力。”
为了测试RePaint,该团队复制了一些由艺术家合作者创作的油画。该团队发现RePaint在为不同艺术品创建精确色调时,比现有最先进的物理模型准确度高出四倍以上。
不过由于打印的时间成本高,复制品大小仅有名片大小。在未来,该团队希望更先进的商用3D打印机帮助更有效地制作更大的画作。
虽然2D打印机最常用于再现绘画,但它们只有四种墨水(青色,品红色,黄色和黑色)。然而,研究人员发现了一种更好的方法。他们使用了一种名为“color-contoning”的特殊技术,使用3D打印机和10种不同的透明油墨,这些油墨堆叠在非常薄的层中,并与十年前一种称为半色调的技术相结合,即图像由密集的小色点而不是连续的色调创建。该团队表示,结合这些,将更好捕捉颜色的细微差别。
随着用色范围的扩大,用什么油墨来作画的问题依然存在。该团队没有使用更费力的物理方法,而是训练了一个
深度学习模型来预测不同油墨的最佳组合。一旦系统掌握了这一点,他们就输入绘画图像,并使用该模型来确定在特定绘画的特定区域应使用什么颜色。
尽管团队取得了一些进展,但他们表示,在能够制作出令人眼花缭乱的“星夜”副本之前,他们还有很多技术需要改进。例如,机械工程师Mike Foshey表示,由于油墨库有限,他们无法完全复制某些颜色,如钴蓝色。未来他们计划扩展这个库,并创建一个绘画专用的选择油墨的算法。他们也希望对于表面纹理和反射等方面,能够获得更好的细节,以便它们可以实现特定的效果,如哑光饰面。
Foshey表示,“近年来,美术的价值迅速增加,经典画作也越来越远离公众视线,我们正在构建技术来扭转这一趋势,并创造出所有人都能享受的廉价而逼真的复制品。”