史诗级难题“今天穿什么?”也被人工智能轻松拿下…
2019年10月28日 由 sunlei 发表
339413
0
又到了秋冬换季的时候,每天早上用尽了全部信念好不容易起床,又被“今天穿什么”这个问题击倒。纠结了半个钟头寻找穿搭灵感,好不容易搭出一套,却又觉得哪里不对劲儿……
实际上对很多人来说,服装搭配是一门很难修的课程,除了要找到适合自己的风格以外,还要能掌握每一件单品的特性才能搭得好看……多少姑娘曾梦想自己有一个专属的造型师,每天早上能够替自己搭配好衣服,免去思考“今天穿什么”这个世纪难题的折磨,入籍你这个愿望也被人工智能实现了,一款由Facebook团队开发名为“Fashion ++”的App诞生了,帮助你告别“买买买”(我当然知道这不可能),充分利用现有服装,秒变“时髦精”本精。
[caption id="attachment_46120" align="aligncenter" width="543"]
《独领风骚》里女主早晨用虚拟设计师挑衣服[/caption]
这是电影《独领风骚》(《Clueless》)中的一个片段,时尚的女主 Cher Horowitz,拥有一个虚拟造型师,通过这个虚拟造型师,她可以预览自己的衣服搭配效果,并挑选一套自己最喜欢的穿搭方案。
如今,电影里的黑科技场景,已经被 AI 技术变为现实,而且还有所超越。
Facebook 最新推出的个性化服装穿搭推荐模型 Fashion ++,能通过算法,对现有服装进行巧妙的穿搭调整,让其显得更加 fashionable,即使是穿搭小白,也可以瞬间变身时尚达人。
一款时尚着装网络模型
Fashion++是一个使用深度图像生成模型的神经网络,用于识别衣服,并提出对衣服的修改建议。例如,模型会建议对衣服进行移除、添加或移动位置。它也可以对衣服的一部分进行修改,如塞好衬衣或卷起袖子。之前的一些研究中,模型会直接提出整个时装的修改建议,或者提供一个和现有衣服类似的方案。而 Fashion++则会在现有的服装基础上进行修改,使其更有型。
AI具体会这样为使用者提出时装修改建议。如图所示,左图中,AI 会建议移除掉整体时装中的披肩。在中图中,AI 建议将女士衬衣换成无袖的。在右图中,则建议将衣服挽起一点。
AI是如何成为时尚造型师的?
Fashion++ 并不鼓励用户剁手,它充分利用用户现有服装,能够为具体的时装搭配提出建议,这样的模型是由一个深度图像生成神经网络构成,该神经网络以对每件衣服的编码为条件识别并学习合成服装。编码根据衣服形状和纹理显式分解,从而允许分别对合身程度和颜色/图案/材料进行直接编辑。
如图为模型的整体架构。研究人员首先从材质和形状编码器中获得隐式特征。然后使用编辑模块 F++进行计算。在一次编辑之后,形状生成器首先会解码更新过的形状特征,将其还原为一个 2D 分割遮盖,然后研究者利用「区域性质」广播更新的材质特征,将其融合到一个 2D 特征映射中。这一特征映射和更新的分割遮盖会通过一个材质生成器,用于生成出最后更新过的整体时装。
在训练之前,系统首先使用了一个分类器,在时装图像数据上学习「有时尚感」的图像。「有时尚感」的图像作为训练用的参考数据,然后研究者从网络中获取了大量的服装信息,将这些图像一步步修改,将其中的时装部分替换为最不相似的其他部分。这样一来,就可以生成很多负样本,用于帮助 AI 学习什么是不时尚的图像。
训练好分类器后,该系统会逐渐更新着装,以使其更时尚。而后,图像生成神经网络会对调整后的新外观进行渲染,即使用变分自编码器生成轮廓,使用条件生成对抗网络(cGAN)生成颜色和图案。此外,该生成器学习到的潜在编码还被用于识别其库存中的哪些服装最能实现该着装方式。
在此研究中,作者使用 Chictopia10 数据集进行实验。此外,作者们使用了 15930 张图像来训练生成器,12744 张图像训练时尚分类器。
该数据集用于提供时尚图像,而剩余的「不时尚」图像,根据前文所述,是通过网络图像+逐步替换的方式修改的。具体而言,研究者首先使用 Chictopia 全身时装图像(一个正样本),从中选取一部分进行修改,使用一个不同的时装替换掉这个部分。为了提升「不时尚」图片的选择效果,研究者选择的是新时装和被替换部分之间欧几里得距离(用 CNN 提取出的隐向量)最远的那种。
构建训练集。左图为正样本,研究者改写了其中的一些部分,使用欧几里得距离最远的对应时装进行替换,使其变得难看,成为负样本(右图)。
下图显示了 Fashion ++推荐服装的细微变化。
实验表明,该系统的建议使图像更接近真实的样本,并且人类评估者发现 Fashion ++的建议不仅时髦而且易于实施。Facebook 相信,Fashion ++ 将通过调整现有服装而不是剁手花更多的钱,来帮助人们使用一个应用程序学会时尚穿搭。
结合3D算法和神经网络的试鞋App
服装问题解决了,鞋子方面当然也不能示弱。
一家在白俄罗斯“AR商务”体验的初创公司 WANNABY 特别研发了一款名叫「WANNA KICKS」的 App。
这款应用名为Wanna Kicks,通过 AR 增强现实技术与智能手机相机的结合,帮助你看到鞋款「穿」在自己脚上的效果,它甚至还能模拟出鞋子在光线不同环境下的各种效果。此外,用户还可以 AR 虚拟试鞋的照片保存并分享到社交媒体。
软件的识别效果的高低,是决定 AR 试鞋成败的另一个关键因素,反应慢、运行卡、鞋穿不上脚等一系类问题的出现,即便有再好的建模都不能挽救删除的其命运。
在 WANNA KICKS 上体验的过程中,基本没有出现上述问题,根据提示把脚伸到镜头下,仅需几秒钟软件就能快速识别,并在脚周围迅速生成 AR 鞋款的图像。生成的模型可以较好的跟脚耦合,无论是常年穿 42.5 码数的我,还是另一个 46 码数的大脚朋友均与模型配对良好,拉近与缩放镜头也做到图像的及时变换,丝毫没有感受到延迟。
这款APP很快吸引了意大利奢侈品牌GUCCI的注意,于是携手WANNABY 在自家的APP上更新了一项技术。
对于许多买不起GUCCI的年轻受众来说无疑也是一种福利了,买不起,试试总可以吧。
时尚是一种生活态度,每个人都要有一颗追求时尚的心。每个人都是自己生活的主角,穿自己精心搭配的服装走在路上,就是在走属于自己的t台。人工智能的出现,也在悄悄改变我们的生活方式,为我们在时尚的路上加了一把劲儿,赶快拥抱科技,拥抱 AI,你即将成为了掌控世界灵感的设计师。