2D图像转换为3D

今年1月，Fleisher和Shirin Anlen（该AI的开发人员）写了一个关于图像转换的AI，用来从视频中剔除角色。最近，通过交互式AI实验更新了他们的网站，该实验可将任何平面图像转换为3D。

[video width="740" height="288" mp4="http://imgcdn.atyun.com/2018/03/volume.mp4" loop="true"][/video]

我们以前也见过类似的AI，但这次做的不仅仅是面部重建。它可以给任何网络摄像头提供Kinect般的能力，因此训练一个AI来转换任何类型的图像会产生一个不同的挑战，而不是训练一个人来转换特定的东西，就此Fleisher表示：

“它在某些方面是有所不同的。虽然构建和训练这种深度神经网络的机制有相似之处，但我们创建理解人体和环境模型的使命需要大量数据……目前，我们正在为不同的任务训练一些模型，并开发一种识别图像中主要元素的分类方法。一旦我们知道该期待什么，我们就可以选择一种模型，它对3D的效果有了更精确的理解。这与将许多知识积累到单一机器学习模型的其他方法完全不同。它仍在进行中，但我们希望继续对网络进行训练，以获取更多所需的知识，以便从2D图像和视频重建3D人物和环境。”

[video width="460" height="258" mp4="http://imgcdn.atyun.com/2018/03/volume2.mp4" loop="true"][/video]

Fleisher还告诉我们，用户通过自己的实验，为Volume提供了大量有价值的反馈:

“很重要的一点是，我们不会分享用户上传的任何数据。然而，我们会用它来评估机器学习模型，以便更好地理解什么可行，什么不可行。我们的目标是通过我们的新网站向公众开放我们的API，同时也了解人们对于这种功能的倾向、趋势和欲望。我们还鼓励用户在社交网站上分享他们的作品。我们相信，通过反映我们在网上对人们所做的工作，我们将能够将其发展成为一个有效的创新工具。”

Volume是作为将平面2D图像转换为3D图形和环境的端到端解决方案而开发的。虽然API仍处于早期开发阶段，但很容易看到它成为视频编辑和游戏开发人员的首选应用程序套件。而且，根据Fleisher的说法，Volume将继续获得新功能:

“我们也在研究一些更受欢迎的领域，例如图像增强。我们尝试并构建了一个名为ReTouch的应用程序，该应用程序允许在2.5D中使用深度估计来修饰图像，这都是开源的。据说，Volume API 的目的是鼓励在不同领域和用途中使用相同的技术。通过将Volume构建为云，计算机视觉API，我们可以为不需要将其用于相同目的的人提供与3D重建相同的结果。”

[video width="600" height="468" mp4="http://imgcdn.atyun.com/2018/03/volume3.mp4" loop="true"][/video]

你可以在团队网站上查看Volume API并使用AI将自己的图像转换为3D。

3D网格转换成机器针织模式



CMU的一组研究人员创造了一种通用的方法，将3D设计软件包生成的模型文件转换成针织模式，可以将针织模式输入到各种计算机针织机中，然后通过针织它来“打印”实体。

纺织品艺术家早就指出，针织和其他纤维艺术是3D打印的一种形式，并且3D打印人员和针织人员之间一直存在着一种健康的交叉。

总的来说，虽然我们认为当前系统的输出非常好，但我们怀疑使用闭环设计过程的未来工作可能会产生更高的精确度。这样的过程可以包括通过考虑变形来优化输入网格，以更好地匹配期望的输出形状，例如建模气球，或与我们的系统集成纱线和针迹级别的针织仿真工具。我们也看到了使用stitch级编辑工具的机会，比如Yuksel等人开发的工具，这是一种允许高级用户对我们的算法输出进行详细编辑的方法。

我们结果的几何精度受限于用于编织它们的针迹的大小。这个尺寸反过来取决于机器的尺寸，一般在毫米级。不能表现出比针脚尺寸小的特征。