NVIDIA正在西雅图华盛顿大学校园附近开设一个新的机器人研究实验室，由NVIDIA机器人研究高级主管，UW Paul G. Allen计算机科学与工程学院教授Dieter Fox领导。

该实验室旨在推动突破性的机器人研究，使下一代执行复杂操作任务的机器人能够安全地与人类一起工作，并转变制造，物流，医疗保健等行业。

Fox表示，“在过去，机器人技术研究的重点是小型独立项目，而不是完全集成的系统。我们正在组建机器人控制与感知，计算机视觉，人机交互和深度学习等专家合作的跨学科团队。”

近50名研究科学家，教师访问者和学生实习生将在这些领域开展基础研究。为了确保研究与现实世界的机器人问题保持相关，实验室将在大规模，逼真的交互式操作场景的背景下研究其工作。

第一个挑战场景是真实的厨房，一个可移动的机械手可以解决各种各样的任务，包括从橱柜里拿东西，学习如何清洁餐桌，帮助一个人做饭。

在1月11日举行的开放参观活动中，西雅图实验室在厨房中展示了其第一个机械手。移动机械手集成了最先进的技术以检测和跟踪物体，跟踪厨房门和抽屉的状态，并打开/关闭它们以获取物体。这些方法可以应用于任意环境，只需要相关对象和柜子的3D模型。

基于NVIDIA在物理，逼真模拟方面的专长，机器人仅基于自身模拟，使用深度学习来检测特定对象，不需要任何繁琐的数据标记。NVIDIA高度并行化的GPU处理功能使机器人能够实时跟踪其环境，使用传感器反馈进行精确操作，并快速适应环境变化。

该机器人使用NVIDIA Jetson平台进行导航，并在NVIDIA TITAN GPU上对处理和操作进行实时推理。使用cuDNN加速的PyTorch深度学习框架训练基于深度学习的感知系统。

该系统的独特之处在于它集成了由实验室研究人员开发的一套尖端技术。这些技术协同工作，可以检测物体，跟踪门和抽屉的位置，并生成控制命令，以便机器人可以抓住物体并将物体从一个地方移动到另一个地方。该系统基于以下技术构建：

密集铰接实时跟踪（DART）：DART最初是在Fox的UW机器人实验室中开发的，它使用深度摄像头来跟踪机器人的环境。它是一个通用的框架，用于跟踪刚性物体，如咖啡杯和谷物盒，以及在室内环境中经常遇到的铰接物体，如家具和工具，以及人类和机器人的身体，包括手和机械手。

Pose-CNN，6D物体姿态估计：对于在环境中拾取和移动物体的机器人来说，检测已知物体的6D姿态和方向是一项至关重要的能力。这个问题是具有挑战性的，因为不断变化的照明条件和复杂的场景造成的混乱和遮挡之间的对象。Pose-CNN是一种深度神经网络，经过训练可以使用普通摄像机检测物体。

用于反应操纵器控制的黎曼运动策略（RMP）：RMPs是一种新的数学框架，它将简单操作库组合成复杂的行为。RMPs允许团队高效地编写快速的、反应性的控制器，这些控制器使用来自Pose-CNN和DART的检测和跟踪信息，在动态环境中安全地与对象和人进行交互。

基于物理的逼真模拟：NVIDIA的Isaac Sim工具可以生成逼真的模拟环境，模拟物体的视觉属性，以及对象和机械手之间的作用力和接触。模拟厨房对操作系统进行测试，并对Pose-CNN下的对象检测网络进行训练。如果在真正的机器人上进行这种训练和开发过程将是一个昂贵和耗时的过程。一旦对象和环境的模拟模型可用，就可以更有效地进行训练和测试，节省宝贵的开发时间。

Fox表示，“我们觉得是时候开发下一代机器人了。通过将感知，控制，学习和模拟方面的最新技术结合起来，可能会帮助研究界解决一些当前最大的挑战。”