OpenAI首次推出了一个机器人系统，可以仿照人类灵活性操纵物体。

在即将发表的一篇论文“Dexterous In-Hand Manipulation”中，OpenAI研究人员描述了一种系统，该系统使用强化模型，AI通过反复试验来学习，以最先进的精准度指导机器人手掌握和操纵物体的状态。更令人印象深刻的是，它在计算机模拟中完全以数字方式进行了训练，并没有提供任何人类演示来学习。

[video width="1280" height="720" mp4="http://imgcdn.atyun.com/2018/07/Learning-Dexterity_-Uncut.mp4"][/video]

“虽然对物体的灵巧操控是人类的一项基本日常任务，但它仍然是机器人的挑战，”该团队写道，“现代机器人通常设计用于受限设置中的特定任务，并且在很大程度上无法使用复杂的末端效应器，在这项工作中，我们演示了训练控制策略的方法，这些策略执行手动操作并将其部署在物理机器人上。”

那是怎么做到的呢？研究人员使用MuJoCo物理引擎来模拟真实机器人可能在其中运行的物理环境，并使用Unity来渲染图像以训练计算机视觉模型以识别姿势。但这种方法有其局限性，模拟仅仅是物理设置的“粗略近似”，不太可能生成可以很好地转化为现实世界的系统。



他们的解决方案是随机化环境的各个方面，如物理（摩擦，重力，关节限制，物体尺寸等）和视觉外观（照明条件，手和物体姿势，材料和纹理）。这既降低了过度拟合的可能性，，并且增加了生成基于真实世界指尖位置和对象姿势成功选择动作的算法的机会。

接下来，研究人员使用384台机器训练模型，一个循环神经网络，每台机器有16个CPU核心，每小时可以产生大约两年的模拟经验。在8核GPU上进行优化后，他们进入下一步：训练卷积神经网络，从三个模拟摄像机图像中预测机器人手中物体的位置和方向。

模型训练过程

一旦模型被训练，就进行验证测试。研究人员使用了Shadow Dexterous Hand，这是一只五指且有24个自由度的机器人手，安装在铝制框架上以操纵物体。同时，两组摄像机，运动捕捉摄像机和RGB摄像机，作为系统的眼睛，可以跟踪物体的旋转和方向。尽管Shadow Dexterous Hand具有触摸传感器，但该团队仅选择使用其关节感应功能对手指位置进行细粒度控制。

在两个测试的第一个中，算法的任务是重新定向标有字母表字母的块。团队选择了一个随机目标，每次AI实现它时，他们选择一个新目标，直到机器人（1）扔掉块，（2）花了一分多钟操纵块，或（3）成功旋转50次。在第二次测试中，块与八角形棱镜交换。

结果？这些模型不仅表现出前所未有的表现，而且还自然发现了在人类中观察到的类型的抓握，例如三脚架（使用拇指，食指和中指的握把），棱柱形（拇指和手指相对的握力）和指尖捏握。它们还学习了如何旋转和滑动机器人手的手指，以及如何使用重力，平移和扭转力将物体插入所需位置。

他们写道：“我们的系统不仅可以重新发现在人类身上发现抓握力，而且让它们更好地适应自己身体的局限和能力。”

这并不是说它是一个完美的系统。它没有经过明确的训练来处理多个物体，它很难旋转球形的第三个物体。在第二次测试中，模拟与真实机器人之间存在可测量的性能差距。

但最终，结果证明了当代深度学习算法的潜力，研究人员得出结论：“这些算法可以应用于解决复杂的现实世界机器人问题，这些问题超出了现有的基于非学习方法的范围。”