麻省理工学院的研究人员已经汇编了一个数据集，该数据集捕获了物理上推动数百个不同对象的机器人系统的详细行为。研究人员可以使用数据集（同类中规模最大，种类最多的）训练机器人，以“学习”推动动力学，这对于许多复杂的对象操纵任务都是至关重要的，包括重新定向和检查对象以及整洁的场景。

　　为了捕获数据，研究人员设计了一个自动化系统，该系统包括具有精确控制的工业机械手，3D运动跟踪系统，深度和传统相机以及将所有东西缝合在一起的软件。手臂推着模块化的物体，可以调整它们的重量，形状和质量分布。对于每次推动，系统都会捕获这些特征如何影响机器人的推动。
 

　　名为“ Omnipush”的数据集包含250个对象的250个不同的推送，总计大约62,500次唯一推送。例如，研究人员已经在使用它来构建模型，以帮助机器人预测物体在被推动时会降落在何处。

　　这一篇描述Omnipush的论文的作者，机械工程系（MechE）的研究生Maria Bauza说：“我们需要大量丰富的数据来确保我们的机器人能够学习。” 智能机器人和系统。“在这里，我们正在从真实的机器人系统中收集数据，并且对象足够多以捕获丰富的推动现象。这对于帮助机器人理解推动的工作原理并将该信息转换为其他类似现实世界中物体的信息非常重要。”

　　加入Bauza的论文包括：计算机科学与人工智能实验室和电气工程与计算机科学系（EECS）的研究生Ferran Alet和Lin Yen-Chen Lin；工程学院卓越教学教授Tomas Lozano-Perez；Leslie P. Kaelbling，松下计算机科学与工程系教授；EECS助理教授Phillip Isola；以及MechE副教授Alberto Rodriguez。

　　多样化的数据

　　为什么要专注于推动行为？Rodriguez解释说，建模涉及物体和表面之间摩擦的推动动力学，对于更高级别的机器人任务至关重要。考虑一下可以玩Jenga的视觉和技术上令人印象深刻的机器人，这是Rodriguez最近合作设计的。罗德里格斯说：“机器人正在执行一项复杂的任务，但驱动该任务机制的核心仍然是推动受例如块之间的摩擦影响的物体。”

　　Omnipush建立在Rodriguez，Bauza和其他研究人员在操纵与机制实验室（MCube）中建立的类似数据集的基础上，该数据集仅捕获了10个对象上的推入数据。在2016年将数据集公开后，他们收集了研究人员的反馈。其中一个抱怨是认为缺乏对象多样性：在数据集上受过训练的机器人努力地将信息推广到新的对象上，而且也没有视频记录，图像对于计算机视觉，视频预测和其他任务很重要。

　　因此如今，对于他们的新数据集，研究人员利用工业机器人手臂精确控制推进器（基本上是垂直钢棒）的速度和位置。当手臂推动物体时，他们用已在电影，虚拟现实以及研究中使用的“ Vicon”运动跟踪系统跟随物体，还有一个RGB-D摄像机，可将深度信息添加到捕获的视频中。

　　研究的关键是构建模块化对象。由铝制成的均匀的中央部件看起来像四角星，重约100克，每个中心部分的中心和点都包含标记，因此Vicon系统可以在1毫米内检测到其姿势。

　　四个形状（凹形，三角形，矩形和圆形）的较小块可以磁连接到中心块的任何一侧。每块重量在31到94克之间，但是额外的重量（从60到150克不等）可以掉入这些块的小孔中。所有类似拼图的物体在水平和垂直方向都对齐，这有助于模拟形状和质量分布相同的单个物体的摩擦。不同侧面，重量和质量分布的所有组合增加了250个唯一对象。

　　每次推动时，手臂会自动移动到距对象几厘米的随机位置。然后，它选择一个随机方向并将对象推一秒钟。从停止的地方开始，然后选择另一个随机方向，并重复该过程250次。每次推送都会记录对象和RGB-D视频的姿势，这些姿势可用于各种视频预测目的。每天花费12个小时来收集数据，耗时两个星期，总计超过150个小时。仅在手动重新配置对象时才需要人工干预。

　　这些对象并没有专门模仿任何现实生活中的物品。取而代之的是，它们旨在捕获现实世界对象的“运动学”和“质量非对称性”的多样性，从而对现实世界对象的运动进行建模。然后，机器人可以将质量分布不均匀的Omnipush对象的物理模型外推到重量分布不均相似的任何现实世界对象。