在本周发表的一篇预印研究论文中,英伟达的研究人员提出了一种人类与机器人交接的方法,在这种方法中,机器人将在半路上与人类相遇,对人类的抓握进行分类,并规划一条轨迹,从人类手中接过物体。他们声称移交比基线更顺利,他们说这可以为合作仓库机器人的设计提供参考,从而提高工人的生产力。
正如合著者所解释的,越来越多的研究集中在无缝人机切换的问题上。假设人类可以在机器人的固定装置中反转物体,大多数都解决了将物体从机器人转移到人类身上的挑战。然而,人和物体的姿态估计的准确性会受到遮挡(即物体和手相互遮挡)的影响,人类在搬运物体时往往需要注意其他任务。
英伟达集团将人类固定小物体的方式离散化为几个类别。所以单手抓障碍物,姿势可分为“开”、“捏”、“捏”、“捏侧”或“举”。然后,他们使用微软Azure Kinect深度相机编辑数据集来训练AI模型,将握着物体的手归类到这些类别中的一个,特别是通过向物体显示手的样本图像,并记录物体行为的手势相似性20到60秒。在录制过程中,该人可以将身体和手移动到不同的位置,以使相机的视点多样化,并捕捉对象的左右手,共拍摄了151,551张图像。
研究人员将移交任务建模为所谓的“鲁棒逻辑动态系统”,该系统生成运动计划,从而在给定的分类下避免机械手和手之间的接触。该系统必须适应不同的可能抓握方式,并做出反应来选择接近人类并从他们那里获取物体的方式。它不会停留在“原始”位置,直到它稳定地估计人们想要如何显示该块。
在一系列实验中,研究人员系统地总结了一系列不同的手部姿势和握持方式,包括分类模型和任务模型。Franka Amika的两个不同的熊猫机器人被安装在同一张桌子上的不同位置,人类用户递给它们四块不同颜色的积木。