该团队开发的新技术最酷的地方在于,它不需要复杂的传感器、大量的训练或人类指导。相反,它主要依靠嵌入在机器人手臂上的彩色摄像头。研究人员David Held表示,之前深度相机将红外光照射在物体上,以确定其形状,这种技术对于不透明的物体很有效。对于透明和反光物体的挑战是,光线要么直接穿过,要么从表面散落,使深度相机无法计算出准确的形状。
然而,彩色相机可以看到透明和反射物体,也可以看到不透明的物体。研究人员开发了一种彩色相机系统,能够根据颜色识别形状。利用该技术,研究人员能够训练该系统模仿深度系统,并隐含推断形状来把握物体。该团队使用针对不透明物体的深度相机图像与相同物体的彩色图像配对。训练完成后,彩色相机系统应用于透明闪亮的物体。根据这些图像,加上深度摄像头能够提供的信息,系统可以很成功地抓住具有挑战性的物体。
研究人员发现,有时手臂会失误,但它在抓取透明或反光物体方面的表现比以往任何系统都要好。该系统在抓取不透明物体时,仍能比透明或反光物品更有效。该系统还能够抓取杂乱堆积的物体。