想象一下，一个像黏泥一样的机器人，可以无缝改变形状挤过狭窄的空间，比如部署在人体内以取出不想要的东西。这样的机器人在实验室外还不存在，因此研究人员致力于开发可重新配置的软机器人，以用于医疗保健、可穿戴设备和工业系统。但是，如何才能控制一个柔软的机器人呢？它没有可以操纵的关节、四肢或手指，而是可以随意改变自己的整个形状。
（图片来源：arxiv.org）
据外媒报道，麻省理工学院（MIT）等机构的研究人员开发出一种控制算法，可以自主学习如何移动、拉伸和塑造可重构机器人来完成特定任务，即使该任务需要机器人多次改变其形态。该团队还创建了一个模拟器，用于测试可变形软机器人的控制算法，以应对一系列具有挑战性的、可改变形状的任务。这项研究的相关论文发表在arXiv预印本服务器上。
这种方法分别完成了研究人员所评估的八项任务，并且表现优于其他算法。该技术在处理多方面任务时尤其有效。例如，在一项测试中，机器人必须降低身高，同时长出两条小腿来挤过一个狭窄的管道，然后停止增长这些小腿，并伸长躯干来打开管道的盖子。
目前，可重构软机器人仍处于起步阶段。但是，这种技术未来有望使机器人能够调整自己的形状来完成不同的任务。电子工程和计算机科学系（EECS）研究生Boyuan Chen表示：“提到软机器人，人们往往会想到有弹性的机器人，它们能够恢复到原来的形状。我们的机器人就像黏泥，实际上可以改变它的形态。我们正在处理一些非常新的东西，因此这种方法非常有效，令人吃惊。”
（图片来源：arxiv.org）
控制动态运动
研究人员经常使用一种名为强化学习的机器学习方法来教机器人完成任务，这是一个反复试验的过程。在这个过程中，机器人会因其靠近目标的动作而获得奖励。当机器人的运动部件一致且定义明确时，比如有三个手指的抓手，这是有效的。对于机械手而言，强化学习算法可能会轻微移动一根手指，通过反复试验来学习这种运动是否会给它带来奖励。然后，它会移至下一个手指，以此类推。但由磁场控制的变形机器人可以动态地挤压、弯曲或拉长它们的整个身体。Chen表示：“这样的机器人可能有成千上万的小块肌肉需要控制，所以很难用传统的方式进行学习。”
为了解决这个问题，研究人员不得不改变思考方式。他们探讨的强化学习算法不是单独移动每一块微小的肌肉，而是从学习控制一起工作的相邻肌肉群开始。然后，在通过关注肌肉群来探索可能的动作空间后，算法会深入到更精细的细节中，以优化它所学到的策略或行动计划。这样，控制算法遵循从粗到精的方法。这项研究的资深作者、麻省理工学院EECS助理教授Vincent Sitzmann表示：“从粗到精，意味着当你做一个随机动作时，这个随机动作可能会产生影响。这可能出现非常明显的结果变化，因为你同时粗略地控制了几块肌肉。”
为了实现这一点，该团队将机器人的行为空间，即其如何在某个区域移动，视为一个图像。这种机器学习模型使用机器人的环境图像来生成2D动作空间，其中包括机器人及其周围区域。研究人员使用所谓的材质点法来模拟机器人的运动，其中动作空间被点（如图像像素）覆盖，并覆有网格。
如同图像中相近的像素相互关联一样（就像照片中形成树的像素），研究人员创建了自己的算法，以探讨附近的行动点具有更强的相关性。当机器人改变形状时，它“肩膀”周围的点也会出现类似的移动，而机器人“腿”上的点也会类似地移动，但移动方式与“肩膀”上的点不同。
此外，研究人员使用相同的机器学习模型来观察环境并预测机器人应该采取的行动，这使其效率更高。
（图片来源：arxiv.org）
构建模拟器
在开发了这种方法后，研究人员需要一种方法来进行测试，所以创建了名为DittoGym的模拟环境。DittoGym具有八项任务，可以评估可重构机器人动态改变形状的能力。其中之一是，机器人必须拉长和弯曲身体，这样才能绕过障碍物到达目标点。在另一种情况下，它必须改变形状，以模仿字母表中的字母。
这项研究的主要作者、清华大学本科生Suning Huang表示：“DittoGym中选择的任务既遵循了一般的强化学习基准设计原则，也遵循了可重构机器人的特定需求。每个任务设计均代表我们认为重要的某些属性，例如通过长期探索进行导航的能力、分析环境的能力，以及与外部对象互动的能力。研究人员认为，它们结合在一起可以让用户全面了解可重构机器人的灵活性，以及我们强化学习方案的有效性。”
这种算法优于基线法，是唯一适合完成需要多次改变形状的多阶段任务的技术。Chen表示：“我们在彼此更接近的行动点之间有更强的相关性，我认为这是该项目取得成功的关键。”
在现实世界中部署变形机器人可能还需要很多长时间，但Chen及合作人员希望，这项工作可以促进其他研究人员探讨可重构软机器人，以及考虑利用2D动作空间来解决其他复杂的控制问题。
