基于学习的机器人软手指本体感知的设计与应用
在机器人学研究中，交互感知有着十分重要的地位。人类或机器人的触摸等交互行为决定着机器人硬件的物理实现、背后的算法逻辑和涉及的人的因素之间的关系，所有这些都在一组特定的环境场景中共同完成指定任务。相比于人类的皮肤有着多个维度的感官细节，对于机器人来说，交互传感仍然是一个挑战。在我加入仿生设计与学习实验室前，宋超阳助理教授和其他研究人员开发了基于学习的基准测试系统DeepClaw，涉及一系列硬件和软件，以快速有效地集成机器人系统进行操作学习，并通过实验评估结果进行系统研发。宋超阳助理教授还发明了一种新颖的全方位自适应软结构。基于DeepClaw系统和新的软结构，他们重点从学习效率、抓取器设计、手指表面优化等方面对抓取学习问题的全方位适应性进行定性和定量分析。我在加入实验室后，研究基于学习的机器人软手指触觉感知的设计与应用，开发软体手指的本体感知方法来估计机器人末端交互。以下是我们开发的两种分别使用光纤和视觉的传感方法。
基于光纤的力和触觉传感
为了估计软硬交互过程中机器人软手指的力和触觉位置，我们提出了一种基于光纤的传感方法。2021年，我们在国际知名机器人期刊IEEE Robotics and Automation Letters上发表了一篇论文[1]，并在2021 IEEE 国际机器人与自动化会议（ICRA2021）上进行了报告。我们提出了一个机器人软手指的光电传感增强设计，并设计集成了三个手指的抓手实现抓取和学习，准确估计了力和接触位置。不过，虽然光纤阵列能够提供高精度的触觉传感，但该设计不能提供覆盖整个手指足够丰富的精细输出；此外，光纤元件对于集成方案来说太大了，所涉及到的电子产品的防水设计既不美观，也不实用。因此，我们转向了基于视觉的传感方案。
从陆地到水下的视觉本体感知
基于视觉的感知方法是另一种实现全向自适应机器人软手指的本体感知学习的方法。我们在国际知名机器人会议2021 Conference on Robot Learning（CoRL2021）的会议论文[2]中提出了初代设计方案。我们提出了两种可以初步实现功能的方式，一个使用固定在手指内的基准二维码，而另一个则没有；这两种方式的微型相机都设置在手指的底部，用来捕捉软手指全方位变形的视觉特征。我们构建了神经网络，以高帧率和高精度估计软手指受接触变形期间的力和扭矩，与六维力-力矩传感器相媲美。该方案能够有效地将任何刚性夹爪末端替换为具有自适应触觉能力的软手指，为抓取非结构化几何体对象做好准备。在这项工作之后，我们又向不同的期刊和会议提交了多篇论文，展示其在机器人学习中的潜力。
我们向机器人领域顶级期刊International Journal of Robotics Research提交了一篇期刊文章[3]，将机器人软手指描述为一个软体多面网络，具有嵌入视觉的物理交互，能够通过学习动力学特征自适应动觉和粘弹性本体感觉。这种设计使被动适应全方位的互动，视觉捕捉到一个微型高速运动跟踪系统内置本体感觉学习。结果表明，该软体网络能够实时推断动态交互作用下的六维力和力矩，精度分别为0.25/0.24/0.35 N和0.025/0.034/0.006 Nm。在静态适应过程中，我们还通过添加蠕变和松弛修改器来改进预测结果，从而将粘弹性纳入本体感觉。所提出的软网络结合了设计简单、全方位适应和高精度的本体感知，使其成为一种低成本的多功能机器人解决方案，在敏感和竞争性抓取以及基于触摸的几何重建等任务中具有100多万个使用周期。该研究为基于视觉的软机器人本体感知在自适应抓取、软操作和人机交互中的应用提供了新的思路。
我们向国际著名期刊Advanced Intelligent Systems提交了一篇期刊文章[4]并被接收。该研究使用有监督的变分自动编码器（SVAE）估计六维力和力矩（FT），使基于视觉传感的机器人软手指具有了从陆地到水下的抓取能力可转移性。在机器人软手指与陆地或水下物理对象进行交互时，一个高帧速率相机捕捉整个手指的变形。结果表明，训练后的SVAE学习了从陆地到水下软手指力学性质的一系列潜在表达，相比于商用FT传感器，对变化的环境具有良好的适应性。通过触觉智能实现的柔性、精细、自适应抓取增强了机械手的水下交互能力，提高了可靠性和鲁棒性，大大降低了成本，为基于学习的智能抓取铺平了道路，支持环境和海洋研究的基础科学发现。
我们在仿生学领域知名期刊Biomimetics上提交了一篇论文，介绍了一种受人类手指启发的新的软手指设计，该设计将内部视觉和运动信息相结合以估计物体姿态。软手指具有灵活的骨骼和皮肤，能够适应不同的物体，交互过程中的骨骼变形为内部摄像机提供了接触信息。深度学习框架是一种端到端的方法，由一个用于处理运动信息的编码器和一个用于估计物体姿态和类别的估计器组成，使用来自软手指的原始图像来估计机械手中物体的姿态。该框架在7个物体上进行了测试，位姿误差为2.02 mm和11.34°，分类误差为99.05%。
我们向2024 IEEE International Conference on Robotics and Automation（ICRA2024）提交了一篇会议论文，提出了一种基于视觉的具有形状和触觉估计能力的软手指。手指设计继承并改进了Fin Ray Effect，增强了交互过程中弯曲、扭曲和包络的适应性。我们开发了基于视觉的本体感知方法来估计形状变形和触摸位置。形状估计方法基于约束几何优化，将二维码姿态近似为共聚复合手柄（AMH），以驱动软手指网格的变形。我们还提出了一种数据驱动的学习模型，利用二维码的姿态数据估计触摸位置，在x、y、z方向上R2分别为0.9657、0.9464、0.9406，取得了可靠的结果。另一个动态触摸路径检测任务也表明了该方法的鲁棒性。该软手指优越的本体感觉能力是精确和灵巧的机器人操作任务的理想选择。
目前，我们正在撰写另一篇期刊论文。软机器人的控制依赖于对具有无限自由度的复杂软变形的精确状态估计。与外感知的状态估计方法相比，本体感知方法利用光纤、应变传感器等嵌入式传感器重建三维物体的形状。由于传感器和精密的软体通常是不可分割地集成在一起的，因此它们具有更高的鲁棒性和对环境变化的可传递性，但制造复杂，耐久性差。如何兼顾这两方面的好处仍然是一个挑战。提出了一种基于单指单目相机的全自适应软手指实时状态估计方法。传感器化手指的模块化设计是可共享的，由于传感器摄像头是可拆卸和可重复使用的，因此易于制造和可持续发展。提出了一种软手指的体积离散化建模方法，并利用摄像机捕捉到的几何约束来寻找变形形状的最优估计。该方法的基准是一个运动跟踪系统与稀疏标记和触觉设备密集测量。两个结果都显示了最先进的精度。更重要的是，状态估计在陆地和水下环境中都是鲁棒的，因为我们展示了它在水下物体形状感知中的应用。
[1] Linhan Yang, Xudong Han, Weijie Guo, Fang Wan, Jia Pan, and Chaoyang Song* (2021). “Learning-based Optoelectronically Innervated Tactile Finger for Rigid- Soft Interactive Grasping.” IEEE Robotics and Automation Letters, 6(2):3817-3824.
[2] Fang Wan, Xiaobo Liu, Ning Guo, Xudong Han, Feng Tian, and Chaoyang Song*. “Visual Learning Towards Soft Robot Force Control using a 3D Metamaterial with Differential Stiffness.” The 5th Conference on Robot Learning (CoRL). London, UK, on 8-11 November 2021. PMLR 164:1269-1278.
[3] Xiaobo Liu#, Xudong Han#, Wei Hong, Fang Wan*, and Chaoyang Song*. “Proprioceptive Learning with Soft Polyhedral Networks.” The International Journal of Robotics Research. (Under Review)
[4] Ning Guo, Xudong Han, Xiaobo Liu, Shuqiao Zhong, Zhiyuan Zhou, Jian Lin, Jiansheng Dai, Fang Wan*, and Chaoyang Song*. “Autoencoding a Soft Touch to Learn Grasping from On-land to Underwater.” Advanced Intelligent Systems. (Accepted)