video: DexAnyTwist 在包含 10 类、300 多个物体的大型仿真数据集中训练灵巧手，并将学到的策略应用到真实世界中的瓶子、螺母、阀门、螺丝刀和灯泡等旋扭任务。 view more
Credit: ©《中国科学》杂志社
扭开瓶盖、转动阀门、拧入灯泡，对人类双手来说几乎是下意识的动作。但对灵巧手而言，这类看似简单的操作仍然十分困难。成功完成“旋扭”不仅需要手指稳定抓握，还要在合适的时机滑动、支撑并施加旋转力矩，同时适应物体尺寸、形状、摩擦和刚度的巨大差异。
华中科技大学等单位的研究团队开发了 DexAnyTwist，这是一种用于学习通用灵巧旋扭技能的新框架。相关研究发表于 National Science Review。该研究将扭动任务重新定义为一种混合操控系统问题：系统不再强迫单一神经网络策略用一种“平均化”的动作处理所有物体，而是识别不同的物理动力学模式，并为这些模式学习专门的专家策略。
研究团队构建了一个大型可旋扭物体库，用于强化学习训练。该数据集包含 10 类、300 多个物体实例，涵盖瓶子、螺母、旋钮开关、洗发水瓶、酒瓶、阀门、化妆品、螺丝刀和灯泡等常见对象，覆盖了日常生活和工业场景中的多种旋扭操作。
研究显示，通用旋扭的难点并不只是训练数据不足。随着物体种类增加，单一策略反而可能出现性能下降。原因在于，不同物体遵循不同的接触动力学规律：光滑瓶盖的旋扭可能主要依赖摩擦，而螺母或不规则工具则可能更多涉及几何约束和接触锁定。如果一个策略试图同时拟合这些彼此冲突的物理规律，就容易得到表现平庸的控制方式。
为解决这一问题，DexAnyTwist 提出了迭代式混合操控识别算法。该算法逐步将复杂操控任务划分为若干动力学一致的子系统。在每一阶段，系统识别出当前专家策略能够稳定处理的物体，将其从剩余困难样本中分离出来，再针对余下对象训练新的专家策略。最终，门控机制会根据物体和操作状态选择最合适的专家策略，实现自适应控制。
在仿真实验中，DexAnyTwist 在构建的数据集上取得了优于现有基线方法的性能。在全部测试物体上，该方法达到 90.4% 的成功率。在最困难的 30% 物体上，DexAnyTwist 的成功率达到 69.5%，而研究中最强基线方法为 51.0%。此外，在该困难子集上，DexAnyTwist 的连续成功次数也超过最接近竞争方法的两倍，说明其在长时程稳定控制方面具有明显优势。
该框架还展现出良好的泛化能力，并能零样本从仿真迁移到现实。研究团队将训练好的策略直接部署到真实灵巧手上，并测试了阀门、螺丝刀、螺母、灯泡等代表性物体。无需针对具体物体进行微调，DexAnyTwist 在真实实验中持续取得最高成功率，尤其在接触面狭窄或外形光滑脆弱的物体上表现突出。
更有趣的是，DexAnyTwist 还自发形成了可解释的操控模式。对指尖轨迹的分析显示，灵巧手的拇指主要负责产生旋转力矩，而食指和中指则更像支点一样稳定物体。这种分工与人类旋扭物体时的手指协同方式相似。频谱分析还表明，灵巧手多个关节形成了协调的节律性运动，说明策略学到的是结构化的运动基元，而不是零散的反应动作。
作者也指出，当前系统仍有局限。例如，灵巧手与物体之间的初始相对姿态仍需人工设定；此外，该框架尚未针对高力矩任务进行专门优化，因此在扭开紧密密封结构或摩擦系数大的物体时仍可能失败。未来研究可进一步引入自主初始化方法，并增强系统在高力矩场景中的操作能力。
通过将大规模强化学习与混合系统识别相结合，DexAnyTwist 为灵巧手学习通用、接触丰富的灵巧操作提供了一条可扩展路径。该研究表明，灵巧手未来不仅有望抓住各种物体，还可能真正学会在日常环境中对它们执行功能性操作。