96台机器人共同进化，成功率反超人类，清华、智元机器人、无问芯穹联合提出“集体经验学习” - 扑克赛事规则

清华大学、智元机器人与无问芯穹联合团队提出了一种名为“集体经验学习（CEL）”的方法，旨在解决机器人在真实世界中执行任务时如何有效利用累积经验的难题。传统方式依赖人工远程监控和纠正，但随着机器人集群规模扩大，这种人工干预模式难以持续满足需求。

CEL 的核心是实现已部署机器人之间的经验共享，使它们能够共同改进同一策略。其算法实现是“失败引导的经验检索微调（FERT）”：当机器人执行失败时，系统会利用失败时的上下文，从整个集群共享的成功经验中检索相关轨迹片段，并将这些片段中的动作作为监督信号来更新策略。这一过程无需额外收集专家示范或人工纠正，人类只需为每次执行标注成功或失败并重置环境，所有动作由机器人自主提供。

为了支持大规模集群的持续学习，团队还构建了“容错异步训练系统（FATS）”。该系统确保即使个别机器人因故障、重置或维护而中断，经验采集、策略优化与策略分发仍能持续进行。

在手机包装、插花、叠衣服等五项真实世界操作任务中，研究团队每项任务进行了 120 次试验，参与评估的机器人均未参与训练数据采集。最终策略的成功率达到 93.3% 至 99.2%。在固定每台机器人采集时长、仅增加机器人数量的情况下，集群越大、经验越多，FERT 的成绩也总体越好。以多阶段手机包装任务为例，使用 96 台机器人进行学习后，任务成功率从 79.2% 提升至 98.3%。

这些结果表明，集体经验可以成为一种可行的可扩展机器人学习基础：随着部署规模扩大，经验供给同步增长，而无需专家监督随之同比例扩张。这为机器人在部署过程中持续提高策略可靠性提供了一条路径。

在研究方法上，CEL 的算法与系统实现分别是 FERT 和 FATS。FERT 的核心思想是“成功提供模仿对象，失败决定学什么”，具体流程包括异步经验采集、经验编码、失败引导检索和优先级微调。FATS 则采用双平面架构，包括数据平面 SwarmLink 和控制平面 HotSwarm，以解决交互与经验时序要求不同以及实体机器人随时可能中断的问题。

实验结果显示，在五项任务的最大集群规模下，FERT 在不使用任何额外专家数据的情况下，将平均成功率提升至 97.3%，平均失败率相对降低 86.0%。FERT 在全部五项任务上超过人类遥操作，平均高出 16.7 个百分点，并全面领先两个基线。固定单台机器人采集时间、仅增加机器人数量时，FERT 的成功率在五项任务上总体持续上升。消融实验验证了各设计选择的作用，其中移除失败引导检索后成功率下降最多，达 22.5 个百分点。

在系统层面上，96 台机器人在近 8 小时运行中共采集 9,834 个回合，期间 30 起故障仅造成 1.3% 的机器人时间损失。研究团队也指出，评估限于单一平台（AgiBot G2）上的五个任务专属策略，更广泛的任务分布、异构机器人平台以及更长运行周期中适应环境变化，都留待后续工作关注。

整体来看，CEL 带来了一种新的部署逻辑。机器人集群贡献的不仅是任务执行，还有可供整个集群学习改进的经验。通过一个共享策略，单台机器人的经验可以转化为整个集群的能力。随着部署规模扩大，经验来源同步增长，机器人越多，不仅产能越大，更能越学越好，且不受专家监督供给的制约。更多技术细节，详见原论文。

本文来自微信公众号“学术头条”（ID：SciTouTiao），作者：张佳怡，36氪经授权发布。