感知当前状态
识别环境变化、遮挡与关键任务信息缺口,决定是否需要新的视角或观测。
现有 VLA 策略往往在理想视角和适合的操作位姿下表现较好,但真实部署时,初始位置、遮挡、距离与任务状态会偏离训练条件。SERA 把这类“部署不匹配”作为独立问题,研究如何由智能体主动找到让现有策略能够工作的条件。
SERA 将机器人初始部署条件视为需要主动推理的变量。智能体通过观察环境、评估候选位置与执行就绪度,让冻结的 VLA 在更合适的位置完成任务;失败后再观察、再部署。
识别环境变化、遮挡与关键任务信息缺口,决定是否需要新的视角或观测。
围绕可见性、可达性、交互距离和执行就绪度,评估当前部署位置能否支持后续动作。
搜索和选择更合适的观测与操作位姿,将机器人调整到现有策略更可能成功的位置。
在部署条件满足要求后,调用冻结的 VLA 策略执行操作;核心研究不依赖重新训练这一策略。
由独立验证器判断任务是否完成;若失败,则带着新的观测与反馈重新进入自部署流程。
SERA 的目标不是证明训练不重要,而是探索如何降低机器人对初始视角、位置和人工调试的依赖。
直接在初始位置调用策略,环境与策略条件不匹配时缺少主动修正机制。
通过追加数据和训练改变策略能力,但不一定解决每次任务的现场部署条件搜索。
先搜索可行的观察与交互条件,再调用现有策略,最后独立验证并决定是否重试。
研究设计在 RoboCasa 仿真环境中,围绕多类室内操作任务,逐步增大机器人初始位姿偏移,对比固定位置直接执行和主动搜索部署条件两种设置。
阶段性研究记录涉及 24 类室内任务,并报告过在较大初始位姿偏移条件下,相对固定部署基线最高提高约 39 个百分点。此处仅作为研究阶段信息,正式指标、基线与统计方法请以最终审核论文为准。
SERA 当前聚焦“部署层自适应”,不等同于在线更新 VLA 权重,也不代表机器人已经具备任意环境中的完全自主部署能力。世界模型与 SERA 的进一步集成,以及更长期的 Agent 自我改进,是持续研究的方向。
NEXT / RESEARCH DIRECTION
将世界状态建模、SERA 的观察与行动闭环,以及数据、验证和策略更新衔接起来,是面向 Agent RSI 的下一步探索,而不是现阶段已完成的统一系统。