整集要实现什么
一条 episode 级任务指令,从任务表读取。官方集是 35 个任务、每个任务固定一句、各 100 集;不是逐集生成的动作描述。部分 cuRobo 任务通过颜色、顺序等参数产生不同指令。
这里的时长是 episode 时长,不是语言模型的规划周期。ROBODOJO + CUROBO / ANNOTATION ATLAS
用全量统计和真实轨迹,理解 L3 → L2 → L1 各自描述什么,以及它们之间并不严格嵌套的时间关系。
01 / THREE SCALES
一条 episode 级任务指令,从任务表读取。官方集是 35 个任务、每个任务固定一句、各 100 集;不是逐集生成的动作描述。部分 cuRobo 任务通过颜色、顺序等参数产生不同指令。
这里的时长是 episode 时长,不是语言模型的规划周期。整机共用一条连续时间线,将若干左右臂技能段组织成子目标。由 L1 段表进行纯文本归并生成,未独立观看视频,因此可能继承 L1 中的物体或阶段错误。
更接近子目标;不保证每段恰好是完整的“抓起—放下”。按臂分别切段,每段一个动词与一句描述。规则结合运动、夹爪事件切段,再用图像命名。它是可变时长的技能片段,不是固定 1.28 秒窗口,也不是单帧控制指令。
统计采用有动词、有文本且未被 mask_default 标记的段。中位数 [P10, P90],单位秒。L1 左右臂的段分别计数;L2 为整机时间线。不同来源的总统计按段数汇总,没有做来源均衡。
| 数据来源 | Episode | 有效 L1 | L1 时长 | L2 时长 | 整集时长 | L3 文本数 |
|---|
动词频次描述数据构成,不表示标注准确率。静止、过短等未送模型的段与 QC 屏蔽段不计入有效 L1。
02 / WATCH THE HIERARCHY
选择案例后播放视频;下方指令随时间切换。点击时间线或分段表可跳转。英文均为原始标注,未改写成“更合理”的版本。
头部视角 · 12.5 fps 展示,时间轴保持原速。视频来自真实数据,不是模型预测。
浅灰=无可用 L1 文本;斜线=QC mask_default。L1 与 L2 边界可能交叉。
| 臂 / 段号 | 时间 / 秒 | 动词 | 原始文本或空缺原因 |
|---|
03 / WHAT THIS MEANS FOR TRAINING
L3 约束整集目标,L2 提供当前子目标,L1 指出当前臂和动作阶段。训练模型遵循指令,不能把“短窗口没完成 L3”判为指令矛盾。
reach、transport、rotate 等段仍包含连续轨迹;插入、推动、拧螺丝的自然语义边界不一定对应夹爪事件。应避免把规则相容性 compat 直接当作文本正确性的标准。
L2 来自 L1 的文本归并,二者一致不能作为独立的质量证明。颜色、计数、字符、小物体与执行顺序尤其需要视频核实。
官方任务内 L3 固定,单靠它难以训练细粒度分支选择。颜色/顺序变体更适合检查语言条件,但不同 episode 的观察也可能变化,不能直接当作同观察反事实对照。
本页分析结构与粒度,不评定标注正确率。视频案例为有目的的说明性选择,不能代替随机质量抽检。
04 / REPRODUCIBILITY
全量统计覆盖 H800 OSS 中的官方 RoboDojo 和 5 棵 cuRobo 仿真树,共 6,053 集。L1 版本 v2_rd,L2 版本 l2_m1_v1;L3 来自 meta/tasks.parquet,并核对标注中的任务文本存在于任务表。
统计不包含 RoboDojo 真机集,也不包含此前抽查的新增约 2,200 小时数据。某些全程不活跃的臂没有 L1 段;已有分段的空文本通常对应 idle_open 或 short,并非 episode 缺失。
视频选择:官方六种任务各一例;cuRobo 涵盖全部五棵树,并展示倒取、顺序堆叠的两种语言变体。优先选第一个不超过 90 秒的 episode,否则选最短者。此选择不依据标注是否正确。
展示视频从 episode 起点读取,每隔 2 帧取样,480×360 编码。为避开已知末帧缺失,统一排除源 episode 最后一帧;完整标注仍保留到原始终点。curobo_flat_scene 存在上游删低运动帧的已知问题,其秒数按发布数据 25 Hz 索引计算,不保证等于真实连续墙钟时间。
完整统计及源文件 SHA256 · 案例原始文本、帧边界与视频定位
OSS 前缀:oss://stellaredge-sz/datasets_train/ · 数据格式依据该版本 README_FOR_TRAINING.md。仅公开所选轨迹与必要的来源元数据。