ROBODOJO + CUROBO / ANNOTATION ATLAS

从任务目标
到每条臂的动作

用全量统计和真实轨迹,理解 L3 → L2 → L1 各自描述什么,以及它们之间并不严格嵌套的时间关系。

01 / THREE SCALES

三层不是三种长度的同一句话

L3 · TASK

整集要实现什么

一条 episode 级任务指令,从任务表读取。官方集是 35 个任务、每个任务固定一句、各 100 集;不是逐集生成的动作描述。部分 cuRobo 任务通过颜色、顺序等参数产生不同指令。

这里的时长是 episode 时长,不是语言模型的规划周期。
L2 · SUBTASK

当前在完成哪个子任务

整机共用一条连续时间线,将若干左右臂技能段组织成子目标。由 L1 段表进行纯文本归并生成,未独立观看视频,因此可能继承 L1 中的物体或阶段错误。

更接近子目标;不保证每段恰好是完整的“抓起—放下”。
L1 · ARM SKILL

某条臂正在做什么

按臂分别切段,每段一个动词与一句描述。规则结合运动、夹爪事件切段,再用图像命名。它是可变时长的技能片段,不是固定 1.28 秒窗口,也不是单帧控制指令。

统计采用有动词、有文本且未被 mask_default 标记的段。

各数据来源的实际时长分布

中位数 [P10, P90],单位秒。L1 左右臂的段分别计数;L2 为整机时间线。不同来源的总统计按段数汇总,没有做来源均衡。

数据来源Episode有效 L1L1 时长L2 时长整集时长L3 文本数

最常见的 L1 动词

动词频次描述数据构成,不表示标注准确率。静止、过短等未送模型的段与 QC 屏蔽段不计入有效 L1。

02 / WATCH THE HIERARCHY

看同一段视频,三层分别在说什么

选择案例后播放视频;下方指令随时间切换。点击时间线或分段表可跳转。英文均为原始标注,未改写成“更合理”的版本。

头部视角 · 12.5 fps 展示,时间轴保持原速。视频来自真实数据,不是模型预测。

0.00 s源数据 25 Hz

浅灰=无可用 L1 文本;斜线=QC mask_default。L1 与 L2 边界可能交叉。

整集采样帧六个时刻的头部观察采样帧

L2 分段与其关联的 L1

展开全部 L1 原始分段
臂 / 段号时间 / 秒动词原始文本或空缺原因

下载此例视频 · 下载所有案例标注与来源定位

03 / WHAT THIS MEANS FOR TRAINING

如何理解这些标注的训练价值

层级提供不同条件

L3 约束整集目标,L2 提供当前子目标,L1 指出当前臂和动作阶段。训练模型遵循指令,不能把“短窗口没完成 L3”判为指令矛盾。

“原子”是数据定义,不是不可再分

reach、transport、rotate 等段仍包含连续轨迹;插入、推动、拧螺丝的自然语义边界不一定对应夹爪事件。应避免把规则相容性 compat 直接当作文本正确性的标准。

L2 不是独立的第二份真值

L2 来自 L1 的文本归并,二者一致不能作为独立的质量证明。颜色、计数、字符、小物体与执行顺序尤其需要视频核实。

L3 的变化量因任务而异

官方任务内 L3 固定,单靠它难以训练细粒度分支选择。颜色/顺序变体更适合检查语言条件,但不同 episode 的观察也可能变化,不能直接当作同观察反事实对照。

本页分析结构与粒度,不评定标注正确率。视频案例为有目的的说明性选择,不能代替随机质量抽检。

04 / REPRODUCIBILITY

范围、来源与核验

全量统计覆盖 H800 OSS 中的官方 RoboDojo 和 5 棵 cuRobo 仿真树,共 6,053 集。L1 版本 v2_rd,L2 版本 l2_m1_v1;L3 来自 meta/tasks.parquet,并核对标注中的任务文本存在于任务表。

统计不包含 RoboDojo 真机集,也不包含此前抽查的新增约 2,200 小时数据。某些全程不活跃的臂没有 L1 段;已有分段的空文本通常对应 idle_open 或 short,并非 episode 缺失。

视频选择:官方六种任务各一例;cuRobo 涵盖全部五棵树,并展示倒取、顺序堆叠的两种语言变体。优先选第一个不超过 90 秒的 episode,否则选最短者。此选择不依据标注是否正确。

展示视频从 episode 起点读取,每隔 2 帧取样,480×360 编码。为避开已知末帧缺失,统一排除源 episode 最后一帧;完整标注仍保留到原始终点。curobo_flat_scene 存在上游删低运动帧的已知问题,其秒数按发布数据 25 Hz 索引计算,不保证等于真实连续墙钟时间。

完整统计及源文件 SHA256 · 案例原始文本、帧边界与视频定位

OSS 前缀:oss://stellaredge-sz/datasets_train/ · 数据格式依据该版本 README_FOR_TRAINING.md。仅公开所选轨迹与必要的来源元数据。