AnnotateAnything: Automatic Annotation of 3D Assets for Robot Manipulation——面向机器人操作的3D资产自动标注

一、研究问题与动机

核心问题：原始3D资产（如CAD模型）仅包含几何和外观信息，缺乏机器人操作所需的语义、交互和物理知识。这导致仿真数据生成面临巨大瓶颈——不是缺少资产，而是无法自动将这些“被动”资产转化为带有可执行操作标签的“主动”资产。

四大挑战：

1. 语义层面（C1）：标注必须编码人类交互先验，使生成的轨迹自然、安全且易于成功。

2. 几何与物理基础（C2）：交互意图必须锚定在具体资产的几何和运动学特性上。

3. 多样性（C3）：标注应保留多种有效解决方案，而非坍缩为单一规范动作。

4. 可扩展性（C4）：流程必须自动化，无需人工设计，且能覆盖大量资产、类别和交互。

二、现有方法的不足

三、核心贡献：AnnotateAnything

3.1 总体定位

AnnotateAnything是一个通用的自动标注框架，能将原始3D资产转换为带有结构化、多样化且可执行操作标签的、可直接用于机器人学习的资产。

3.2 两大核心流程

流程一：视觉-语言标注流程（注入人类先验）

关键设计：房间级场景中，每个物体先独立以物体为中心标注，再通过实例标识转换回全局坐标系，实现跨层级一致性。

流程二：基于物理的动作标注流程（接地与验证）

该流程将视觉-语言先验转化为可执行动作，包含五个阶段：

text

候选目标生成 → 轨迹生成 → 轨迹优化 → 物理验证 → 物理感知增强

统一动作模式：将标注组织为分层候选库，核心数据结构为：

支持的技能覆盖：

支持的本体：平行夹爪、灵巧手、双臂系统、移动操作器、人形机器人

四、关键技术亮点

4.1 物理验证策略

采用双层验证体系：

鲁棒性测试：对抓取候选施加8个随机重力方向（1.5倍重力）和扰动，拒绝仅能在一个理想条件下成功的“脆弱”候选。

4.2 多样性保持机制

• 候选库架构：每个锚点-技能对存储多个候选（不同姿态、接近方向、接触配置）

• 物理感知增强：局部扰动 + 对称性感知增强（如绕瓶子对称轴旋转抓取）

• 跨技能、跨本体覆盖：18种原子技能，多种机器人形态

4.3 大规模并行化

• 基于CUDA加速的优化与验证（cuRobo-v2）

• 异步并行仿真环境，支持异构资产、任务、本体同时处理

• 最终产出：处理17,005个资产，生成1亿个经过物理验证的动作标注

五、下游应用

AnnotateAnything的标注可被转换为多种监督信号：

六、实验结论

消融实验关键发现：

• 仅几何采样：成功率58.4%，人类评分61.5

• 仅视觉-语言：成功率67.5%，人类评分70.2

• 无物理验证：标注通过率仅27.0%（但标注量虚高，执行成功率仅63.2%）

• 完整流程：成功率91.9%，人类评分85.6

七、局限性与未来方向

AnnotateAnything是一个将“死”的3D模型转化为“活”的机器人操作数据的自动化工厂——它通过VLM注入人类交互常识，通过物理仿真确保动作可执行，通过并行化实现规模化，最终产出可直接用于训练机器人策略的多样化、多技能、多本体的高质量标注。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

官方项目主页地址在这里，如下所示：

摘要

仿真技术能够实现可扩展的机器人数据采集，但原始的3D资产仅提供几何信息，缺乏指定机器人应在何处以及如何行动所需的语义、交互和物理知识。在本工作中，我们提出了AnnotateAnything，一个通用的自动标注框架，能将被动的3D资产转换为具备结构化、多样化且可执行操作标签的、可直接用于操作任务的资产。AnnotateAnything围绕两个互补的流程构建。首先，一个统一的视觉-语言标注流程，利用视觉-语言推理来推断物体语义、交互约束和3D基础线索，为识别有意义的交互区域提供人类先验指导。其次，一个完全自动化且大规模并行的物理标注流程，通过候选生成、几何优化和轨迹生成，将这些先验信息锚定在每个资产的几何形状和物理约束上。该流程能生成多样化且可执行的动作标签，包括抓取姿态、灵巧手接触、关节运动轨迹点、插入方向、悬挂可操作区域和导航目标。利用生成的标注，我们进一步构建了一个异步并行仿真数据采集系统，该系统覆盖多种物体、任务和机器人本体。实验证明，与现有的标注和数据生成流程相比，AnnotateAnything在标注效率、数据采集效率和任务成功率方面均表现优越，同时还能支持下游任务，如可操作区域检测、机器人VQA和视觉指令微调。我们在项目页面上提供了项目材料，并计划发布完整代码、标注和基准，以促进未来研究。视频、代码、演示资产和标注包含在补充材料中。

1 引言

训练通用机器人智能体需要跨物体、本体和任务的大规模和多样化机器人数据 [1-12]。仿真技术通过实现自动生成 [13-16] 提供了一种可扩展的替代方案，而最近的资产集合和仿真基准为这种数据生成提供了丰富的几何和视觉基础 [17-20]。然而，原始的3D资产通常仅编码形状和外观，缺乏机器人学习所需的语义、交互和物理知识，例如：在哪里抓取、哪些部件可以移动、物体如何关节运动、以及何处可以进行插入或悬挂操作是可行的。因此，关键瓶颈并非简单地获取更多资产，而是将被动的3D几何形状自动转换为具备可执行机器人交互标注的、可直接用于操作任务的资产。

为原始3D资产生成操作标注带来了四个关键挑战。在语义层面，标注必须编码人类交互先验，以便生成的轨迹自然、安全、并且很可能成功；自动标注必须融入人类先验推理和交互理解（C1）[21, 22]。这些先验必须锚定在每个资产的几何形状和运动学特性上，因为可行的动作取决于物理属性。抽象的交互意图必须转换为可执行的、资产特定的标签（C2）[23, 24]。除了正确性，标注还应保留跨交互策略的多种有效解决方案；多样化的可行标签不应坍缩为单一的规范解（C3）[25, 26]。在大规模应用时，该过程必须覆盖大量资产、类别和交互，同时保持几何精度和交互特异性；这需要自动化，而无需针对每个资产进行手动设计或针对特定任务进行工程化（C4）。

生成满足这些要求的标注仍然困难：现有方法通常依赖人工标注来获取语义或物理知识 [27, 26, 28, 29]，这成本高昂、劳动密集、难以扩展且多样性有限；而基于强化学习（RL）的替代方案减少了人工标注，但需要奖励工程、复杂训练和大量计算，并且可能产生与人类先验不一致的行为 [30, 31]。因此，我们提出了 AnnotateAnything，一个通用的自动标注框架，能将3D资产转换为带有可执行标签的、可直接用于操作的资产。AnnotateAnything 提供用于交互级推理的互补语言标注、用于3D理解的视觉标注，以及指定可执行操作参数（如抓取姿态、关节运动轨迹点和导航轨迹）的动作标注。

图 1：AnnotateAnything 概述，这是一个统一框架，能将原始3D资产转换为适用于四种资产类别的可直接用于操作的标注：刚性物体、关节物体、可变形物体和房间级导航场景。

为了应对这些挑战，AnnotateAnything 将 VLM 驱动的人类先验提取与物理基础标注相结合。它首先利用 VLM 来桥接高层语言推理和视觉基础：语言标注提供从物体语义到多粒度的描述，而视觉标注则将这些先验翻译为3D基础线索，如可操作区域、关键点和部件分割。这些标注共同定位有意义的交互区域，并指导下游动作标签的生成，从而将人类交互理解注入到自动标注中（应对 C1）。然后，我们通过基于几何的优化和资产特定的物理推理，将这些先验锚定在每个资产上。为了保持多样性，AnnotateAnything 在多个层级生成标注：在每个任务内部，它生成具有不同接触点、接近方向、方向和交互配置的可行候选；在任务之间，它覆盖抓取、灵巧操作、双臂交互、关节运动、折叠、悬挂和移动操作；并且跨本体，它支持平行夹爪、灵巧手、双臂系统、移动操作器和人形机器人（应对 C3）[32, 33]。最后，AnnotateAnything 通过一个完全并行的物理标注流程实现可扩展性，该流程涵盖候选生成、几何优化、标签选择、轨迹生成、物理验证和数据增强，无需针对每个资产进行手动设计或针对特定任务进行工程化。借助 CUDA 加速的优化和验证 [34]，该流程可跨资产和任务扩展，同时保持资产特定的准确性、交互可行性和执行成功率（应对 C4）。

表 1： 自动数据采集和标注生成方法比较。 ✓：明确支持或报告； ⊙：部分支持； ×：不支持或未报告。

基于生成的标注，我们建立了一个异步并行数据采集系统以实现高效的数据收集。除了数据收集，我们集成的视觉-语言-动作标注进一步支持下游应用，包括可操作区域和关键点检测 [35-37]、面向机器人的 VQA 和推理，以及用于多模态机器人模型的视觉指令微调。实验表明，AnnotateAnything 在标注效率、数据采集效率和任务成功率方面显著优于现有的标注或数据生成流程，证明了自动、多样化和资产特定的操作标注的实用价值。

总之，我们的贡献如下：

• 我们提出了 AnnotateAnything，一个通用的自动标注框架，能将被动的 3D 资产通过结构化、可操作且可执行的标注转换为可直接用于操作的资产。

• 我们设计了一个统一的视觉-语言-动作标注流程，集成了语言推理、3D 视觉基础和资产特定的动作标签生成，能够在不同物体、任务和机器人本体上实现可执行的操作规范。

• 我们开发了一个完全自动化且大规模并行的物理标注流程，涵盖候选生成、轨迹生成与优化、物理验证与增强。

• 我们展示了相较于现有方法在标注效率、数据采集效率和任务成功率方面的优越性，以及在多个下游任务中的实用性。

2 相关工作

用于机器人学习的自动数据采集。 自动机器人数据采集主要遵循基于标注的方法 [29, 27, 40] 或基于 RL 的方法 [31, 30, 41-44]。这些方法需要手动任务设计、奖励工程或昂贵的训练，而 AnnotateAnything 自动将原始 3D 资产转换为可重用的、技能可消费的标注，以实现可扩展的数据采集。

用于操作的自动标注。 先前的自动标注方法通常专注于特定任务的标签，如抓取、接触、可操作区域或轨迹点，限制了它们的规模、物体多样性、本体覆盖范围或任务通用性 [25, 38, 41, 42, 45-47, 44]。AnnotateAnything 统一了跨抓取、灵巧/双臂操作、关节运动、插入和悬挂等多样化的、技能可消费的标签；更多相关工作在附录 I 中讨论。

3 方法

AnnotateAnything 接收一个原始 3D 资产（从单个物体到整个房间），并将其转换为具有分层语言、视觉和动作标注的、可直接用于操作的资产。首先，AnnotateAnything 涉及一个视觉-语言标注流程，以注入人类交互先验并将其锚定到资产级和场景级标注中（第 3.1 节）。其次，一个基于物理的动作标注流程将这些线索转换为用于刚性、关节、可变形、服装和房间级交互的可执行标注（第 3.2 节），使用统一动作模式、生成-验证流程和特定于基本操作的实例化。

3.1 分层视觉-语言标注流程

3.1.1 分层语言标注

资产级语言标注。 对于每个物体资产，我们将多视角 RGB 观测输入 Qwen3-VL [48]，以生成三个层次的描述：一个语义短语、一个功能性句子和一个部件感知段落。这些标注总结了物体身份、可操作部件和可行的交互，作为视觉基础和动作生成的先验信息。

图 2：分层视觉-语言标注流程。 AnnotateAnything 生成资产级语言和视觉标注，包括描述、关键点、部件分割和可操作区域，并将它们组合成房间级标注。

房间级语言标注。 给定选定的房间视图和一个标注的俯视占用地图，我们查询 Qwen3.5-VL [48] 以生成三个层次的房间描述：一个布局摘要、一个家具和区域描述，以及密集的场景上下文。它们捕捉物体关系、可导航区域和与任务相关的交互区域，补充了资产级标注。

3.1.2 分层视觉标注

资产级视觉标注。 对于每个物体资产，我们重建一个融合的 RGB-D 点云，并通过 VLM 对 FPS 候选点进行选择来标注语义关键点。我们还通过 Hunyuan3D 风格的原生 3D 分解方法（结合 P3-SAM [49] 和 X-Part [50]）获得部件掩码，从而为基于物理的动作标注提供 3D 锚点和部件区域。

房间级视觉标注。 对于每个房间级场景，我们从模拟的 LiDAR 和射线投射观测构建多高度占用地图，并通过过滤掉可移动物体推导出平面图和墙壁结构标注。这些视觉标注为导航、探索和场景级动作标注提供全局几何上下文。

跨层级组合与一致性 对于每个房间级场景，我们隔离物体实例，使用以物体为中心的标注独立标注每个资产，然后使用场景实例标识将这些标注转换回全局坐标系。得到的表示将每个房间物体与其语义、视觉和动作相关标注关联起来，并通过共享标识符与房间级标注和描述对齐。

3.2 基于物理的动作标注流程

基于物理的动作标注流程将交互先验锚定在机器人本体和物理可行性上，将它们转换为结构化、可执行且经过验证的动作标签。它由候选目标生成、轨迹生成、轨迹优化、物理验证和物理感知增强组成，生成的、可直接用于操作的资产带有多种标签，如抓取姿态、灵巧手接触、关节运动轨迹点、插入方向、悬挂姿态、可变形物体轨迹和导航目标。

3.2.1 统一动作标注模式

我们的动作模式在保持功能一致性的同时保留了动作多样性。我们不是为每个物体或部件分配一个规范动作，而是将标注组织成一个建立在视觉标注之上的分层候选库。给定一个资产 A，视觉标注阶段提供基于的交互锚点

该模式将动作标注定义为从基础锚点到功能条件可执行候选的一对多映射。由于每个 Bh,sBh,s​ 存储了跨姿态、接触、方向和轨迹的多个验证候选，AnnotateAnything 为下游模块提供了多样化的、物理上可行且功能上有意义的标签，而不是单一的启发式标注。

3.2.2 通用基于物理的动作生成流程

候选目标生成。 给定一个技能类型 ss，我们使用语言和视觉基础来定位技能兼容区域 Cs​（对于以物体为中心的技能），以及使用导航网格（对于房间级导航）。例如，功能性抓取选择与任务相关的抓取区域，关节运动选择把手或可移动部件，导航在目标物体周围的导航网格上采样可到达区域。然后，我们通过在物体或导航网格上进行 FPS 从 Cs​ 中采样具体目标，实例化诸如接触点、关节把手点和交互就绪基座姿态等目标。采样的目标在用于填充候选库之前，会通过几何和本体约束进行过滤，包括曲率、可见性、碰撞裕度、可达性和可通过性。

4 下游任务

AnnotateAnything 将被动的3D资产转换为可重用的视觉-语言-动作标注，用于机器人学习。如图5所示，我们研究两个下游用途：使用可执行动作标注进行大规模仿真数据采集，以及将相同的标注转换为用于可操作区域和关键点检测、机器人推理 VQA 和 3D VLM 指令微调的监督信号。

图 4：代表性原子技能：** 涵盖桌面、双臂、全身、灵巧和移动操作。

4.1 大规模机器人数据采集

我们使用生成的动作标注作为可执行接口，用于大规模基于仿真的机器人数据采集。尽管该系统并非本文的核心贡献，但我们将其包含在内以证明 AnnotateAnything 标注可直接用于下游数据采集流程。

原子技能接口。 我们构建了一个与我们的标注格式一致的原子技能库，其中技能消费动作参数，如抓取姿态、目标部件、轨迹点、插入方向、悬挂锚点和导航目标。该库支持桌面操作、双臂操作、全身控制、人形机器人、灵巧手和移动操作，并可以将原子技能组合成长期任务。

并行推出生成。 我们运行异构并行仿真环境，每个环境独立采样资产、任务、物体姿态和场景布局。对于每次推出，使用异步 cuRobo-v2 规划来实现目标到达和避障 [34, 51]，并对姿态、光照、材质、相机和场景配置进行域随机化。

轨迹验证。 对于每个随机化场景，我们从标注库中检索候选，求解目标集 IK，并选择具有最低规划成本的可行解。我们还会移除在仿真验证中反复失败的动作候选，确保保留的标注在各种机器人-物体配置下仍然可执行。

4.2 从标注衍生的下游应用

图 5：AnnotateAnything 支持的下游应用。** 相同的视觉-语言-动作标注可以转换为用于可操作区域和关键点检测、机器人推理 VQA 和 3D VLM 指令微调的监督信号。

关键点生成与可操作区域基础。 我们重用视觉标注作为关键点监督，并使用经过物理验证的动作标注作为可操作区域监督。视觉标签提供 VLM 选择的 3D 功能锚点，而动作标签提供可执行线索，如抓取方向、关节运动轨迹、服装拾取-放置点和基于导航网格的交互区域。这些标签可以投影到图像或点云上，用于以机器人为中心的感知训练。[52-54, 8, 10, 55]

机器人推理 VQA。 机器人推理 VQA 作为仿真推出的副产品生成。在执行过程中，我们记录基础标签，如选中的物体、部件锚点、IK 目标集解、接近侧。因为这些标签取决于运行时机器人-物体姿态和从标注库中选择的候选，它们提供了无法仅从静态资产中推导的执行级 QA 监督。[56-58]

3D VLM 指令微调数据 AnnotateAnything 可以被重新用于为 3D VLM 生成轻量级指令微调数据。仿真资产和推出提供密集的基础标签，包括 3D 框、投影的 2D 框和部件分割，而语言标注和跨层级组合提供物体关系、房间布局和任务上下文。这些信号共同产生用于 3D 空间推理、物体定位和场景级 QA 的基础风格指令-响应对，作为下游演示而非完整的 3D VLM 基准。

5 实验

5.1 实验设置

评估范围。 我们将 AnnotateAnything 评估为一个自动标注流程，用于将异构的原始3D资产转换为用于机器人操作的高质量语言、视觉和动作标注。我们并非将其视为一个数据集发布或一个独立的数据生成系统，而是从四个方面评估标注质量：规模和转换、视觉-语言和视觉标注质量、基于物理的可执行性以及下游推出的实用性。

审核评估套件。 所有质量和成功率结果均在一个从更大的异构资产池中采样的审核评估套件上报告。该资产池涵盖多种资产来源和资产类型，包括刚性物体、关节物体、可变形或服装资产以及房间级场景。由于我们的目标是标注转换而非策划的资产发布，我们在附录中分别报告来源

和规模统计数据，而通过率、成功率和人类评分则在审核套件上计算。该套件根据有效的资产-技能对进行分层，涵盖抓取、灵巧抓取、双臂抓取、双臂灵巧抓取、关节运动、插入、悬挂、可变形操作以及导航或接近目标生成。

5.2 异构资产的标注覆盖率

我们首先评估来自不同来源的原始资产是否能够转换为可直接用于操作的标注库。如图6所示，我们处理了来自9个来源家族的17,005个资产，涵盖刚性物体、关节物体、可变形或服装资产以及房间级场景。AnnotateAnything 为18种原子技能生成了1亿个经过物理验证的动作标注，如图7所示分组。在审核评估套件上，该流程为每个尝试的资产-技能对平均生成2,315个候选；其中615个通过物理验证，538个保留在最终标注库中，对应的物理验证通过率为 26.6%，保留候选率为 23.2%。表3报告了宏观平均通过率、就绪率、执行成功率和标注吞吐量。

图 6：异构资产的标注覆盖率。** 精简覆盖率统计数据：(A) 按资产类型和来源家族分组的已处理资产池，(B) 按技能家族分组的物理验证结果，以及 (C) 候选到标注的转换，显示生成的候选如何被过滤为可行的、经过物理验证的和保留的动作标注。

5.3 视觉-语言标注质量

视觉-语言阶段为物理标注提供语义和空间先验。我们在审核套件的一个手动标注子集上对其进行评估 [59-62]，该子集包含语言描述、功能部件、关键点、可操作区域和场景级空间线索的参考标准。我们使用人类评分（0-100分制，报告为均值 ± 标准误）来评估完整的视觉-语言捆绑包，并与三个变体进行比较：直接 VLM、仅可操作区域 + 启发式、以及无3D精细化。我们还使用基于统一评估协议从相应标注源 [60, 62, 61] 推导的参考标准，计算生成的部件、可操作区域和关键点标注的聚合匹配分数。

表 2： 审核评估套件上的视觉-语言和视觉标注质量。左侧块报告完整视觉-语言标注捆绑包的人类评分（均值 ± 标准误）。右侧块报告在统一评估协议下生成的部件、可操作区域和关键点标注的聚合匹配分数。

表2显示完整流程实现了最佳的捆绑包级质量。直接 VLM 在语义上具有竞争力，但在3D基础和可操作性方面较弱；仅可操作区域+启发式方法改善了可操作区域定位，但缺乏可靠的部件和关键点基础；移除3D精细化削弱了所有三种视觉标注类型。这些结果表明，语言推理和显式3D基础对于为基于物理的动作标注生成可靠的先验都是必需的。

5.4 基于物理的动作标注质量

物理阶段将基于的视觉-语言先验转换为可执行的动作库。对于每个有效的资产-技能对，它生成候选，应用几何和本体约束，优化姿态或轨迹，并在仿真中验证结果。表3报告了跨图7中原子技能的动作标注质量和基于标注的推出收集情况。每个就绪资产-技能对的接受标注数和详细验证标准在附录中提供。

完整流程在所有评估技能上都生成了经过验证的标注，并实现了最强的宏观级质量。消融实验表明，仅几何采样缺乏语义精度，仅视觉-语言标注缺乏物理可执行性，而移除物理验证会降低执行和推出的可靠性。推出结果进一步表明，经过物理验证的标注库在数据成功率和收集效率方面均优于无标注和仅视觉-语言变体。

表 3： 审核评估套件上的基于物理的动作标注质量和基于标注的推出收集。上表：完整流程的原子技能结果；下表：宏观平均基线和消融实验。人类评分为 0-100 分制的均值 ± 标准误。

5.5 真实世界实验

作为轻量级的真实世界合理性检查，我们仅使用带有域随机化的、基于标注的仿真推出训练策略，并在代表性真实世界任务上进行零样本评估。

表 4： 从基于标注的仿真推出训练的策略的零样本真实世界迁移。

6 结论

我们提出了 AnnotateAnything，一个用于自动将原始3D资产转换为可直接用于操作的标注的统一框架。通过将 VLM 驱动的人类先验推理与基于物理的优化和可扩展的并行验证相结合，AnnotateAnything 能够跨物体、任务和机器人本体生成多样化、可执行且资产特定的标签。