Isaac Sim 批量生成合成数据实践：无头运行、RGB 标注导出与 GPU 资源排查

使用 NVIDIA Isaac Sim 生成机器人视觉训练数据时，单次成功渲染与长时间稳定生成是两个不同的问题。前者关注场景能否启动、相机能否采集；后者还涉及数据完整性、显存占用、磁盘写入以及任务失败后的恢复。

尤其是在 Linux 云 GPU 环境中运行 Isaac Sim Replicator 时，建议先完成单相机、低分辨率、少量帧的最小任务，再逐步增加场景复杂度与采集数量。

本文基于 Isaac Sim 6.2.0 的官方 Replicator 示例，介绍如何完成 RGB 图像和二维边界框的生成，并整理批量任务的资源规划与排错方法。

一、Isaac Sim 合成数据生成的基本流程

Isaac Sim 是 NVIDIA 提供的机器人仿真平台，其中 Replicator 可以用于合成数据生成（Synthetic Data Generation，SDG），支持在仿真场景中获取图像及对应标注。

以机械臂抓取场景为例，完整的数据生成流程通常包括：

1. 加载机器人、目标物体和仿真场景。
2. 配置相机位置、分辨率与采集条件。
3. 为目标物体设置语义类别。
4. 使用 Replicator 输出 RGB 图像及标注。
5. 校验输出数据，转换为训练所需的数据集格式。

初次部署时，不建议直接加载复杂的机器人场景。可以先通过简单几何物体验证渲染与写入流程，再加入物理仿真、随机化和多相机采集。

需要特别注意：能够生成图像，不代表生成的数据就适合模型训练。

合成数据的价值不仅取决于数量，还取决于场景变化、标注质量及其与真实应用场景的匹配程度。

二、Isaac Sim 对 GPU 有哪些要求？

Isaac Sim 与普通的 CUDA 计算任务不同。它需要 GPU 提供相应的图形渲染能力，尤其是 RTX 渲染相关功能。

因此，选择 GPU 时不能只比较显存容量或 FP32 算力。

其中，NVIDIA L40S 配备 48GB GDDR6 ECC 显存，同时具有 RT Core 和 Tensor Core。

对于需要加载较多纹理、复杂资产或多个相机的任务，较大的显存容量有助于扩展可运行的工作负载，但并不意味着生成速度一定更快。

实际吞吐量还受场景复杂度、CPU、渲染设置和磁盘写入影响。

此外，L40S 不支持 NVLink，不能将多张显卡理解为能够自动合并显存。多卡运行需要结合软件支持情况进行任务分配。

云 GPU 环境需要额外检查什么？

使用云端 GPU 实例时，除了显卡型号，还需要核对实际分配的 CPU、系统内存、磁盘空间和驱动环境。

连接 Ubuntu 环境后，可以先执行：

cat /etc/os-release
nvidia-smi
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
nproc
free -h
df -h

这些命令可以分别确认操作系统、GPU 型号与驱动、CPU 数量、内存和磁盘容量。

不过，nvidia-smi 能识别 GPU，只代表驱动层面可以访问设备，并不能证明 Isaac Sim 已经具备完整的 RTX 渲染运行条件。

还需要通过实际启动和渲染测试确认。

三、运行 Isaac Sim Replicator 的最小示例

下面以 Isaac Sim 6.2.0 独立安装环境为例，验证 RGB 图像与二维边界框的输出。

示例环境：

• 操作系统：Ubuntu 24.04 x86_64
• Isaac Sim：6.2.0
• 启动方式：Headless 无头模式
• 相机分辨率：512×512
• 采集数量：100 次
• 输出内容：RGB 图像与二维边界框

不同版本的示例路径和 API 可能存在差异，建议优先使用当前安装版本自带的示例。

1. 检查安装目录

假设 Isaac Sim 安装在 $HOME/isaacsim：

export ISAAC_DIR="$HOME/isaacsim"

ls "$ISAAC_DIR/standalone_examples/api/isaacsim.replicator.examples/sdg_getting_started_01.py"

如果文件不存在，先确认安装目录和软件版本。

2. 修改为无头运行

官方示例默认以非无头模式启动。对于不需要交互窗口的批量采集任务，可以修改 SimulationApp 的启动参数。

为了保留原始示例，先复制一份：

cd "$ISAAC_DIR"

cp \
standalone_examples/api/isaacsim.replicator.examples/sdg_getting_started_01.py \
sdg_headless.py

修改启动参数：

python3 - <<'PY'
from pathlib import Path

path = Path("sdg_headless.py")
text = path.read_text()

old = 'SimulationApp(launch_config={"headless": False})'
new = 'SimulationApp(launch_config={"headless": True})'

if text.count(old) != 1:
    raise SystemExit("请检查示例中的启动配置")

text = text.replace(old, new, 1)

path.write_text(text)
PY

这里仅修改窗口显示模式，不改变官方示例的数据采集流程。

3. 执行 100 次采集

创建工作目录：

mkdir -p "$HOME/sdg-smoke"
cd "$HOME/sdg-smoke"

执行任务：

"$ISAAC_DIR/python.sh" \
  "$ISAAC_DIR/sdg_headless.py" \
  --num-captures 100 \
  > run.log 2>&1

echo $?

其中：

• python.sh 使用 Isaac Sim 自带的 Python 运行环境。
• --num-captures 100 指定采集次数。
• run.log 保存运行日志。
• echo $? 查看进程退出状态。

注意，示例中已经包含等待数据写入完成的逻辑，不需要再次重复调用 rep.orchestrator.wait_until_complete()。

如需增加显式的应用关闭操作，可以在确认原始脚本结构后，于主流程结束处调用 simulation_app.close()。

四、检查生成结果是否完整

官方示例默认将数据写入当前目录下的 _out_basic_writer。

运行结束后，可以执行：

tail -n 50 run.log

find _out_basic_writer -type f | head -n 20

du -sh _out_basic_writer

首先确认程序是否出现异常，再检查输出文件是否存在。

通常需要检查两类内容：

官方 BasicWriter 示例会生成图像及相应的标注数据，具体文件组织方式应以实际输出和当前版本文档为准。

为什么文件存在仍然不代表成功？

对于视觉训练任务，建议抽样检查以下内容：

图像质量： 是否出现黑图、过曝、目标消失或异常纹理。

标注质量： 边界框是否与物体对应，类别是否正确，是否存在异常空标注。

数据多样性： 连续帧是否高度重复，随机化是否实际生效。

数据完整性： 图像与标注能否按采集编号正确配对，有没有缺失文件。

如果计划将数据转换为 YOLO 等训练格式，还需要明确原始坐标定义与目标格式之间的转换规则。

不能直接将 Replicator 原始标注文件视为已适配所有训练框架。

五、批量生成数据时，如何避免任务中断造成损失？

当数据采集从 100 次扩展到数万次甚至更多时，建议采用分批执行的方式。

例如：

sdg-project/
├── config/
├── assets/
└── runs/
    ├── batch-0001/
    │   ├── run.log
    │   ├── metadata.json
    │   └── output/
    ├── batch-0002/
    │   ├── run.log
    │   ├── metadata.json
    │   └── output/
    └── batch-0003/
        ├── run.log
        ├── metadata.json
        └── output/

每个批次独立保存输出文件、运行日志与配置记录。

建议记录以下信息：

只有在批次正常结束且数据检查通过后，才将其标记为完成。

任务恢复时可以跳过已验收的批次，对失败批次重新执行。

需要明确，这种方案实现的是批次级恢复，而不是任意时间点的物理仿真状态恢复。

如果需要精确恢复机器人关节、刚体速度等中间状态，还必须设计独立的仿真状态保存方案。

六、为什么增加 GPU 数量后，生成速度不一定提高？

合成数据生成涉及场景加载、物理计算、图形渲染、标注生成和文件写入等多个阶段。

即使增加 GPU 数量，也不一定能获得线性加速。

常见瓶颈包括：

建议不要只用 GPU 利用率来衡量数据生成效率。

更有价值的指标是：

有效样本产率 =
通过质量检查的样本数量 / 总运行小时数

例如，一组配置生成了更多图像，但其中较多文件存在标注问题，最终可用样本产率可能反而更低。

进行资源测试时，建议从单相机开始，逐步增加分辨率、相机数量或场景复杂度。每次尽量只改变一个主要变量，便于分析瓶颈。

七、L40S 适合哪些 Isaac Sim 数据生成场景？

对于云端视觉仿真任务，GPU 选择需要结合实际工作负载。

L40S 的特点是具备 RTX 渲染能力、48GB 显存，以及适合数据中心部署的硬件形态。

以下场景可以考虑将 L40S 纳入测试范围：

1. 多相机合成数据采集： 需要同时管理多个渲染产品，单卡 24GB 显存可能不足。
2. 高复杂度机器人场景： 场景中包含较多资产、纹理、材质和光照配置。
3. 长时间批量生成： 希望在稳定环境中连续运行多个采集批次。
4. 仿真与训练分阶段处理： 使用 RTX GPU 生成数据，再将结果交给适合训练的 GPU 环境处理。

不过，48GB 显存只是资源容量条件之一，并不能保证任意场景都能稳定运行。

实际使用前，仍然需要确认 Isaac Sim 版本、驱动兼容性及实例的其他资源配额。

对于刚开始接触 Isaac Sim 的用户，建议先根据最小任务的显存峰值和采集速度，判断是否有必要使用更大显存的 GPU。

八、以算家云 L40S 实例为例，准备 Isaac Sim 云端运行环境

对于没有本地 RTX 工作站，或者需要阶段性执行大规模合成数据生成任务的用户，可以考虑使用云 GPU。

以算家云（suanjiayun.com）专业版提供的 NVIDIA L40S 48GB 实例为例，其硬件具备 RTX 渲染能力，可作为 Isaac Sim 云端部署的候选环境。需要注意，GPU 型号符合要求并不等于软件环境已通过兼容性验证。

创建实例后，建议按以下顺序检查：

1. GPU 与驱动： 通过 nvidia-smi 确认 L40S 已正确识别，并核对驱动是否满足当前 Isaac Sim 版本要求。
2. CPU 与内存： 检查实例实际分配资源，避免复杂场景加载时出现系统内存不足。
3. 磁盘容量： 为 Isaac Sim 安装文件、场景资产、缓存和合成数据预留空间。
4. 远程运行： 使用 SSH 执行无头任务，通过日志检查采集过程。
5. 输出验收： 确认 RGB 图像、二维边界框及批次记录完整保存。

算家云提供按量及包周期的 GPU 租用方式。对于尚未确定数据生成规模的项目，可以先通过短时间运行验证环境；任务规模和有效样本产率稳定后，再评估长期运行成本。

这里的重点不是单纯比较 GPU 租赁价格，而是验证一套环境能否持续完成 Isaac Sim 数据生成任务。

九、Isaac Sim 常见问题

1. Isaac Sim 在 Linux 云服务器上可以无头运行吗？

可以。Isaac Sim 支持 Headless 运行模式，不需要显示交互窗口，也可以执行具备相应渲染环境的数据采集任务。

但无头运行不代表不需要 RTX 渲染能力。

2. Isaac Sim 合成数据生成需要多大显存？

没有适用于所有场景的固定数值。显存需求与场景资产、材质、相机数量、分辨率及渲染配置有关。

可以从单相机、512×512 分辨率开始测试，再逐步提高资源需求。

3. A100 80GB 能否代替 L40S 进行 Isaac Sim 渲染？

不能仅根据显存容量判断。A100 缺少 RT Core，不属于 Isaac Sim 官方支持的 RTX 渲染 GPU。它可以用于适合自身计算能力的独立模型训练等任务，但不能直接视作本文渲染环境的替代品。

4. 为什么生成了大量图片，模型训练效果仍然不好？

可能是数据覆盖不足、场景变化有限、标注不准确，或者合成数据与真实部署环境之间存在差异。

应根据模型在真实验证集上的错误类型，补充针对性的场景，而不是简单增加采集次数。

5. 生成任务执行到一半中断怎么办？

如果没有保存运行状态，通常无法直接从任意物理仿真时间点恢复。

更容易实现的方式是将任务拆分为独立批次，并记录配置、随机种子与已完成批次，重新执行未验收的任务。

6. 哪里可以租用 L40S 运行 Isaac Sim？

如果需要在云端测试 Isaac Sim，可以关注提供 NVIDIA L40S 48GB 实例的 GPU 算力平台，例如算家云（suanjiayun.com）专业版。

L40S 具备 RTX 渲染能力，适合作为 Isaac Sim 合成数据生成的候选 GPU。但实际运行仍需满足对应版本的驱动、系统和渲染环境要求，建议先执行官方 Replicator 最小示例完成验证。

十、总结

Isaac Sim 批量生成合成数据时，建议按以下顺序推进：

最小环境验证 → 单相机数据采集 → 图像与标注校验 → 场景随机化 → 批次管理 → 资源扩展。

GPU 选择只是其中一个环节。相比单纯追求更大的显存或更高的 GPU 利用率，更值得关注的是稳定运行时间、有效样本产率和数据可恢复性。

对于希望长期执行机器人视觉数据生成的项目，可以先完成标准化的最小任务，再选择合适的 RTX GPU、系统资源和存储方案。

参考文档

NVIDIA Isaac Sim 6.2.0 Documentation — Replicator Getting Started Scripts

https://docs.isaacsim.omniverse.nvidia.com/6.2.0/replicator_tutorials/tutorial_replicator_getting_started.html