結局のところNDIVIA Omniverseって何なのよ？

最近よく耳にする「NDIVIA Omniverse」

公式には以下のように書かれています。

……分からない。難しい、、、
ということで、今回はNDIVIA Omniverseと関連サービスについてまとめます。

結論

ロボットが踊る舞台があるとします。その舞台を組み立てるための土地と資材、それが Omniverseだそうです。そしてその上に建った稽古場で、ロボットは本番前の練習します。

そもそも、なぜロボットに稽古場が要るんでしょうか。

パイロットは、いきなり飛行機で訓練しない

飛行機のパイロットは、最初から飛行機の実機に乗るわけではなく、免許を取るまでにシミュレータで訓練します。

ロボットもまったく同じで、失敗のコストを仮想空間で「前払い」してから現場に出します。

仮想空間なら、何度壊しても無料で、しかも現実より速く回せます。だから稽古場が要るということです。

Omniverse=ロボットの世界を組み立てる基盤

では、稽古場では何を考慮する必要があるか。例えば以下があります。

• 照明 — どこから、どんな光が当たるか

• 物理法則 — 手を離したリンゴは落ちて、転がる

• 床の摩擦 — 板の上なら止まる、氷の上なら滑る

Omniverse は、これらを組み立てるための基盤です。

ここで大事なのは、見た目の美しさではなく物理の正しさだということ。CGとして綺麗でも、リンゴが落ちずに浮いていたら稽古の意味がなくなる。Omniverse が本気で作りにいっているのは、そういう地味な正しさだそうです。

ついでに、その土台にあるファイル形式が OpenUSD。OpenUSD は３Dモデルの共通フォーマットです。なんとあのPixar が作っています。

Isaac Sim＝Omniverse の上に作られた稽古場

ここが、いちばん混同されるところ。

Omniverse が「組み立てる基盤」で、Isaac Sim が「その上に実際に建った稽古場」になります。 資材と建物の関係です。

Isaac Sim はロボット専用に建てられた稽古場で、この中でロボットを走らせたり、ぶつけたり、落としたりする。実機では怖くてできない衝突や暴走を、ここでは何度でもやれます。

稽古場が要るのは、育て方が変わったから

そもそも、なぜ何千回も稽古させる必要があるのか。ロボットの育て方が変わったからです。

• 昔：細かくプログラミングする

• 今：動き方を採点する

いまの主流は後者。手順は一行も書かない。「うまくできたら加点」というルール（報酬）だけを決めて、あとはロボット自身に何千回も試行錯誤させます。

• 掴む → ＋10点

• 落とす → −5点

• 正しい向き → ＋2点

• 指定場所に置く → ＋20点

これだけ渡して放っておくと、ロボットは点数が高くなる動きを自分で見つけ出します。賢い。。。

Isaac Lab＝ロボットが稽古するための仕組み

稽古場（Isaac Sim）があっても、それだけでは練習が回らない。稽古のやり方そのものを回す仕組みが Isaac Lab で、具体的には3つの要素でできています。

• 分身 — 同じロボットを数百体に増やし、一斉に練習させる

• 失敗の共有 — 1体が転んだ経験を、全体に返す

• 採点表 — さっきの「掴んだら＋10点」を管理する

数百体の分身が一斉に歩き出そうとして、最初は全員転ぶ。それが数分後には歩き始める。これが「育つ」ということです。

Replicator＝備え付けの自動撮影装置

稽古場には、撮影機材も備え付けられています。

Replicator は、稽古場の様子を自動で撮影して「正解」つきの写真を作る装置。位置・色・照明を変えながら、これは椅子、これは箱、というラベル付きの画像を千枚単位で量産する。ロボットの目を鍛えるための教材づくりです。

人間が写真を撮って手でラベルを付けていたら何ヶ月かかるか分からない作業も、稽古場の中でなら自動で終わります。

Cosmos＝様々な状況をAIで生み出す

ここで問題が起きる。稽古場が1種類しかないと、その稽古場でだけ上手なロボットが育ちます。

晴れた昼の倉庫でしか練習していないロボットは、雨の日に「稽古場と違う……」と固まってしまう、、、

そこで Cosmos。言葉から「雨の倉庫」のような映像をAIで生み出して、まだ経験していない状況を用意します。Cosmos Reason という検品役もいて、物理的におかしい映像を見抜いてくれます。

Replicator が「撮影」、Cosmos が「生成」、Cosmos Reason が「検品」。撮る・作る・確かめるの3役です。

周辺にあるもの：GR00T と Jetson

ここまでが稽古場まわり。あと2つだけ名前を出しておきます。

• GR00T — 世界中の経験から学習済みのAI。人型ロボット専用の、いわば頭脳の既製品です。

• Jetson — ロボット本体に積む小型AIコンピュータ。稽古場で育てた頭脳は、最後にここへ載せます。

全体を3つに整理すると

NVIDIA は、必要なコンピュータを3つに分けて説明しています。

何をする場所か主な製品
① 育てる
クラウドでAIを学習させる　GR00T など
② 練習する
仮想世界で訓練・検証する　Omniverse / Isaac Sim / Isaac Lab
③ 現場に出す
ロボット本体でAIを動かす　Jetson

Omniverse は、この②の土台にあたります。

まとめ

Omniverse は、ロボットが現実に出る前に稽古する場所を、組み立てるための基盤。

3Dソフトでもメタバースでもなく、失敗を安く早く積ませるための舞台裏です。上に Isaac Sim という稽古場が建ち、Isaac Lab が稽古を回し、Replicator と Cosmos が経験を用意する。

こうして並べておくと、ニュースで名前を見かけたときに「これは舞台の話か、稽古の話か、教材の話か」で仕分けできるようになる。私はそれでだいぶ楽になりました。