世界モデルは「失敗した未来」を正しく予測できるか――中国科学院・高徳地図、物理的矛盾を大幅削減

［メンバーシップ限定］中国科学院自動化研究所とアリババ傘下の高徳地図（Amap）は2026年10月8日、ロボットの行動に応じて未来の映像を生成する世界モデル「DreamTrue」を発表した。

今回の研究が取り組むのは、世界モデルが「成功する未来」を過剰に予測してしまう問題である。

例えば、ロボットアームが物体をつかみ損ねた場合、現実には物体は机の上に残る。しかし、従来の世界モデルは、ロボットが物体をつかんだかのように、物体が持ち上がる映像を生成する場合がある。

DreamTrueは、実際には記録されていない失敗行動を人工的に作成し、生成された未来映像の物理的な矛盾をAIで評価する。そして、その評価結果を利用した強化学習によって、世界モデルを改善する。

中国のロボットデータセットAgiBotを利用した評価では、物体とロボットの相互作用に関する欠陥率を48.12％から6.25％へ削減した。

さらに、世界モデルによってロボットの行動成功率を予測した場合、実際のシミュレーション結果との平均絶対誤差は12.92ポイントから7.08ポイントへ低下した。

重要なのは、生成映像の見た目を改善しただけではないことである。

世界モデルが、ロボットの行動を実行する前に、その行動が成功するか失敗するかを評価できるのか。

DreamTrueは、この問題に踏み込んだ研究である。

世界モデルは、成功した動作ばかり学習している

ロボット用の世界モデルは、現在の環境とロボットの行動を入力し、その行動を実行した場合に将来どのような状態になるかを予測する。

例えば、机の上に置かれたコップをつかむ場合を考える。

世界モデルには、現在のカメラ画像と、ロボットアームがどのように動くかという行動情報を入力する。

世界モデルは、その行動によってコップがどう動くかを予測する。

ロボットがコップを正しくつかめば、コップはロボットアームとともに持ち上がる。

一方、ロボットがコップをつかみ損ねれば、コップは机の上に残る。

本来なら、世界モデルは、この二つを区別しなければならない。

しかし、既存のロボットデータセットには、成功した操作の記録が多い。

例えば、コップを正しくつかみ、別の場所へ移動させる動画である。

こうしたデータから学習した世界モデルは、ロボットが物体をつかもうとする動作を見ただけで、物体が持ち上がる未来を予測しやすくなる。

実際にはロボットの手が物体に届いていなくても、物体が持ち上がる映像を生成してしまう。

これは、単なる映像生成の誤りではない。

世界モデルを利用して行動の成否を評価する場合、重大な問題になる。

失敗する行動を、成功すると評価してしまう

例えば、ロボットが物体をつかむために、三つの行動候補を生成したとする。

第一の行動では、ロボットの手が物体の中央へ正確に接近する。

第二の行動では、手が少し横へずれる。

第三の行動では、手が物体へ届かない。

実際の環境では、第一の行動だけが成功するかもしれない。

しかし、世界モデルが三つの行動すべてについて、物体を持ち上げる未来を生成したらどうなるか。

ロボットは、どの行動が成功するかを判断できない。

さらに、世界モデルの生成映像を利用して行動方針を評価する場合、本来は失敗する行動まで成功したと判定される。

これは、世界モデルを仮想シミュレーターとして利用する際の信頼性に関わる。

世界モデルの役割は、単にもっともらしい未来を描くことではない。

指定された行動を実行した場合に、どのような結果が生じるかを正しく予測することである。

DreamTrueは、この性質をAction Faithfulness、すなわち行動への忠実性として重視している。

第一の問題は、ロボットの動作と映像が一致しないこと

DreamTrueが取り組む問題は、失敗行動の学習だけではない。

もう一つの重要な問題が、ロボットの行動情報と実際の映像の位置関係である。

ロボット用世界モデルでは、ロボットがどのように動くかという情報を、未来映像の生成条件として与える。

しかし、異なるロボットでは、行動情報の表現方法が異なる。

ロボットアームの関節角度、手先の位置、グリッパーの開閉状態など、機種ごとに構造が違う。

さらに、カメラの位置や向きも異なる。

例えば、同じ手先位置を表す三次元座標でも、カメラから見た画像上の位置は、カメラの取り付け位置によって変わる。

この関係が正確に分からなければ、ロボットの動作を映像上へ正しく投影できない。

実際のロボットデータセットには、カメラの位置や向きが十分に正確でないものもある。

その結果、ロボットの行動を映像へ変換すると、実際のロボットアームの位置とずれてしまう。

このずれを含んだデータで世界モデルを学習すると、モデルは誤った位置関係を学習することになる。

DreamTrueは、まずこの問題を解決する。

既存の動画からカメラの位置を補正する

研究チームは、Offline Geometric Calibrationという手法を導入した。

これは、既存のロボット動画とロボットの三次元モデルを利用して、カメラの位置や向きを補正する方法である。

通常、ロボットのカメラを正確に調整するには、専用のキャリブレーション作業が必要になる場合がある。

しかし、DreamTrueは、すでに記録されたロボット操作の動画を利用する。

まず、ロボットの三次元構造を表すURDFモデルと、記録された関節状態を利用する。

これによって、ある時点でロボットアームがどのような姿勢になっていたかを計算できる。

次に、そのロボットを仮想的なカメラから見た画像として描画する。

そして、実際の動画に写っているロボットアームと比較する。

もし両者の位置がずれていれば、カメラの位置や向きなどを補正する。

この処理では、画像間の対応点を検出するRoMaV2と、ロボット領域を抽出するために調整したSAM3を利用している。

さらに、同じ動画の異なる時点に写る背景や、複数カメラ間の対応関係も利用する。

これによって、単に一枚の画像だけを合わせるのではなく、時間方向と複数視点の整合性も考慮する。

重要なのは、専用のキャリブレーション動画や深度センサーを必須としていないことである。

既存のRGB動画とロボットの状態記録から、カメラの幾何学的な関係を改善する。

15万件以上のロボット操作記録を再調整

研究チームは、今回の手法によって、大規模なロボットデータセットのカメラ情報を補正した。

公開した補正データは、合計153,666エピソード、1,660.31時間分である。

対象は三つの実機データセットである。

AgiBotWorld-Betaが1,225.60時間。

DROIDが239.73時間。

RoboMIND 2.0が194.98時間である。

これらのデータについて、カメラの内部パラメータ、外部パラメータ、レンズ歪みなどを補正した。

必要な場合には、ロボットアームの取り付け位置に関する補正も行っている。

この成果は、DreamTrueという世界モデルそのものとは別にも意味がある。

ロボットの行動と映像の位置関係が正確になれば、既存の操作データを、世界モデルの学習へ利用しやすくなるためである。

カメラ補正で、動作の位置誤差を縮小

カメラ補正の効果は、定量的にも確認されている。

AgiBotでは、補正前のデータを利用した場合、予測したロボットの手先位置と実際の位置との平均的なずれは7.73ピクセルだった。

補正後のデータで学習・評価すると、4.60ピクセルへ低下した。

DROIDでも、11.78ピクセルから8.06ピクセルへ低下した。

また、ロボットの動作軌跡をどれだけ正確に再現できたかを示すnDTWも改善した。

AgiBotでは0.8159から0.8711へ上昇した。

DROIDでは0.7718から0.8919へ上昇した。

nDTWは、予測したロボットの動作軌跡と、実際の動作軌跡の一致度を評価する指標である。

高いほど、指定された動作を正確に再現していることを意味する。

つまり、世界モデルの生成能力だけを高めるのではなく、学習に利用するデータの幾何学的な整合性を改善することによって、動作予測の精度を高めた。

異なるロボットの動作を、画像という共通形式へ変換

DreamTrueは、複数種類のロボットを一つの世界モデルで扱うことも目指している。

ロボットによって関節の数や構造が異なるため、そのままでは行動情報を共通の形式で扱いにくい。

そこで、研究チームはロボットの行動を画像空間へ変換した。

例えば、ロボットアームが将来どのように動くかという行動列が与えられた場合、その各時点のロボット姿勢を三次元モデルから描画する。

生成する情報は、ロボットのRGB画像、深度画像、ロボット領域を示すマスクなどである。

さらに、グリッパーの開閉状態やカメラの向きを表す情報も加える。

これらを、未来映像を生成するAIへ入力する。

すると、異なるロボットでも、行動情報を画像に近い共通形式で扱える。

ロボットごとに異なる関節構造を、世界モデルが直接理解する必要を減らせる。

この方式は、Cross-Embodiment、すなわち異なるロボット本体を横断する学習を可能にするための設計である。

世界モデルの基盤は動画生成AI

DreamTrueは、動画生成AIを基盤としている。

研究チームは、Video Diffusion Transformer（Video DiT）に、ロボットの行動情報を入力するための条件付け機構を追加した。

具体的には、VACEを利用して、ロボットの描画画像や深度情報、マスクなどを動画生成モデルへ渡す。

初期状態の複数カメラ画像、タスク指示、将来のロボット行動列を入力すると、世界モデルがその後の映像を生成する。

例えば、机の上にある物体をロボットアームがつかむ行動を入力する。

世界モデルは、ロボットアームが動き、物体が持ち上がる未来映像を生成する。

ここまでは、従来の行動条件付き世界モデルと共通する。

DreamTrueの特徴は、この学習の後に、もう一段階の学習を追加することである。

成功した行動を、意図的に失敗する行動へ変える

DreamTrueの第二段階が、Counterfactual Post-Trainingである。

日本語では、反事実的な追加学習と表現できる。

例えば、実際のロボットがコップを正しくつかんだ動画があるとする。

研究チームは、その動画に記録されたロボットの行動列を変更する。

具体的には、ロボットの手先が最後に到達する位置や姿勢を、三次元空間でずらす。

そして、最初の姿勢から変更後の最終姿勢までの動作を作成する。

逆運動学を利用して、実際のロボットが取り得る関節動作へ変換する。

このとき、元の環境画像とタスク指示は変更しない。

変更するのは、ロボットの行動だけである。

例えば、同じ机の上に同じコップがある状態から、ロボットの手先がコップの中央へ向かう場合と、少し横へずれる場合を作成する。

前者ではコップをつかめるかもしれない。

後者では、つかみ損ねるかもしれない。

このように、同じ初期状態から、異なる行動を実行した場合の未来を生成する。

研究チームは、運動学的に実行可能な行動だけを残している。

ただし、作成した行動が実際にどのような結果を生むかについて、対応する実機動画が存在するわけではない。

そこで、次の問題が発生する。