ByteDanceなど、世界モデルの推論を28倍高速化――DirectWAM、未来予測をロボットの行動判断へ直結

［メンバーシップ限定］中国のByteDanceとニューヨーク大学の共同研究チームが、ロボットの将来の状態を予測し、その予測から行動を生成するWorld-Action Model（WAM）の推論処理を高速化する新手法「DirectWAM」を提案した。

研究論文「De-Diffusing WAMs: Action-Sufficient Direct Prediction for Robot Control」は、2026年10月20日にarXivで公開された。

今回の研究が取り組むのは、世界モデルによって将来の映像を予測し、その予測をロボットの行動判断へ利用する際の計算負荷である。

従来の世界モデルでは、将来の映像を生成するために、拡散モデルなどによる反復計算が必要になる場合がある。

例えば、ロボットが机の上の物体をつかむ場合、世界モデルは、ロボットの手が物体へ近づき、接触し、持ち上げるまでの映像を予測する。

そのうえで、予測した未来の状態を利用し、ロボットの関節や手をどのように動かすかを決定する。

しかし、将来の映像を高品質に生成するために何度も計算を繰り返していると、実際のロボットを制御する際に遅延が生じる。

DirectWAMは、この問題に対して、将来の映像とロボットの行動を、それぞれ一回の予測処理で直接生成する方法を採用した。

さらに、将来の映像を現実と完全に一致させることよりも、ロボットが正しい行動を選択するために必要な情報を保持することを重視した。

研究チームは、ロボット操作ベンチマークのLIBEROで平均成功率97.1％、RoboTwin 2.0で85.4％を記録した。

また、比較対象とした反復推論型の教師モデルに対して、推論遅延を28分の1に短縮した。

ただし、28倍という数値は、今回比較した特定のモデル構成と測定条件における結果であり、すべての世界モデルを28倍高速化できることを意味しない。

今回の研究が示したのは、世界モデルの役割を、未来を精密に映像化することから、行動判断に必要な未来情報を効率的に生成することへ重点を移すという方向である。

従来のWAMは、未来の映像を生成してから行動を決める

World-Action Modelは、世界モデルによる未来予測と、ロボットの行動生成を結び付ける技術である。

例えば、ロボットに「コップの水を別の容器へ注ぐ」と指示した場合を考える。

ロボットは、現在のカメラ映像からコップの位置を把握し、手を近づけ、コップをつかみ、持ち上げ、傾ける必要がある。

その際、手を動かした後にコップがどのような位置へ移動し、水を注ぐ動作がどのように進むかを予測できれば、次の行動を決める手掛かりになる。

WAMでは、このような将来の視覚情報を予測し、その情報を利用して行動を生成する。

DirectWAMが対象とするのは、未来予測と行動生成を二段階で行う「Cascade WAM」である。

最初に動画生成モデルが未来の状態を予測する。

次に、その未来予測を条件として、行動モデルがロボットの操作指令を生成する。

この方式の利点は、AIが何を予測し、その予測に基づいてどのような行動を選んだかを、ある程度確認できることである。

一方、動画生成モデルと行動生成モデルの両方で反復計算が必要になるため、推論に時間がかかる。

映像生成の「ばらつき」は、行動の違いにつながっているのか

今回の研究は、従来のWAMが実行している反復計算のうち、どの部分がロボット制御に本当に必要なのかを検証するところから始まった。

拡散モデルは、乱数を利用して異なる未来映像を生成できる。

例えば、同じ現在の映像から、わずかに異なる未来の画像を複数生成する。

しかし、その違いが、実際のロボットの行動にどの程度影響するのかは明確ではなかった。

研究チームは、未来映像を生成する際の乱数だけを変更し、行動モデル側の条件を固定した。

その結果、未来映像の内部表現には違いが生じても、生成される行動の違いは比較的小さいことが分かった。

RoboTwinでは、未来映像側のばらつきに由来する分散の割合が6.6％だったのに対し、行動側では0.030％だった。

LIBEROでも、未来映像側の1.6％に対して、行動側は0.25％だった。

さらに、同じ初期状態から異なる乱数で8回ずつロボットを動かしたところ、成功した走行軌跡ならぬ操作軌跡は、ほぼ同じ経路をたどった。

30種類の初期条件を対象とした評価では、ロボットの手先位置の軌跡のばらつきは、中央値で0.86cmだった。

操作範囲の中央値は43cmである。

つまり、生成する未来映像が多少異なっても、ロボットが選択する行動は大きく変わらない場合が多かった。

この結果は、未来映像を生成する際の確率的なばらつきを、ロボット制御のために毎回再現する必要はない可能性を示している。

ただし、これは今回評価したWAMと操作課題における結果である。

未来の不確実性を考慮する必要がないという意味ではない。

反復計算を単純に一回へ減らすと、成功率が大幅に低下

未来映像のばらつきが行動へ与える影響が小さいのであれば、拡散モデルの計算を一回に減らせばよいようにも思える。

しかし、研究チームが実際に試したところ、そう単純ではなかった。

RoboTwinでは、従来の反復推論型モデルの成功率は91.6％だった。

動画生成と行動生成の両方を2ステップへ減らした場合、87.4％だった。

ところが、両方を1ステップへ減らすと、57.6％まで低下した。

LIBERO-Longでも、98.2％から88.6％へ低下した。

つまり、反復計算を減らしても、ある程度までは性能を維持できる。

しかし、最後の一回へ削減する段階で、重要な能力が失われる。

研究チームは、これを解決するため、単に推論回数を減らすのではなく、一回の計算で必要な結果を直接生成できるよう、モデルを学習し直す方法を採用した。

未来映像を正確に予測しても、行動が正しいとは限らない

DirectWAMの中心となる発見は、未来映像の予測誤差と、ロボットの行動誤差が必ずしも一致しないことである。

例えば、ロボットがコップをつかむ場面では、背景にある壁の色や模様が多少異なっていても、行動にはほとんど影響しない場合がある。

一方、コップの縁の位置や、ロボットの指とコップの距離が少しずれているだけで、把持に失敗する可能性がある。

つまり、画像全体の再現精度が高いことと、ロボットの行動に必要な情報が正しいことは別問題である。

研究チームは、この違いを定量的に分析した。

未来予測の内部特徴に含まれる誤差を、行動モデルに強く影響する成分と、それ以外の成分に分けた。

その結果、行動に強く影響する成分は、誤差全体のエネルギーの0.63～0.85％にすぎなかった。

しかし、その成分を補正するだけで、補正可能な行動誤差の改善幅の19.8～34.0％を回復できた。

これは、未来予測の誤差が、行動判断に対して均等に影響するわけではないことを示している。

重要なのは、未来の画像を全体として正確にすることだけではない。

その未来予測から、ロボットが正しい行動を生成できるかどうかである。

DirectWAMは「行動の正しさ」から未来予測を学習する

DirectWAMでは、従来の反復推論型WAMを教師モデルとして利用する。

そのうえで、動画生成モデルと行動生成モデルを、一回の計算で結果を生成するモデルへ変換する。

学習は二段階で行う。

第一段階では、行動生成モデルを一回の計算で動作できるようにする。

この段階では、動画生成モデルを固定し、行動生成モデルを学習する。

第二段階では、未来予測モデルを学習する。

ここが今回の研究の特徴である。

未来予測モデルが生成した情報を、そのまま学習済みの行動生成モデルへ入力する。

そして、生成された行動を、人間などによる実演データの正解行動と比較する。

もし行動に誤差があれば、その誤差を未来予測モデルへ伝え、未来の表現を修正する。

つまり、未来予測モデルは、単に正解映像へ近づくように学習するのではない。

自分が予測した未来から、正しい行動が生成されるように学習する。

研究チームは、この方法を「Action-Sufficient Distillation」と呼ぶ。

ここでいうAction-Sufficientは、ロボットが適切に行動するために十分な情報を保持するという意味である。

必要に応じて、将来の映像に対応する内部特徴を再現する学習目標も追加する。

これによって、行動に必要な情報を保持しながら、未来予測の表現が極端に変化することを抑える。

世界モデルを取り除かず、一回の予測へ変換

今回の研究で重要なのは、未来予測モデルを削除していないことである。

WAMの高速化には、実際の推論時には未来映像を生成せず、直接行動を出力する方向もある。

例えば、動画生成によって学習した知識を行動モデルへ移転し、推論時には行動生成だけを実行する方式である。

これに対してDirectWAMは、未来予測と行動生成という二段階の構造を保持する。

最初に未来の内部表現を予測する。

次に、その情報を利用して行動を生成する。

ただし、どちらも反復計算を行わず、一回の予測で処理する。

このため、従来のCascade WAMが持つ、未来を予測してから行動を決める構造を維持できる。

また、生成した未来の内部表現を映像として確認することもできる。

研究チームは、DirectWAMによる未来予測を画像へ変換し、視覚的な構造が保持されていることを確認した。

ただし、未来映像が確認できることと、AIの判断理由を完全に説明できることは同じではない。

DirectWAMが保持するのは、行動生成に利用する未来予測の中間表現である。