テンセント・同済大学、世界モデルから「カメラが動いた分」を分離――GeoState、三次元空間の未来予測を高精度化

［メンバーシップ限定］中国のテンセント、同済大学、香港理工大学などの研究チームが、自動運転向け世界モデルにおいて、三次元空間そのものの変化と、カメラが移動することで生じる見かけの変化を分離する新技術「GeoState」を開発した。研究論文「GeoState: Learning View-Decoupled Geometry States for 3D World Modeling」は、2026年10月15日にarXivで公開された。

今回の研究が取り組むのは、世界モデルが未来を予測する際、現実世界で実際に変化したものと、観測するカメラが移動したために変化して見えるものを、どのように区別するかという問題である。

例えば、自動車が道路を前進すると、前方の建物や道路標識は、カメラ映像の中で次第に大きくなる。

しかし、建物や道路標識そのものが動いたわけではない。

一方、周囲の車両や歩行者が移動した場合には、現実世界の三次元的な配置そのものが変化する。

従来の世界モデルでは、こうした二種類の変化が、内部の特徴表現に混在する場合がある。

その結果、AIは、現実世界の物体がどのように動くかだけでなく、カメラの移動によって映像がどう変化するかまで、同時に学習しなければならない。

GeoStateは、この問題に対して、カメラの視点に依存しない三次元空間の内部表現を構築する。

世界モデルは、その三次元空間が時間とともにどう変化するかを予測する。

カメラの位置や向きは別の情報として扱い、予測された三次元空間を任意の視点から観測することで、将来の奥行き情報を生成する。

研究チームは、Waymoの走行データを利用して学習し、KITTIとnuScenesの未知の走行環境でも評価した。

KITTIでは、2秒先の奥行き予測における相対誤差AbsRelが、比較対象の0.178から0.155へ改善した。

nuScenesでは、2.5秒先のAbsRelが0.229から0.213へ改善した。

AbsRelは小さいほど予測精度が高い。

今回の研究が示したのは、世界モデルがカメラ映像の変化をそのまま予測するのではなく、三次元空間そのものの変化を予測することで、未知の走行環境にも適応しやすくなるということである。

従来の世界モデルは「景色の変化」を学習していた

世界モデルは、現在までに観測した情報から、将来の状態を予測するAIである。

自動運転向けの世界モデルでは、過去のカメラ映像や三次元空間情報を入力し、数秒先の道路環境を予測する研究が進んでいる。

従来の代表的な方式の一つは、画像そのもの、あるいは画像から抽出した特徴情報の時間的な変化を予測する方法である。

しかし、カメラ映像の変化には、現実世界の物体の移動と、カメラ自身の移動が混在している。

例えば、自動車が静止した建物へ近づくと、建物は映像内で大きくなる。

道路の中央を走行している自動車が右側へ移動すると、周囲の車両や建物は映像内で左側へ移動して見える。

こうした変化を、世界モデルがすべて予測する必要があると、学習すべき情報が複雑になる。

研究チームは、三次元再構築に優れた基盤モデルの特徴情報であっても、未来予測に適した内部表現とは限らないと指摘した。

三次元再構築モデルは、観測したカメラ映像から正確な空間構造を推定するために設計されている。

その特徴情報には、カメラの位置や視点に依存する成分が含まれる。

これを世界モデルの内部状態として直接利用すると、カメラが移動しただけでも、内部状態が大きく変化する可能性がある。

三次元空間を正確に再構築できることと、その空間の未来を予測しやすいことは、同じではない。

GeoStateは、この違いに着目した研究である。

Scene Tokenizer――複数のカメラ映像を共通の三次元空間へ統合

GeoStateは、大きく三つの構成要素からなる。

第一の構成要素が「Scene Tokenizer」である。

研究チームは、三次元再構築の基盤モデルとしてVGGT-Ωを利用した。

VGGT-Ωは、複数の画像から三次元空間の形状、奥行き、カメラの位置などを推定するモデルである。

GeoStateでは、まずVGGT-Ωから、画像ごとの三次元特徴情報を抽出する。

そこへ、三次元座標、カメラの位置と向き、視線方向、推定結果の信頼度などを組み合わせる。

Scene Tokenizerは、これらを一つの共通した三次元空間の内部表現へ圧縮する。

この内部表現が「GeoState」である。

重要なのは、GeoStateが特定のカメラ映像に対応した特徴情報ではないことである。

複数のカメラが異なる方向から観測した情報を、共通の三次元空間として保持する。

そのため、観測に使用したカメラの台数が変わっても、GeoStateの内部表現は一定の大きさになる。

今回の実装では、512個のトークンを使用し、それぞれを512次元の特徴ベクトルとして表現した。

これによって、複数のカメラ映像を、一定の大きさの空間情報へ集約する。

ただし、これは空間表現を圧縮したという意味であり、周囲のすべての物体の位置や形状を完全に保持できることを保証するものではない。

Geometry Decoder――同じ三次元空間を異なるカメラから観測

第二の構成要素が「Geometry Decoder」である。

Scene Tokenizerが三次元空間の状態を生成するのに対し、Geometry Decoderは、その空間を指定したカメラから観測した場合の奥行き画像を生成する。

例えば、ある時点のGeoStateが道路、建物、車両などの三次元的な配置を保持しているとする。

そこへ、道路中央にあるカメラの位置と向きを指定すると、その視点から見た奥行き画像を生成する。

さらに、カメラを右側へ1m移動させた場合にも、同じGeoStateを利用して、別の奥行き画像を生成できる。

このとき、三次元空間そのものを再構築し直す必要はない。

カメラの位置と向きだけを変更する。

研究チームは、カメラから三次元空間へ伸びる視線を利用して、指定された視点からの奥行きを計算する仕組みを採用した。

つまり、GeoStateが「現実世界の三次元的な状態」を表し、Geometry Decoderが「その世界をどこから見るか」を担当する。

この分離によって、同じ空間状態を複数の視点から利用できる。

世界モデルは、三次元空間の変化だけを予測する

第三の構成要素が、未来のGeoStateを予測する世界モデルである。

研究チームは、過去4時点のGeoStateを入力し、次の時点のGeoStateを予測する方式を採用した。

予測したGeoStateを次の入力に追加し、さらに未来を予測する。

この処理を繰り返すことで、数秒先までの三次元空間の変化を生成する。

重要なのは、世界モデルがカメラ映像の変化を直接予測するわけではないことである。

世界モデルが予測するのは、共通座標系で表現された三次元空間の状態である。

一方、カメラの位置や向きの変化は、別のモデルによって予測する。

そして、未来のGeoStateと未来のカメラ位置をGeometry Decoderへ入力することで、将来の奥行き画像を生成する。

この構造によって、世界モデルは、カメラが動いたことによる見かけの変化を直接学習する必要がなくなる。

例えば、自車が前進しただけで、静止した建物の三次元的な位置を変更する必要はない。

一方、周囲の車両が移動した場合には、その車両に対応する三次元空間の状態を変化させる。

世界の変化は世界モデルが予測し、観測位置の変化はカメラモデルが扱う。

これがGeoStateの基本的な設計思想である。

Waymoで2秒先の奥行き予測誤差を40.4％削減

研究チームは、Waymoの走行データを利用してGeoStateを学習・評価した。

評価には、将来の奥行き予測を使用した。

奥行き予測とは、将来のカメラ映像において、それぞれの画素に対応する物体がカメラからどれだけ離れているかを予測するものである。

評価指標には、相対誤差AbsRelと、一定の誤差範囲内で予測できた割合を示すδ1を利用した。

AbsRelは小さいほど高精度であり、δ1は大きいほど高精度である。

2秒先の予測では、従来のVGGT-WorldのAbsRelは0.213だった。

GeoStateでは0.127となった。

相対誤差の削減率は約40.4％である。

同じ条件で、δ1は0.731から0.848へ改善した。

また、1秒先の予測では、VGGT-WorldのAbsRelが0.143だったのに対し、GeoStateは0.092だった。

0.6秒先では0.112から0.079へ改善した。

この結果は、予測する時間が長くなっても、GeoStateが比較的正確な三次元空間の状態を維持できることを示している。

ただし、これらは将来の奥行き画像を予測した際の誤差である。

自動運転車の走行軌跡や衝突回避の成功率を直接評価したものではない。