清華大学・Ant Group、世界モデルに5MBの「三次元記憶」を導入――PPMem、数百フレームにわたり空間構造を保持

［メンバーシップ限定］清華大学、Alibaba（アリババ）系のAnt Group（アントグループ）、香港科技大学の共同研究チームが、動画生成型世界モデルに、過去に生成した三次元空間を長期間保持するための新たな記憶機構「Persistent Planar Memory（PPMem）」を開発した。

研究論文「Persistent Planar Memory for Video World Models」は、2026年10月16日にarXivで公開された。

今回の研究が取り組むのは、世界モデルが長時間にわたって映像を生成する際、以前に生成した建物や道路などの三次元構造を正しく保持することが難しいという問題である。

例えば、世界モデルが、カメラが道路を前進し、交差点を曲がり、建物の裏側を回って元の場所へ戻る映像を生成したとする。

最初に見えていた建物は、戻ってきたときにも同じ場所に存在しているだろうか。

建物の壁面や道路の位置は、カメラの移動によって不自然に変化していないだろうか。

現在の動画生成AIは、短時間であれば非常に自然な映像を生成できる。

しかし、長時間の生成では、過去に生成した空間の情報が失われ、建物の形状や位置が変化する場合がある。

この問題を解決するため、過去の映像や三次元情報を大量に保存する方法も考えられる。

ただし、すべての映像や三次元点を保存すると、記憶容量が大きくなり、長時間の生成が難しくなる。

PPMemは、三次元空間を大量の点として記憶するのではなく、位置・向き・大きさを持つ平面の集合として記憶する。

研究チームは、約400フレームにわたる映像の三次元構造を、約10万個の平面によって表現した。

記憶容量は約5MBだった。

三次元点を蓄積する方式と比較すると、必要な幾何要素数を約3桁削減した。

さらに、記憶した平面から奥行き情報を生成し、その情報を次の映像生成へ利用する仕組みを構築した。

これによって、カメラが大きく移動した場合や、一度訪れた場所へ戻った場合でも、三次元空間の一貫性を維持しやすくした。

今回の研究は、世界モデルに単に長い映像を生成させるのではなく、一度生成した世界の構造を、コンパクトな三次元記憶として保持し続ける方法を示したものである。

世界モデルは、長時間の映像生成で「過去の世界」を忘れる

近年の世界モデルは、画像や映像から、カメラが移動した先の景色を生成できるようになっている。

例えば、最初の画像に建物が写っていた場合、その建物へ接近する映像や、建物の周囲を回り込む映像を生成する。

このような技術は、ゲームの仮想空間、自動運転シミュレーション、ロボットの環境予測などへの応用が期待されている。

しかし、世界モデルが生成した映像が自然に見えていても、その内部で一貫した三次元空間が維持されているとは限らない。

動画生成AIは、直近の映像や過去の特徴情報を参照して、次の映像を生成する。

ところが、カメラが長い距離を移動したり、以前に訪れた場所へ戻ったりすると、過去の空間情報を十分に参照できなくなる場合がある。

例えば、建物の正面から側面へ移動した後、再び正面へ戻ると、窓の位置や壁の形状が変化する可能性がある。

道路の幅や建物までの距離が、時間とともに不自然に変わることもある。

こうした現象は、単に映像の見た目が悪くなる問題ではない。

世界モデルが、生成した空間を一つの三次元世界として保持できていないことを意味する。

自動運転シミュレーションを考えれば、その重要性は明確である。

道路や建物の位置が時間とともに変化する環境では、車両の走行判断を正しく検証することが難しくなる。

研究チームは、こうした問題を解決するには、過去の映像を大量に保存するだけではなく、空間そのものを効率的に記憶する仕組みが必要だと考えた。

従来方式との違い――三次元点群ではなく「面」で記憶する

三次元空間を記録する代表的な方法の一つが、Point Cloud（点群）である。

点群では、物体の表面を多数の三次元点によって表現する。

例えば、建物の壁を記録する場合、壁面上に大量の点を配置する。

この方法は、複雑な形状を表現しやすい。

一方、広い空間を長時間にわたって記憶する場合には、点の数が増え、記憶容量も大きくなる。

PPMemは、壁や床などを一つ一つの点ではなく、長方形の平面として表現する。

平面一つにつき、必要なパラメータは7個である。

内訳は、カメラからの奥行きを示す1個、平面の縦横の大きさを示す2個、回転を表すQuaternion（四元数）の4個である。

この7個の値とカメラ情報から、平面の三次元位置、向き、大きさを求める。

例えば、建物の壁面であれば、大量の三次元点を保存する代わりに、壁を構成する複数の長方形の平面として記憶する。

研究チームは、この表現を「Plane Primitive」と呼んでいる。

ただし、建物の壁全体を必ず一枚の平面で表現するわけではない。

実際には、細かな形状や位置の違いを表現するため、複数の小さな平面を組み合わせる。

それでも、画像の各画素に対応する三次元点をすべて蓄積するより、記憶する幾何要素の数を大幅に削減できる。

約10万個の平面で、約400フレームの空間を記憶

研究チームは、576×1024画素、約400フレームに相当する三次元空間について、記憶方式を比較した。

各フレームの画素に対応する三次元点をすべて蓄積すると、理論上は約2億1000万個の点が必要になる。

一方、PPMemでは、統合後の平面数は約10万個だった。

必要な幾何要素数は約2100分の1である。

論文が「約3桁の削減」と説明しているのは、この比較である。

ただし、2億1000万個という数値は、すべての画素に対応する点を蓄積した場合の理論値であり、既存の点群方式が必ずこの数の点を保持するという意味ではない。

実際、比較対象のVMemでは約25万個のSurfel、SPMemでは約100万～200万個の幾何要素を使用する。

したがって、PPMemがすべての既存方式に対して1000分の1の記憶容量を実現したわけではない。

それでも、三次元空間を明示的に保持しながら、約10万個の平面に圧縮した点は重要である。

5MBとは何の容量か――世界モデル全体ではない

今回の研究では、約10万個の平面からなる三次元記憶の容量が約5MBと報告されている。

より詳細な測定では、10万6000個の平面と統合処理用の付随情報を含めて4.8MiBだった。

同じ生成過程で、画素ごとの三次元点を蓄積した比較方式では1.7GiBだった。

単純な容量比では、約360分の1である。

ただし、ここでいう5MBは、PPMemの三次元記憶部分だけを指す。

映像生成モデル全体が5MBで動作するわけではない。

実際には、PPMemは約50億パラメータのWan 2.2を基盤としている。

さらに、平面を予測するための追加モデルや、奥行き情報を統合する機構も必要になる。

論文によれば、追加した幾何処理関連のモデル状態だけで、BF16形式で約1.1GiBを使用する。

また、生成中に同時に保持するモデル本体以外の作業用データは、三次元記憶を含めて最大41MiBだった。

つまり、今回の5MBという数字は、世界モデルが生成した空間の三次元構造を保持するための記憶容量である。

車載AIチップの総メモリー使用量や、世界モデル全体の動作メモリーを示した数字ではない。

Wan 2.2の50億パラメータモデルを基盤に採用

PPMemは、まったく新しい動画生成モデルをゼロから開発したものではない。

研究チームは、既存のWan 2.2 TI2V 5Bを基盤として利用した。

このモデルは、約50億パラメータを持つ動画生成モデルである。

研究チームは、Wan 2.2のVideo Diffusion Transformer（DiT）に、主に二つの機構を追加した。

一つが「Plane Prediction Head」である。

これは、動画生成モデルの内部特徴から、三次元平面の位置、大きさ、向きなどを予測する。

もう一つが「Depth Token Fusion（DTF）」である。

これは、過去に記憶した平面から描画した奥行き情報を、次の映像生成へ取り込む仕組みである。

PPMemでは、動画を約25フレームずつ生成する。

一つの区間で映像を生成すると、同時に三次元平面を予測する。

予測した平面を、過去に蓄積した平面の集合へ統合する。

そして、次の区間を生成する際には、記憶した平面を新しいカメラ位置から描画し、奥行き情報として利用する。

この処理を繰り返すことで、過去に生成した空間を参照しながら、長時間の映像生成を続ける。

平面の記憶を「次の映像生成」へ戻す

PPMemの重要な特徴は、三次元平面を保存するだけではないことである。

保存した平面を、次の映像生成へ直接利用する。

例えば、世界モデルが建物の正面を生成したとする。

PPMemは、その建物の壁面などを三次元平面として記憶する。

次に、カメラが建物の側面へ移動する。

このとき、記憶した平面を新しいカメラ位置から描画すると、建物のどの部分が、どの距離に見えるはずかを推定できる。

PPMemは、この奥行き情報を次の映像生成へ入力する。

その結果、動画生成モデルは、過去に生成した建物の三次元位置を参照しながら、新しい映像を生成できる。

この処理を繰り返すことで、カメラが移動しても、建物の位置や大きさが不自然に変化することを抑える。

従来の動画生成モデルでは、過去の映像を直接参照する方法が中心だった。

PPMemは、過去の映像を三次元平面として構造化し、その幾何情報を次の生成へ戻す。

映像を生成し、その三次元構造を記憶し、記憶した構造を次の映像生成へ利用する循環構造が、今回の研究の核心である。

古い平面を残すだけではない――新しい観測で記憶を修正

PPMemでは、新しい平面を単純に追加し続けるわけではない。

過去に生成した平面と、新しく生成した平面を比較し、記憶内容を修正する。

研究チームは、主に三つの処理を導入した。

第一は、遮蔽関係に矛盾する平面の削除である。

例えば、過去の生成で誤った位置に壁面が記憶されていたとする。

新しい視点から観測すると、その壁面が実際の表面より手前に浮いているように見える場合がある。

PPMemは、複数の視点から得られた情報を利用して、こうした不適切な平面を削除する。

第二は、重複する平面の統合である。

同じ壁面を異なる視点から生成すると、似た位置に複数の平面が蓄積される可能性がある。

PPMemは、平面の距離や向き、観測品質などを比較し、より信頼できる平面を残す。

第三は、次の視点でより正確に観測できる平面を、あらかじめ削除する処理である。

例えば、遠方から生成した建物の壁面より、次に接近して生成する壁面の方が高精度になると予測できる場合がある。

PPMemは、そのような古い平面を事前に取り除き、新しい平面へ置き換えられるようにする。

この仕組みによって、記憶容量の増加を抑えながら、三次元構造を更新する。

ただし、ここでいう観測は、世界モデルが生成した映像や、指定されたカメラ位置に基づくものである。

実際の車両やロボットが、現実世界を観測して地図を修正する仕組みとは区別する必要がある。

Depth Token Fusionで奥行きの「絶対的な尺度」を維持

PPMemのもう一つの技術的な特徴が、Depth Token Fusionである。

通常の動画生成モデルでは、画像や奥行き情報を潜在表現へ圧縮して処理する。

しかし、圧縮によって奥行きの細かな情報が失われる場合がある。

特に問題となるのが、距離の尺度である。

例えば、建物までの距離が10mなのか20mなのかという情報が、映像生成の過程で不安定になる可能性がある。

PPMemは、記憶した平面から生成した奥行き情報を、通常の入力経路に加え、特徴トークンの段階でも統合する。

これがDTFである。

研究チームは、入力する奥行き情報の尺度を意図的に変更し、生成結果がその尺度にどの程度追従するかを評価した。

その結果、DTFを利用した方式では、尺度の追従誤差が、通常の入力方式より小さくなった。

尺度追従の対数RMSEは、通常の入力方式が0.320、DTFが0.273だった。

さらに、学習時に奥行きの尺度を変化させるデータ拡張を追加すると、DTFは0.131まで改善した。

同じデータ拡張を追加した通常方式は0.293だった。

つまり、DTFは、過去の三次元記憶から得られた距離情報を、次の映像生成へより正確に伝える効果を示した。

ただし、これは奥行き尺度への追従性を評価した結果であり、実際の自動運転車が障害物までの距離を同じ精度で測定できることを意味しない。

DL3DV・RealEstate10Kで従来方式を上回る

研究チームは、DL3DVとRealEstate10Kの二つのデータセットを利用してPPMemを評価した。

学習には、両データセットから8万件以上の映像クリップを利用した。

評価では、DL3DVの100場面とRealEstate10Kの100映像を使用した。

比較対象は、Gen3C、Voyager、VMem、SPMemである。

これらはいずれも、動画生成と三次元情報の保持を組み合わせる研究である。

例えば、Gen3Cは三次元点を利用して映像生成を制御する。

Voyagerは映像と奥行きを同時に生成する。

VMemはSurfelと呼ばれる表面要素を利用して、過去の視点情報を保持する。

SPMemは三次元空間を表すTSDFと、過去の画像情報を組み合わせる。

PPMemは、これらと比較して、49フレームおよび121フレームの評価で、映像品質に関する指標を改善した。