2026-10-17 — views
GeoState: 3D世界モデルのためのビュー非依存幾何状態の学習
読む理由 このアプローチは、シーンダイナミクスとカメラ変化の絡み合いを解消し、異なる視点間でより正確で一貫性のある3D世界予測を可能にします。
GeoStateは、シーンダイナミクスとカメラ運動を分離するビュー非依存幾何表現を導入し、予測的な3D世界モデルの精度を向上させます。
3D世界モデルにおけるビュー依存性の課題
3D世界モデルの最近の進歩は、幾何学基盤モデル（GFMs）から抽出された特徴量にますます依存しています。これらの特徴量は、3D環境を理解し予測するために不可欠な豊富な幾何学的事前知識を提供します。しかし、依然として重要な制限が残っています。それはこれらの特徴量のビュー依存性です。この依存性は、シーンの実際のダイナミクスと、カメラの位置や向きによって引き起こされる変化を絡み合わせます。その結果、モデルが真のシーン変化と単なる観測上のシフトを解きほぐさなければならないため、結果の状態の進化を予測することが大幅に困難になります。
GeoStateの紹介
この課題に対処するため、研究者たちは予測的な3D世界モデル用に設計された、新しいビュー非依存幾何表現であるGeoStateを提案しました。GeoStateの核心的な革新は、シーン状態の進化をカメラ依存の観測から分離する能力にあります。この分離により、モデルはカメラの動きに惑わされることなく、環境の内在的なダイナミクスに集中することができます。
アーキテクチャは特定のパイプラインを通じて動作します。まず、シーントークナイザーがマルチビューGFMsの特徴量を統合し、ビュー非依存のシーン状態に集約します。この状態表現は、データがキャプチャされた特定の視点から抽象化されます。次に、幾何学デコーダーがカメラレイを使用してこの状態を照会します。このメカニズムにより、システムはビュー依存性を再エンコードすることなく、任意の視点からシーンがどのように見えるべきかを再構築または予測することができます。
自己回帰的予測とスケール一貫性
その後、自己回帰的世界モデルが採用され、将来のシーン状態が予測されます。重要なのは、カメラ運動がシーン状態の進化とは別にモデル化されていることです。この分離は、実用的な観点から大きな利点をもたらします。予測された状態は、予測されたカメラまたは外部で指定されたカメラの下でデコードできるため、シミュレーションやレンダリングのシナリオにおいて柔軟性が提供されます。
さらに、GeoStateはロールアウト全体を通じて単一のコンテキスト由来のスケールを保持します。つまり、モデルは他の手法でしばしばエラーや複雑さの原因となる、フレームごとのスケールアライメントを必要としません。初期コンテキストから導出された一貫したスケールを維持することで、モデルは時間を通じた幾何学的一貫性を保証します。
パフォーマンスと一般化
実験により、GeoStateがWaymoデータセット上で既存の3D世界モデルを上回ることが示されました。このモデルは、幾何学的に一貫したクロスビュー照問をサポートしており、視点に関係なく物体や構造が一貫して維持されます。さらに、GeoStateはKITTIやnuScenesなどの他のデータセットに対してゼロショットで一般化し、追加のトレーニングなしに異なる現実世界の運転シナリオへの堅牢性と適応性を示しています。
実装ノート
開発者は、スケールアライメントエラーを回避するために、予測的な3D環境を構築する際にGeoStateのトークナイザーとデコーダーアーキテクチャの統合を検討すべきです。カメラ運動をシーン状態予測から分離することに焦点を当て、長期ロールアウトの一貫性とクロスビューの精度を向上させてください。