2026-10-17 — views
GeoState：學習視角解耦的幾何狀態以進行 3D 世界建模
為什麼值得讀 此方法解決了場景動態與相機變化之間的糾纏問題，能夠在不同視角下提供更準確且一致的 3D 世界預測。
GeoState 提出一種視角解耦的幾何表示法，將場景動態與相機運動分離，從而提升預測性 3D 世界建模的準確性。
3D 世界模型中視角依賴的挑戰
近期的 3D 世界建模進展越來越依賴從幾何基礎模型（GFMs）提取的特徵。這些特徵提供了豐富的幾何先驗知識，對於理解和預測 3D 環境至關重要。然而，一個顯著的局限性依然存在：這些特徵的視角依賴性。這種依賴性將場景的實際動態與由相機位置和方向變化引起的因素糾纏在一起。因此，預測由此產生的狀態演變變得更加困難，因為模型必須將真實的場景變化與單純的觀察視角偏移區分開來。
介紹 GeoState
為了解決這一挑戰，研究人員提出了 GeoState，一種專為預測性 3D 世界建模設計的 novel 視角解耦幾何表示法。GeoState 的核心創新在於其能夠將場景狀態的演變與依賴相機的觀察結果分離。這種分離使模型能夠專注於環境的內在動態，而不受相機運動的干擾。
該架構通過特定的管線運作。首先，場景記號化器（scene tokenizer）將多視角的 GFM 特徵聚合為統一的、視角解耦的場景狀態。這種狀態表示抽象化了數據捕獲時的特定視角。接著，幾何解碼器使用相機射線查詢此狀態。這種機制允許系統從任何給定的視角重建或預測場景的外觀，而無需重新編碼視角依賴性。
自回歸預測與尺度一致性
隨後採用自回歸世界模型來預測未來的場景狀態。關鍵在於，相機運動是獨立於場景狀態演變進行建模的。這種解耦帶來了顯著的實際優勢。預測的狀態可以在預測的相機或外部指定的相機下進行解碼，為模擬和渲染場景提供了靈活性。
此外，GeoState 在整個 rollout（ rollout 過程）中保留單一由上下文導出的尺度。這意味著模型不需要每幀的尺度對齊，而每幀尺度對齊通常是其他方法中錯誤和複雜性的來源。通過保持源自初始上下文的一致尺度，模型確保了時間上的幾何一致性。
性能與泛化能力
實驗表明，GeoState 在 Waymo 數據集上優於先前的 3D 世界模型。該模型支持幾何一致的跨視角查詢，意味著無論觀看角度如何，物體和結構都保持一致。此外，GeoState 能夠零樣本泛化到其他數據集，包括 KITTI 和 nuScenes，這表明其在無需針對這些特定數據集進行額外訓練的情況下，對不同現實世界駕駛場景具有強大的魯棒性和適應性。
實戰筆記
開發人員在構建預測性 3D 環境時，應考慮整合 GeoState 的記號化器和解碼器架構，以避免尺度對齊錯誤。應專注於將相機運動與場景狀態預測解耦，以提高長期 rollout 的一致性和跨視角準確性。