2026-10-17 — views
GeoState: 3D 세계 모델링을 위한 뷰 비결합 기하 상태 학습
읽어야 하는 이유 이 접근 방식은 장면 역학과 카메라 변화의 얽힘을 해결하여 다양한 시점 간에 더 정확하고 일관된 3D 세계 예측을 가능하게 합니다.
GeoState는 장면 역학과 카메라 움직임을 분리하는 뷰 비결합 기하 표현을 도입하여 예측형 3D 세계 모델링의 정확도를 향상시킵니다.
3D 세계 모델링의 뷰 의존성 문제
최근 3D 세계 모델링의 발전은 기하학 파운데이션 모델(GFM)에서 추출한 기능에 점점 더 의존하고 있습니다. 이러한 기능은 3D 환경을 이해하고 예측하는 데 필수적인 풍부한 기하학적 사전 지식을 제공합니다. 그러나 하나의 심각한 한계가 남아 있습니다: 이러한 기능의 뷰 의존성입니다. 이 의존성은 장면의 실제 역학과 카메라의 위치 및 방향으로 인한 변화를 얽게 만듭니다. 결과적으로 모델이 진정한 장면 변화와 단순한 관찰상의 변화를 분리해야 하므로, 결과 상태의 진화를 예측하는 것이 훨씬 더 어려워집니다.
GeoState 소개
이러한 도전 과제를 해결하기 위해 연구자들은 예측형 3D 세계 모델링을 위해 설계된 새로운 뷰 비결합 기하 표현인 GeoState를 제안했습니다. GeoState의 핵심 혁신은 장면 상태의 진화를 카메라 의존적 관찰과 분리하는 능력에 있습니다. 이 분리는 모델이 카메라 움직임에 의해 혼란스러워지지 않고 환경의 본질적인 역학에 집중할 수 있게 합니다.
아키텍처는 특정 파이프라인을 통해 작동합니다. 먼저, 장면 토크나이저는 다중 뷰 GFM 기능을 통합된 뷰 비결합 장면 상태로 집계합니다. 이 상태 표현은 데이터가 캡처된 특정 시점을 추상화합니다. 다음으로, 기하학 디코더는 카메라 레이를 사용하여 이 상태를 쿼리합니다. 이 메커니즘을 통해 시스템은 뷰 의존성을 다시 인코딩하지 않고도 주어진 관점에서 장면이 어떻게 보일지 재구성하거나 예측할 수 있습니다.
자기회귀 예측 및 스케일 일관성
그런 다음 자기회귀 세계 모델을 사용하여 미래 장면 상태를 예측합니다. 중요한 점은 카메라 움직임을 장면 상태 진화와 별도로 모델링한다는 것입니다. 이러한 분리실용적인 이점을 크게 제공합니다. 예측된 상태는 예측된 카메라 또는 외부로 지정된 카메라 하에서 디코딩될 수 있어 시뮬레이션 및 렌더링 시나리오에서 유연성을 제공합니다.
더욱이, GeoState는 전체 롤아웃 동안 단일 컨텍스트 유도 스케일을 유지합니다. 이는 모델이 다른 방법에서 종종 오류와 복잡성의 원인이 되는 프레임별 스케일 정렬이 필요하지 않음을 의미합니다. 초기 컨텍스트에서 유도된 일관된 스케일을 유지함으로써 모델은 시간 경과에 따른 기하학적 일관성을 보장합니다.
성능 및 일반화
실험 결과는 GeoState가 Waymo 데이터셋에서 기존 3D 세계 모델보다 우수한 성능을 보여준다는 것을 입증합니다. 이 모델은 기하학적으로 일관된 크로스 뷰 쿼리를 지원하며, 이는 시야각에 관계없이 객체와 구조가 일관되게 유지됨을 의미합니다. 또한, GeoState는 추가적인 학습 없이 다른 데이터셋(KITTI 및 nuScenes 포함)에 제로샷으로 일반화되어 다양한 실제 주행 시나리오에 대한 견고성과 적응성을 나타냅니다.
실무자 노트
개발자들은 스케일 정렬 오류를 피하기 위해 예측형 3D 환경을 구축할 때 GeoState의 토크나이저 및 디코더 아키텍처를 통합하는 것을 고려해야 합니다. 장기적인 롤아웃 일관성과 크로스 뷰 정확도를 향상시키기 위해 카메라 움직임을 장면 상태 예측에서 분리하는 데 집중하십시오.