2026-06-18 — views

Physical AI 시뮬레이션 — Tesla 리렌더 대 Waymo CarCraft와 합성 데이터 경쟁

Tesla의 신경 리렌더 엔진과 Waymo의 CarCraft 플랫폼은 대규모 합성 훈련 데이터 생성에 대한 근본적으로 다른 두 가지 전략을 대표한다.

Physical AI 벤치마크 시리즈 제109편 — Physical AI 시뮬레이션 인프라: Tesla의 리렌더 엔진과 Waymo의 시뮬레이션 플랫폼이 합성 훈련 데이터를 생성하고, 희귀 엣지 케이스를 테스트하고, 실제 주행 마일의 가치를 배가시키는 방법

실제 주행 데이터는 수집 비용이 높고, 레이블링이 어려우며, 완전히 제어하는 것이 불가능하다. 필요에 따라 비를 내리게 해서 젖은 노면에서의 모델 동작을 테스트할 수 없다. 위기 상황을 강제로 만들어 긴급 대응을 검증할 수도 없다. 같은 교차로 상황을 1만 번 반복해서 변동성을 측정할 수도 없다. 시뮬레이션은 합성 주행 시나리오를 대규모로 생성함으로써 이러한 문제를 해결한다 — 그리고 기업의 시뮬레이션 인프라 품질은 훈련 데이터 품질에 직접적인 영향을 미치고, 그에 따라 모델 품질을 좌우하는 배율 인수가 된다.

Tesla와 Waymo는 각자의 광범위한 아키텍처 철학을 반영한 근본적으로 다른 시뮬레이션 방식을 구축했다. Tesla의 리렌더 엔진은 실제 카메라 영상에서 시작하여 비전 전용 시스템의 시뮬레이션과 현실 간의 격차를 제거하는 포토리얼리스틱 합성 변형을 생성한다. Waymo의 CarCraft 플랫폼은 LiDAR, 카메라, 레이더를 동시에 시뮬레이션해야 하는 3D 세계 모델을 구축한다 — 더 어려운 물리 문제이지만, 더 풍부한 멀티센서 합성 데이터셋을 생성한다.

섹션 1 — 시뮬레이션이 자율주행 훈련에 미치는 영향

시뮬레이션 기능	중요한 이유	시뮬레이션 없을 때
희귀 엣지 케이스 생성	실제 데이터는 정상 주행에 크게 편향됨; 아찔한 상황, 비정상적인 보행자 행동, 센서 오류는 드물다 — 시뮬레이션은 온디맨드로 생성	모델은 프로덕션에서 발생할 때까지 엣지 케이스를 본 적이 없다; 치명적인 실패 위험
반사실적 테스트	”차량이 오른쪽 대신 왼쪽으로 꺾었다면 어떻게 됐을까?” — 시뮬레이션에서만 답변 가능	실제 차량으로 대안적 결정을 안전하게 테스트할 수 없다
실제 데이터를 초월한 규모	시뮬레이션은 하루에 수백만 개의 훈련 시나리오를 생성; 실제 차량 플리트는 수천 건	데이터가 필요한 모델은 실제 데이터 수집 속도에 병목 현상
센서 모델 충실도	다양한 날씨, 조명, 센서 열화 조건에서 LiDAR/카메라/레이더가 보는 것을 정확히 시뮬레이션	실제로 센서를 열화시키지 않고는 센서 열화에 대해 훈련할 수 없다
회귀 테스트	배포 전 모든 소프트웨어 릴리스를 수천 개의 시뮬레이션 시나리오에 대해 테스트; 실제 차량에 영향을 미치기 전에 회귀 감지	모든 소프트웨어 업데이트가 라이브 실험; 더 높은 위험
안전 필수 시스템 검증	규제 기관들이 기능 안전 검증의 일부로 시뮬레이션을 점점 더 많이 수용 (ISO 26262, SOTIF)	모든 안전 검증을 실제 도로에서 수행해야 한다 — 비현실적으로 느리다

핵심 통찰은 시뮬레이션이 실제 데이터를 대체하는 것이 아니라 배가시킨다는 것이다. 적절히 캡처되어 리렌더 또는 3D 재구성 파이프라인에 입력된 단일 실제 아찔한 상황은 수천 개의 훈련 변형을 생성할 수 있다. 플리트가 씨앗이고 시뮬레이션이 배율인 셈이다.

섹션 2 — Tesla의 시뮬레이션 방식: 신경 렌더링과 리렌더 엔진

Tesla의 시뮬레이션 전략은 비전 전용, LiDAR 없는 방식과 아키텍처적으로 긴밀히 연결되어 있다.

구성 요소	기능	중요한 이유
리렌더 엔진	플리트에서 실제 비디오 클립을 가져와 물리적으로 정확한 3D 표현으로 장면을 재구성; 그런 다음 다른 시점, 조명 조건, 날씨 또는 삽입된 합성 객체(차량, 보행자)로 장면을 다시 렌더링	피닉스에서 한 번 발생한 아찔한 상황을 10,000가지 변형으로 리렌더링할 수 있다 — 하나의 실제 이벤트를 수천 개의 훈련 예시로 효과적으로 배가
신경 방사 필드(NeRF) / 3D 가우시안 스플래팅	여러 카메라 각도에서 포토리얼리스틱 3D 표현을 구축하는 신경 장면 재구성 방법; Tesla는 이러한 기술의 독점 변형을 사용(추정)	FSD가 보는 것과 정확히 일치하는 카메라 해상도에서 포토리얼리스틱 리렌더링 가능; 기본 장면이 실제이기 때문에 “시뮬레이션-현실 격차” 문제 없음
자동 레이블링 파이프라인	FSD 자체가 재구성된 장면에 레이블을 붙인다 — 모델이 원본 클립에서 보행자를 식별하면 해당 레이블이 모든 리렌더링 변형에 전파	인간 레이블링 비용 절감; 모델 능력과 함께 레이블 생성이 확장
Dojo 통합	시뮬레이션 시나리오가 Dojo 훈련 실행에 직접 피드; 컴퓨팅과 시뮬레이션이 공동 설계	긴밀한 통합은 실험에서 모델까지의 이터레이션 사이클 가속을 의미
핵심 장점	시뮬레이션-현실 격차 없음 — 렌더링된 장면은 실제 센서 데이터에서 시작하기 때문에 포토리얼리스틱; 모델이 훈련하는 것이 프로덕션에서 보는 것과 정확히 일치	전통적인 합성 시뮬레이션에는 “시뮬레이션-현실 격차”가 있다: 합성 시각적 데이터로 훈련된 모델은 실제 카메라 이미지에서 다르게 동작할 수 있다
규모	Tesla는 수십억 개의 시뮬레이션 훈련 마일을 생성할 수 있다고 주장(추정); 정확한 수치는 미공개	실제 수집만으로는 불가능한 수십 배 더 많은 데이터

섹션 3 — Waymo의 시뮬레이션 방식: CarCraft와 클로즈드 루프 테스트

구성 요소	기능
CarCraft	Waymo의 내부 시뮬레이션 플랫폼(공개 공시); 하루에 수백만 마일의 시뮬레이션 주행을 실행(추정); HD 맵에서 차량, 보행자, 자전거 이용자, 도로 기하 모델링
실제 주행에서의 시나리오 추출	실제 사건과 아찔한 상황을 추출, 익명화하여 시뮬레이션에 시드해 변형 생성; Tesla의 리렌더 개념과 유사하지만 카메라 이미지 대신 3D 세계 모델에 적용
멀티센서 시뮬레이션	LiDAR(3D 포인트 클라우드), 카메라(2D 이미지), 레이더(거리 플러스 속도)를 동시에 시뮬레이션해야 함; 카메라 전용 시뮬레이션보다 복잡
행동 모델링	다른 도로 이용자들의 현실적인 행동을 시뮬레이션(차선을 자르는 운전자, 무단횡단하는 보행자, 흔들리는 자전거 이용자); 단순 시뮬레이션 대비 핵심 차별화 요소
클로즈드 루프 테스트	시뮬레이션 자율주행 차량의 결정이 시뮬레이션 세계에 영향; 다른 시뮬레이션 에이전트가 자율주행 차량의 선택에 반응
규모	Waymo는 하루에 수천만 시뮬레이션 마일을 실행하고 있다고 공개(추정)
시뮬레이션-현실 도전	Waymo의 LiDAR 시뮬레이션은 레이저 펄스가 표면, 재귀반사 재료, 유리와 상호작용하는 방식을 정확히 모델링해야 함 — 카메라 이미지 합성보다 어려운 물리 문제(추정)

클로즈드 루프 능력은 Waymo의 가장 중요한 시뮬레이션 우위다. 오픈 루프 테스트에서 자율주행 차량의 결정은 시뮬레이션에서 다음에 일어나는 것에 영향을 주지 않는다. 클로즈드 루프 테스트에서 시뮬레이션 세계는 자율주행 차량의 행동에 반응한다. 이를 통해 자율주행 차량 자체의 행동이 위험한 상황을 만드는 시나리오라는 전체 클래스의 실패 모드를 감지할 수 있다.

섹션 4 — 산업 인프라로서의 NVIDIA Omniverse

차원	NVIDIA가 제공하는 것	이용자
Omniverse 플랫폼	USD(Universal Scene Description)를 기반으로 구축된 물리적으로 정확한 시뮬레이션 환경; 로봇 시뮬레이션, 자율주행 테스트, 산업 디지털 트윈에 사용	로봇 분야에서 광범위하게 채택(Figure AI, Boston Dynamics 등); 일부 자율주행 기업이 비프로덕션 시뮬레이션에 사용(추정)
Isaac Sim	Omniverse 내의 NVIDIA 로봇 시뮬레이션 플랫폼; 물리적으로 정확한 센서 모델; ROS2 호환	휴머노이드 로봇 개발; Tesla의 주요 자율주행 시뮬레이션 아님(Tesla는 독자 구축)
Drive Sim	Omniverse 내의 NVIDIA 자율주행 전용 시뮬레이션; LiDAR/카메라/레이더 센서 모델; 날씨 시뮬레이션; 여러 자율주행 기업 사용(Cruise, BYD 등 — 추정)	Waymo는 주로 독자 CarCraft 사용; 일부 OEM이 NVIDIA Drive Sim 사용
합성 데이터 생성	NVIDIA 플랫폼은 규모에 따라 레이블이 붙은 합성 훈련 데이터를 생성할 수 있다	독자 시뮬레이션을 구축할 수 없는 소규모 자율주행 프로그램과 로봇 스타트업

섹션 5 — 시뮬레이션 벤치마크 지표

지표	측정 내용	Tesla(추정)	Waymo(추정)
일일 시뮬레이션 마일	생성되는 합성 주행 경험의 양	일일 수십억 마일 주장(독립 검증 안 됨)	일일 수천만 마일(공개)
시나리오 라이브러리 크기	훈련/테스트에 사용 가능한 별개의 엣지 케이스 시나리오 수	미공개	미공개
시뮬레이션-현실 충실도	시뮬레이션이 실제 센서 출력과 얼마나 근접한지	매우 높음(실제 데이터에서 리렌더); 격차 최소	높음(멀티센서 물리 모델); 희귀 표면에서 약간의 격차(추정)
클로즈드 루프 능력	시뮬레이션 자율주행 결정이 시뮬레이션 세계에 영향	있음(추정)	있음(CarCraft — 공개)
회귀 테스트 커버리지	각 소프트웨어 릴리스에서 테스트되는 시나리오	미공개	미공개
핵심 장점	신경 리렌더가 카메라의 시뮬레이션-현실 격차 제거; 실제 이벤트에서 엣지 케이스 확장	멀티센서 시뮬레이션; 강건한 클로즈드 루프; 성숙된 플랫폼(추정)

섹션 6 — Physical AI 경쟁에 대한 전략적 함의

전략적 차원	Tesla 위치	Waymo 위치
시뮬레이션-모델 피드백 루프	빠름 — Dojo 통합이 리렌더에서 훈련 실행까지의 긴밀한 사이클을 의미(추정)	성숙됨 — CarCraft가 수년간 대규모로 운영 중
데이터 플라이휠	600만 대 이상의 FSD 차량이 리렌더 엔진에 시드하는 실제 영상 생성	소규모 플리트이지만 차량당 센서 데이터 품질이 더 높음
시뮬레이션-현실 격차	카메라는 거의 제로(실제 영상에서 리렌더)	카메라는 낮음; LiDAR 희귀 표면 상호작용에서 약간의 잔류(추정)
멀티센서 시뮬레이션 능력	불필요 — 비전 전용; 미구축(추정)	아키텍처에 필요; CarCraft에 내장
경쟁적 해자	리렌더 엔진이 600만 대 플리트와 연결됨 — 경쟁자들이 데이터를 복제할 수 없음	CarCraft 규모와 클로즈드 루프 성숙도가 10년 이상에 걸쳐 구축

결론적으로, 시뮬레이션 품질은 다른 모든 지표의 숨겨진 배율이다. Tesla의 리렌더 방식은 아키텍처적으로 우아하며 비전 전용 베팅과 긴밀히 결합되어 있다. Waymo의 CarCraft는 더 복잡하고 비용이 많이 드는 멀티센서 시뮬레이션으로, 센서 중복 아키텍처에 필요한 것이며, 클로즈드 루프 능력은 자율주행 차량이 유발하는 실패 모드를 잡아내는 진정한 우위다. 어느 방식도 명확히 우월하지 않다 — 그것들은 자율주행의 올바른 아키텍처가 무엇인지에 대한 두 가지 다른 베팅의 일관된 구현이다.

참고: “(추정)“으로 표시된 수치는 2026년 중반 공개 정보를 기반으로 한 방향적 추정이다. 정확한 시뮬레이션 양과 내부 플랫폼 세부 정보는 독립적으로 검증되지 않았다. 이 기사는 투자 조언을 구성하지 않는다.