2026-06-18 — views

自駕車模擬——Waymo與Tesla如何在數十億虛擬里程上訓練自動駕駛系統

Waymo每年模擬200億英里；Tesla透過Dojo訓練600萬輛車的影像——模擬是拉開自駕車差距的關鍵乘數。

實體AI基準系列第74篇——自駕車模擬與合成資料

你無法透過等待真實道路上的事件，來訓練自動駕駛車輛應對行人闖紅燈、高速爆胎或孩童衝入車道的情況。模擬是訓練乘數——它讓自駕車公司在真實車輛遇到危險之前，就能在軟體中重複遭遇數十億次罕見且危險的場景。

Waymo估計每年執行約200億英里的模擬里程（估計值）。Tesla透過Dojo超級電腦對來自600萬輛真實車輛的影像進行訓練。自駕車領導者與追趕者之間的差距，不僅在於實際行駛里程，更在於模擬能力、合成訓練資料的規模，以及從真實邊緣案例到模擬訓練環境的閉環速度。

本文將梳理模擬架構、合成資料管線，以及模擬能力對實體AI躍升基準的意涵。

第一節——為何模擬不可或缺

自駕車訓練的根本問題在於長尾：真實駕駛場景的分佈極廣，但對安全最重要的場景——罕見、危險、幾乎釀成事故的事件——在有機的真實數據中出現頻率極低。等待這些事件在真實道路上發生，並不是可行的訓練策略。

訓練挑戰	真實道路方法	模擬方法
罕見但關鍵的事件	等待行人闖紅燈——每百萬英里可能只發生一次	以隨機化的時機、速度和車輛位置，生成數百萬個合成的闖紅燈場景
致命場景	無法故意讓真實車輛撞向騎行者	以完整物理保真度模擬碰撞；零成本訓練避免策略
邊緣案例覆蓋	真實車隊有機累積數據——速度慢且存在地理偏差	模擬可為任何地理環境、天氣、時段、交通密度生成數據
策略迭代速度	部署新軟體→累積真實里程→評估：每輪需數週	在模擬中測試新策略→數小時內評估；迭代速度快100倍
邊角案例（長尾）	真實數據中罕見場景的長尾長得難以窮盡	模擬可按需生成有針對性的長尾場景
安全性	在真實道路上訓練真正危險的場景根本不可能	模擬本質上安全；對人員和設備零風險

核心模擬原則：每1英里的真實駕駛資料，都可以衍生出數千種模擬變體——不同天氣、不同道路使用者、不同初始條件。能夠最有效執行模擬的公司，能比任何純依賴真實里程的公司更快改進其策略網路。

第二節——Waymo的模擬平台：Carcraft

Waymo操作的Carcraft是一個內部模擬平台，與其真實世界的自駕車專案並行建立了超過十年。Carcraft不是輔助工具——它是Waymo的主要訓練環境。

屬性	詳情
名稱	Carcraft（Waymo的內部模擬平台）
規模	Waymo表示每年運行約200億模擬英里（估計值）
架構	高保真物理模擬；真實感知器建模（LIDAR點雲、相機渲染、雷達回波）；其他車輛、行人、騎行者的代理行為模型
感測器模擬	Waymo模擬完整的感測器套件——模擬的LIDAR點雲必須具備足夠的物理精確度，使真實感知堆疊能夠直接處理而無需修改
場景生成	將真實駕駛數據反饋至模擬，對真實道路上遭遇的邊緣案例進行系統性變體生成
代理行為	Waymo模擬中的其他車輛與行人，以從真實世界觀測中提取的校準行為分佈進行建模
基礎設施	在Google Cloud TPU上運行（Google擁有Waymo，得以取用大規模算力）；估計為全球任何產業中規模最大的專用模擬算力集群之一（估計值）
真實到模擬的閉環	當真實Waymo車輛遭遇意外情況時，該場景會自動納入模擬進行訓練和迴歸測試

真實到模擬的閉環是Waymo的結構性優勢：每一個真實世界的邊緣案例都能在數小時內成為模擬訓練數據。一輛在舊金山遭遇罕見行人行為的車輛，可以觸發數千種該場景的合成變體生成——不同速度、不同光線、不同天氣——在下一次軟體更新發佈之前完成訓練。

Carcraft的規模也使得迴歸測試可以達到真實世界測試無法企及的水準。Waymo每次發佈軟體更新前，都必須在模擬中通過針對數萬個先前記錄場景的迴歸測試，才能讓真實車輛運行更新後的代碼。這就是模擬安全網。

第三節——Tesla的方法：真實影像加Dojo

Tesla的訓練哲學與Waymo根本不同。Waymo構建合成世界，Tesla則收割真實世界。

屬性	Tesla	Waymo
主要訓練數據	來自600萬輛以上車隊的真實影像（拍位元組量級的真實世界相機影片）	來自約1,500輛自駕車的模擬加真實里程
模擬角色	次要——Tesla在特定場景使用模擬，但真實影像是主體	主要——每年數百億模擬英里（估計值）
Dojo	專為大規模影像訓練打造的超級電腦；定製D1晶片針對晶片間頻寬最佳化	使用Google Cloud TPU（Google母公司關係）
Dojo D1晶片	7nm定製晶片；362 TFLOPS FP16；晶片間900 GB/s互連——專為分散式影像處理設計	不適用
訓練目標	訓練神經網路將8個相機影像直接映射至駕駛決策（大規模端到端或模仿學習）	分別訓練感知、預測、規劃模組；模擬分別覆蓋各模組
優勢	真實世界數據分佈——模型在現實中見到真正的邊緣案例	可為任何場景生成無限合成數據；不受車隊規模限制
劣勢	無法在不等待真實發生的情況下訓練罕見或危險場景	模擬保真度落差——模擬感測器數據與真實感測器數據並不完全相同

Dojo是Tesla對Waymo TPU集群取用能力的回應。D1晶片專為Tesla面臨的特定計算瓶頸而設計：處理來自數百萬輛車的拍位元組連續影像，並在這些數據上即時訓練大型神經網路。傳統GPU集群在分散式影像訓練的記憶體頻寬需求上表現吃力，D1的900 GB/s晶片間互連正是為解決這個具體瓶頸而設計。

Tesla的真實數據飛輪創造了另一種複利優勢。每一英里由Tesla車主駕駛的FSD里程都會生成訓練數據。隨著車隊增長，訓練數據也按比例增長——關鍵在於，它以模型部署後會遇到的真實世界場景分佈增長。Waymo必須在模擬中工程化這種分佈；Tesla只是在收集它。

第四節——模擬到真實的落差：尚未解決的問題

以模擬為重心的方法有一個根本限制，即模擬到真實的落差：僅在模擬數據上訓練的模型，在部署於與模擬在細微之處存在差異的真實感測器輸入時，可能表現不佳。

挑戰	描述	現狀
感測器保真度	模擬LIDAR點雲必須與真實LIDAR點雲足夠接近，使模型能從模擬泛化到真實	Waymo已大量投資高保真感測器模擬；仍不完美——僅在模擬數據上訓練的模型在真實數據上表現遜色
行為真實性	模擬的行人和駕駛員必須像真人一樣行動	從真實數據校準的行為模型有幫助；極端罕見行為仍難以建模
領域隨機化	策略：廣泛隨機化模擬參數，使模型學會對任何模擬變體具有魯棒性，從而更好地遷移到真實世界	對部分場景有效；對其他場景不足
NeRF與高斯散斑	新方法：將真實場景從相機影像重建為3D神經表示；從新視角重新渲染以生成訓練數據	Waymo、Nvidia等正在使用神經場景重建縮小模擬到真實的落差；前景看好但計算密集
UniSim與GAIA	Waymo（UniSim）等正在構建從真實世界輸入生成照片級真實感知器數據的神經模擬器	活躍研究領域；減少對手工物理模擬的依賴

領域隨機化——故意在模擬參數中引入變體——是模擬到真實遷移的第一個系統性策略。透過在光線、紋理、天氣和感測器噪聲隨機化的模擬上訓練，模型對特定模擬器的具體缺陷變得更具魯棒性。但單靠領域隨機化，尚未能在所有條件下將落差縮小到生產自駕車部署所需的水準。

NeRF和高斯散斑方法代表了一種根本不同的策略：不從頭構建合成世界，而是在3D神經表示中捕捉真實世界，並在任何視角或任何條件下重新渲染。Waymo車輛在舊金山記錄的場景，可以在雨中、夜間重新渲染，添加被遮擋的行人——而無需物理模擬管線從頭建模這些條件。

第五節——模擬作為競爭護城河

模擬能力已成為自駕車競賽中的主要競爭維度。能夠更快、更準確、更大規模進行模擬的公司，可以比任何更多依賴真實測試的競爭對手更快迭代策略。

維度	領先者	重要性
每年模擬英里數	Waymo（約200億英里，估計值）	更多模擬英里等於更多邊緣案例覆蓋，等於更安全的真實世界表現
模擬算力	Waymo（Google TPU取用）vs Tesla（Dojo）	算力規模決定策略迭代速度
真實到模擬管線	Waymo（Carcraft真實到模擬閉環）	更快將真實邊緣案例納入模擬意味著更快改進
神經模擬	積極競逐（Waymo UniSim、Nvidia COSMOS等）	下一個前沿：照片級真實神經模擬器消除模擬到真實的落差
場景庫	Waymo（建立10年以上的最大場景庫）	深度場景庫難以複製——需要多年工程積累
數據飛輪整合	Tesla（真實車隊→真實影像→訓練→更好模型→更大車隊）	Tesla的優勢：大規模真實數據；模擬為輔

Nvidia COSMOS（2025年）： Nvidia於2025年初推出COSMOS——一個用於實體AI模擬的世界基礎模型。COSMOS生成照片級逼真的合成影像，用於訓練機器人和自駕車系統。它代表了首個以產品形式提供的通用神經世界模擬器——有望讓沒有Waymo或Tesla內部模擬基礎設施的公司也能取用高保真模擬。對於規模較小的自駕車專案，COSMOS將生成高質量合成數據的門檻，從多年的工程投資降低到了算力預算的問題。

場景庫優勢尤為持久。Waymo花費超過十年構建了一個邊緣案例、罕見事件和角落場景的庫——每一條都被標記、分類，並隨著真實車隊遭遇新情況而持續新增。今天進入模擬競賽的競爭對手，需要從頭工程化Waymo已經編目的所有邊緣案例，還要建立物理模擬基礎設施。這形成了一條隨著每年運營而不斷加深的複利護城河。

第六節——關於本系列

本篇是實體AI基準系列的第74篇。此前文章涵蓋了躍升指數、人形機器人競賽、單位經濟學、全球競爭、高精地圖、軟體與OTA、消費者需求、競爭護城河、Cybercab vs Model Y、安全數據、Waymo第六代、Optimus製造、計分卡快照、2030年預測情景、投資者框架、城市擴張管線、Tesla FSD州批准地圖、自駕車天氣與氣候限制、人才戰、監管日曆、機器人計程車費率定價、人形機器人部署追蹤器、供應鏈分析、消費者採用需求指數、估值與IPO分析、實體AI 2026年中盤點、自駕車每英里成本分析、自駕車數據飛輪比較、自駕車網路安全攻擊面、實體AI供應鏈、自駕車車隊運營、自駕車保險與責任演變、實體AI全生命週期環境成本、老年人與殘障人士的無障礙層、地圖架構比較，以及中國自駕車競賽。

本篇新增模擬維度：合成訓練基礎設施讓自駕車領導者能夠以超越任何真實車隊的速度累積訓練經驗——以及神經世界模型的前沿，這將在未來五年重塑誰掌握模擬優勢。

注意： 模擬里程估計、車隊規模、晶片規格和競爭評估標注為「（估計值）」，反映了公開可用資訊、公司披露及行業分析。本文不構成投資建議。