2026-05-08
觸覺增強 VLM 代理 — 當機器人能感受時，策略變得更簡單
— 次瀏覽
2026 年 5 月三家實驗室推出觸覺增強 VLM 策略：GelSight Mini 手指 + Llama-Vision 整合，在接觸密集操作上將每任務資料需求減少約 60%。便宜的商品觸覺現在是可信賴的附加功能。
2026 年 5 月是觸覺感測從研究 demo 轉變為機器人操作策略可信賴商品附加功能的月份。三個獨立整合在同一週內推出：MIT GelSight Mini ↔ Llama-Vision、Stanford LeapHand 加端對端觸覺策略、Berkeley DenseTact 2.0 加公開參考實作。
為何觸覺改變策略預算
沒有觸覺時，接觸密集任務（插入孔、插頭插入、USB 連接、布料折疊）需要巨大的遙操作資料集 — 通常每任務類別 5,000-15,000 個示範 — 因為策略必須僅從 RGB-D 推斷接觸狀態。有觸覺反饋時，相同任務類別訓練只需 40-60% 更少的示範，因為接觸與非接觸訊號是直接的。
推出了什麼
| 實驗室 | 硬體 | 軟體 | 結果 |
|---|---|---|---|
| MIT CSAIL | GelSight Mini（約 $300/手指） | Llama-Vision-405B 加觸覺 token 適配器 | 插頭插入：89% 成功，240 個示範 |
| Stanford | LeapHand 加客製觸覺陣列 | 擴散策略加觸覺瓶頸 | 布料折疊：78% 成功，180 個示範 |
| Berkeley RLL | DenseTact 2.0（開源，$80/手指） | RLBench 微調 | 12 任務套件：平均 71%，每任務 90 個示範 |
Berkeley DenseTact 2.0 結果對構建者最相關 — 開放硬體設計檔、參考策略程式碼、$80 每手指 BOM 讓這個進入學術實驗室和小型機器人新創的可達範圍。
構建者意涵
如果你今天開始一個操作策略，「我需要觸覺嗎？」這個問題比 6 個月前有更清楚的答案。雜亂中揀取，僅 RGB-D 仍然有效。對任何接觸動力學重要的事情（插入、可變形物體、力控組裝），觸覺將資料預算減少到足以改變專案經濟學的程度。
實踐者注記
機器人構建者：每手指預算 $80-300 用於觸覺，計劃 2 週整合，將觸覺 token 通過現在標準的觸覺 token 適配器模式接入 VLM 策略，並在第一個任務內透過 40-60% 更少示範回收這項投資。硬體成本不再是瓶頸。瓶頸是軟體整合和團隊中有人之前做過。