2026-05-08
触觉增强 VLM 代理 — 当机器人能感觉时，策略变得更简单
— 次浏览
2026 年 5 月三家实验室推出触觉增强 VLM 策略：GelSight Mini 手指 + Llama-Vision 集成，在接触密集操作上将每任务数据需求减少约 60%。廉价商品触觉现在是可信赖的附加功能。
2026 年 5 月是触觉传感从研究演示转变为机器人操作策略可信赖商品附加功能的月份。三个独立集成在同一周推出：MIT GelSight Mini ↔ Llama-Vision、斯坦福 LeapHand 加端到端触觉策略、伯克利 DenseTact 2.0 加公开参考实现。
为何触觉改变策略预算
没有触觉时，接触密集任务（插入孔、插头插入、USB 连接、织物折叠）需要巨大的远程操作数据集 — 通常每任务类别 5,000-15,000 个演示 — 因为策略必须仅从 RGB-D 推断接触状态。有触觉反馈时，同样任务类别训练只需 40-60% 更少的演示，因为接触与非接触信号是直接的。
推出了什么
| 实验室 | 硬件 | 软件 | 结果 |
|---|---|---|---|
| MIT CSAIL | GelSight Mini（约 $300/手指） | Llama-Vision-405B 加触觉 token 适配器 | 插头插入：89% 成功，240 个演示 |
| 斯坦福 | LeapHand 加定制触觉阵列 | 扩散策略加触觉瓶颈 | 织物折叠：78% 成功，180 个演示 |
| 伯克利 RLL | DenseTact 2.0（开源，$80/手指） | RLBench 微调 | 12 任务套件：平均 71%，每任务 90 个演示 |
伯克利 DenseTact 2.0 结果对构建者最相关 — 开放硬件设计文件、参考策略代码、$80 每手指 BOM 让这进入学术实验室和小型机器人初创的可及范围。
构建者意涵
如果你今天开始一个操作策略，“我需要触觉吗？“这个问题比 6 个月前有更清楚的答案。从杂乱中拾取，仅 RGB-D 仍然有效。对任何接触动力学重要的事情（插入、可变形物体、力控装配），触觉将数据预算减少到足以改变项目经济学的程度。
实践者注记
机器人构建者：每手指预算 $80-300 用于触觉，规划 2 周集成，将触觉 token 通过现在标准的触觉 token 适配器模式接入 VLM 策略，并在第一个任务内通过 40-60% 更少演示回收这项投资。硬件成本不再是瓶颈。瓶颈是软件集成和团队中有人之前做过。