Li Auto releases ME-Dex-1.0 world-action-tactile model, treats tactile as part of future state
ME-Dex-1.0 routes video, tactile, and action through three experts with H-Bridge shared attention. RoboTwin Clean/Random success rates of 91.56%/91.92% beat Fast-WAM's 89.22%/89.22%; ManiFeel plug-and-assembly averages 70.0% (+15 pts over baseline).
理想汽车 Foundation Model 团队 9 月 21 至 22 日连续发布四份技术报告与配套代码、权重——ME-Brain-1.0、ME-VLM、ME-U0 与 ME-Dex-1.0。其中 ME-Dex-1.0 关注「触觉」这一此前被忽视的输入与预测对象,将触觉从辅助信号提升为模型需要预测的未来世界组成部分。
在架构上,ME-Dex-1.0 用视频、触觉与动作三个专家分支分别负责预测,并通过 H-Bridge 共享注意力机制交换信息。异构触觉信号首先映射到类人手的统一区域模板(双手 34 区域),再由统一触觉自编码器压缩为共享潜在表示;数据引擎通过仿真力传感器将已有机器人轨迹补全为同步触觉数据。
在 RoboTwin 50 个仿真任务的随机场景测试中,ME-Dex-1.0 的 Clean 与 Random 成功率分别为 91.56% 与 91.92%,对照方案 Fast-WAM 为 89.22%/89.22%;消融显示 Random 成功率从只建模视频与动作的 86.90% 逐级升至加入当前触觉的 89.54%、预测未来触觉的 90.60%、接入 H-Bridge 后的 91.92%。在 ManiFeel 四项插拔装配仿真任务中,ME-Dex 平均成功率 70.0%,比官方基线高 15 个百分点。
理想同步发布的 ME-Brain-1.0 处理记忆与行动协作,ME-VLM 为 ME-Brain 的认知内核,ME-U0 在所涵盖的机器人平台上无需额外后训练即可直接执行拿起记号笔、把纸巾放入盒子、移动数字完成算式三类任务。