河源PVC管件胶厂家 李飞飞、Jim Fan、徐丹飞联手,给具身智能指了条新路 - 任丘市奥力斯涂料厂
任丘市奥力斯涂料厂
任丘市奥力斯涂料厂

河源PVC管件胶厂家 李飞飞、Jim Fan、徐丹飞联手,给具身智能指了条新路

2026-07-07 15:58:13

河源PVC管件胶厂家 李飞飞、Jim Fan、徐丹飞联手,给具身智能指了条新路
万能胶生产厂家

2026 年夏天,机器人圈被个近乎"黑幽默"的实验结果炸开了锅。

支由斯坦福教授李飞飞、英伟达具身智能负责人 Jim Fan、佐亚理工学院助理教授徐丹飞衔,联 Pieter Abbeel、Jitendra Malik、Ken Goldberg、Trevor Darrell 等多位顶学者的"团队",在项消融对照实验中遇到了个百思不得其解的现象。

他们在个名为 π 0.5 的行业经典模型上做了件看似理所当然的事——把触觉信号作为额外信息输入给模型。按常理,多种感知应该多分。结果却令人瞠目:据论文中的消融实验显示,任务成功率从 17 骤降至 6。

加了触觉,机器人反而"不会干活"了。

这个反常结果,像记耳光在了整个具身智能行业的脸上。过去几年,业界的主流做法是把切感知信息——视觉、语言、触觉——统统转成同种格式塞进同个大模型里,相信"数据多了自然智能涌现"。T-Rex 论文用组冰冷的数据证明:这条路,可能从开始就走偏了。

触觉为什么成了"猪队友"?

问题出在哪里?论文作者们给出了个简洁而有力的诊断:频率错配。

据论文及相关技术解读,视觉是种"慢感知"。摄像头以大约每秒 5 帧的频率扫描世界,提供的是稳定的场景语义——知道物体在哪里、长什么样。但触觉是种"快感知"。当指接触到物体的瞬间,压力、滑动、形变等信息以毫秒为单位变化,触觉反馈需要在每秒 20 次甚至的频率下才能发挥作用。

个比:这就像让个长跑运动员(视觉)和个短跑运动员(触觉)在同条跑道上以同样的速度跑步。长跑运动员觉得节奏太快跟不上,短跑运动员觉得节奏太慢憋得慌。把这两种时间尺度不同的信号强行塞进同个以低频运行的 Transformer 里,结果不是" 1+1=2 ",而是" 1+1

换句话说河源PVC管件胶厂家,不是触觉没用,是用错了地。

面对这个结构矛盾,研究团队没有在原有框架上修修补补,而是选择倒重来。

他们提出了套名为T-Rex的全新框架。T-Rex 既是"触觉反应式灵巧操作"(Tactile-Reactive Dexterous Manipulation)的缩写,也暗"霸龙"之意——虽然霸龙的前肢短小,但这篇论文要解决的,正是双灵巧手如何真正"感知"世界。

T-Rex 的核心思路可以概括为句话:别再让触觉和视觉同条力通道了,给它单开辟条立的速公路。

具体怎么实现?论文提出了套混 Transformer 架构(Mixture-of-Transformers,MoT) 。所谓"混",是把机器人的控制权拆解给三位各司其职的;所谓"变速率",是让三位各跑各的时钟频率,互不干扰。MoT 中的" M "恰好同时代表了这两层含义。

位负责"看路"和"预判"——它叫潜在。  它的任务是处理视觉和语言信息,预测"接下来场景会变成什么样",为后续动作提供时间上的上下文。说白了,它在提前想好下步会发生什么。

二位负责"画草图"——它叫动作。  它从片"噪声"开始,通过步步去噪,生成个大致的动作走向——"手往这个向移动"。这个模块的运行频率大约是每秒 5 次,对应视觉感知的节奏。

三位负责"微调"——它叫触觉。  它不参与前期的全局规划,只在接触发生的瞬间启动,以每秒 20 次以上的频实时读取指传来的力和形变信号,在动作画好的"草图"上做毫秒的精细修正——"力道轻点""往左偏毫米"。

三个的协同流程是这样的:动作先跑完前几步,画出张动作草图;触觉从某个中间节点接手,利用新的触觉数据完成剩余步骤的精化。动作负责"低频去噪",触觉负责"频精化" 。潜在全程"看路",为两者提供视觉上下文。三位各跑各的时钟,各司其职,后协同输出完整的动作。

T-Rex 的 Mixture-of-Transformer-Experts(MoT)架构河源PVC管件胶厂家。(图片来源:T-Rex)

为了让触觉真正"读懂"触觉信号,论文还门设计了套时空触觉编码器。核心是个VQ-VAE模块——你可以把它理解为个"翻译官",把过去十几帧的时序力数据压缩成离散的"触觉词汇",既能捕捉力的变化趋势,又能抵抗传感器的信号漂移。这样来,万能胶厂家触觉接收到的就是套标准化的"触觉语言",而非杂乱章的原始信号。

这套设计的本质,就是给频触觉信号辟出条立的通道,不让它被低频的视觉节奏拖累。  三个各跑各的频率,各管各的事,互不干扰,后再协同输出个完整的动作——既保留了视觉对全局的把控,又释放了触觉在接触瞬间的敏捷反应能力。

数据层面同样下足了功夫。团队构建了个100 小时的触觉同步数据集,涵盖 200 多种日常物品、22 种动作基元(抓取、挤压、插入、擦拭、折叠等)、7700 多条运动轨迹。与传统做法不同,这个数据集不是针对某个特定任务录制的,而是围绕"动作 × 物体"的组来组织—— 22 个动作搭配 200 多种物品,通过排列组覆盖尽可能多样的接触场景。这让模型学到的是通用的触觉 - 动作对应关系,而非死记硬背特定任务的模板。

训练策略同样具层次感。团队先用22,889 小时的人类视角进行大规模预训练,让模型理解人类的手部交互模式;再用上述 100 小时的机器人触觉数据进行跨模态对齐;后仅需少量特定任务示范即可完成项能力的激活。这种渐进式训练的好处是,触觉能力不需要从头学起,而是在视觉运动先验已经建立之后,以相对少的数据"嫁接"进来。

12 项"刁难"任务,30 个百分点的跨越

这套架构到底有没有用?论文在 12 项门为"刁难"机器人而设计的精细操作任务上进行了严苛测试——翻书页、转移生鸡蛋、擦盘子、挤牙膏、分纸杯、分拣麻将、开锁、填药盒、模拟化学滴定、抽卡片、发扑克、拧灯泡。每项都要求机器人对接触力进行动态的、即时的调节。

T-Rex 完成翻书等接触密集型任务(图片来源:T-Rex)

终结果令人振奋:T-Rex 相较此前强的基线模型,在这 12 项任务上取得了过 30 的平均成功率提升。在翻书页、分纸杯等对力度为敏感的任务中,T-Rex 的表现从"几乎不可用"跃升到了"初步具备实用价值"。

进步的消融实验反向印证了设计的精妙:旦切除所有触觉输入通道,系统成功率出现断崖式下跌;而如果强行取消异步运行机制,让触觉被迫降频与视觉同步,能同样会显著劣化。这恰恰说明,T-Rex 的成功并非单纯来自"加了触觉",而是来自"用对了触觉"——给它立的节奏、立的通道、立的处理逻辑。

T-Rex 这篇论文的价值,远不止于组漂亮的实验数据。它用个具说服力的反例,向整个具身智能行业发出了个明确的警示信号:

"万物皆 token、切进大模型"的通用范式,并不适用于所有感知模态。

视觉和语言是"慢变量",适放在同个巨大的 Transformer 里做全局关联理;但触觉是"快变量",它关乎物理接触和即时反馈,需要单的频闭环控制回路。强行把两者塞进同个模子,结果不是融,而是污染。

这让人联想到经科学中经典的双流假说——视觉腹侧通路负责"识别是什么",背侧通路负责"指怎么做"。T-Rex 的混架构,某种程度上是在机器人身上复刻了这种生物演化的智慧。

当然,论文也坦诚了当前的局限:对于需要数秒连贯协调的复杂操作,纯粹的行为克隆仍受限于示范数据的覆盖度;当前触觉感知仅限于指而非全手掌,且传感器标定与漂移问题仍是工程痛点。但这些属于"成长中的烦恼",并不妨碍 T-Rex 所确立的范式意义。

这篇论文传递的核心信息已经比清晰:别再让机器人光靠"瞪大眼睛看"来干活了,是时候让它们学会"伸出手去摸"。  触觉不应是视觉的附庸,而应是条立的、与视觉平起平坐的物理感知通道。

那个" 17 跌到 6 "的反常实验,或许正是机器人从"看见世界"走向"感知世界"的关键转折点。(本文发钛媒体 APP,作者 | 硅谷 Tech-news,编辑 | 赵虹宇)相关词条:不锈钢保温施工     塑料管材生产线     钢绞线厂家    玻璃棉板    泡沫板橡塑板专用胶

奥力斯    泡沫板橡塑板专用胶报价    联系人:王经理    手机:18232851235(微信同号)    地址:河北省任丘市北辛庄乡南代河工业区

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。