谁都没有料到, 事情会发生得如此突然。在深夜时分, Anthropic这个团队毫无预警地发布了他们的下一代旗舰产品Fable 5.2。这一举动意味着他们直接插手进了物理世界的相关事务当中。
它在全面性能方面的体现, 是直接就把Opus 5.5给甩在后面的, 而且它还展示出了那种让人吃惊的, 能够适应各种不同情况的能力, 这意思是说, 就算它是遇到了那些从来没有接触过的, 全新的任务类别, 它照样也是可以非常轻松地, 去进行把握和处理的。
能够徒手去拼魔方, 也能够把瓶盖拧下来, 还能画出机器人。在安装齿轮并进行对齿合效果的测试时, Fable 5.2这个模型拿到的成功率达到了百分之六十四点九。它在RoboDojo的测试里面, 很轻松地就把其他的对手都给打败了, 结果比GPT-6 Astra还要多出将近一倍。
就在两个月前, GPT-6 Astra 同样表现出了让人感觉操作很厉害的样子。因为被精通电脑技术的人装上了两只可以灵活活动的手。然后它就立刻弹起了肖邦创作的夜曲。
看到这种情形, 人们是不是会在心里头产生出一个念头, 觉得大型模型即将在短时间里对现实中的物理世界进行主导控制和管理呢?
就在同一个那份评定结果里面, 执行测试工作的队伍是叫RoboDojo的这个团队, 他们把之前曾经拿到过榜单第一名位置的那个叫作Astra的对象放置到了真实的机器上面去, 让他去参加对于插入充电设备以及进行插入试管这两个动作的挑战测试。
最后之所以会出现那种情况, 完全是因为那个系统只拥有视觉的功能, 但是没有触觉反馈。所以, 当插头明明已经是顶歪并且卡死的状态下, 它那边完全感觉不到任何阻力存在。
于是, 毫无防备的机械臂按照视觉给出的指示, 一路莽撞地直接顶上去, 结果就在现场把原本正确的硬件给撞坏了！
研究员吓得赶紧去拉总电闸来紧急停止作业, 最后在针对真实机器开展的总计三十三次实地测试环节里面, 这两项具体的任务内容全都未能取得成功表现, 最终取得的直接成功比率数值就是零, 也就是百分之零。
为什么会出现如此巨大的反差现象?
因为在拼魔方以及进行画画这样的工作活动中, 仅仅依靠“眼睛”来进行观察是完全充足的, 可是当真正涉及到来进行那些非常细致的操作性工作时, 单纯地依赖于摄像头设备则是完全来不及做出反应的, 同时也是根本无法看清实际状况的。
一方面是, 杯子是在人的手指尖那里发生了滑动, 等到摄像头那边把相应的画面给捕捉到的时候, 这个杯子早就已经破碎掉了。
从另外一个方面来看, 到底瓶子盖子是被拧松了还是手指头在那儿空转, 在镜头里面看着是一个模样, 再说了接触的那个地方经常还被手指头自己给挡住。
也因为如此, 在汽车厂的组装工作里面, 插线束这样的活儿, 就是因为缺少那一瞬间指尖的感觉, 所以奥迪公司公开承认说, 整个行业里自动化操作的比率到现在为止还没有超过10%。
把话说到底的话呢, 也就是今天这机器人它缺的那个东西, 已经不是去弄一个更厉害的眼睛这么简单了, 而是它需要有一种非常灵敏的那个叫做手感的东西。
就在刚刚的那个时刻, 蚂蚁灵波科技把通用触觉基座模型LingBot-Touch给正式发布了, 而且把这个东西也给开源了, 它一下子就补上了那块最关键的最主要的短板。
项目主页：https://technology.robbyant.com/lingbot-touch
这是一份技术类的报告文章。https://github.com/Robbyant/lingbot-touch/tree/main/paper
GitHub：https://github.com/Robbyant/lingbot-touch
Hugging Face：https://huggingface.co/collections/robbyant/lingbot-touch
魔搭社区：https://www.modelscope.cn/collections/Robbyant/LingBot-Touch
这是它第一次把视触觉、磁触觉、压阻式这三种不同的触觉信号, 统一转换成动作模型, 拿来就能用的「通用触觉Token」。
这样一来呢, 机器人终于能够经过练习去形成一种特定的感觉了, 那种感觉就是就算换了一个更加灵巧一点的手部工具过去, 它也都还能够继续去接着用的。
532万参数即插即用
26项精细操作全线暴涨
在真机设备上面, 触觉反馈这件事儿, 现在的人们是极其地去讲究它的那个叫作时效性这么一个东西的。
因此, 为了不跟视觉模型抢算力, 也不跟动作模型抢算力, 团队直接派出了最轻量的Tiny版本, 这个版本的参数只有532万。
因此, 在接进三大主流动作模型之后, 参数量只多出百分之零点一三到百分之零点一六, 几乎不加负担, 却让灵巧手瞬间有了「分寸感」。
以「抓喷雾瓶喷水」这个具体的操作动作来进行分析, 因为塑料制作的瓶身表面十分的平滑, 如果单纯地依赖视觉进行判断, 并且在刚刚施加力量的一瞬间过于用劲, 就会导致食指出现打滑的现象, 进而造成物体脱离手中的情况。
而当系统接上LingBot-Touch设备之后, 指尖只要出现极微小的滑动动作, 系统就会立刻进行微调, 从而帮助使用者调整手部姿势, 最终使得手指能够稳稳地扣动扳机, 这样一来, 整体操作的成功率出现了显著提升, 具体表现为从42.50%急剧增长到了87.50%。
再来看看那种非常考验双臂协调能力的, 挤牙膏的动作。软管要是捏得太轻了的话, 就挤不出来。要是捏得太重了的话, 东西又会乱窜得都是。
因为有了触觉Token的帮助, 双臂不仅可以实现对窄小刷头的精准对齐, 同时拇指还能够顺着管身所施加的阻力, 以细腻的方式提供压力, 从而确保将牙膏精确地挤在刷毛上面。
哪怕是开头那一段, 用视觉大模型把真机的插孔对准给搞坏了的情况, 现在换做是要求更精细的拿钥匙开锁这个动作, 也被轻松地掌握了。
只见那指尖, 把小钥匙给捏住了, 顺着锁孔里面, 那点微弱的、碰撞着产生的阻力, 一边去试探, 一边去做微调的动作, 在对准了之后, 非常干脆、也非常利索地, 猛地就把那个挂锁给拧开了:
更有意思的情况, 是那个叫做“盲摸麻将”的项目, 这个项目的规则严苛到了极点, 严格来说就是, 假如牌面有机会露给镜头看一眼的话, 就直接判零分。
这个灵巧手在操作的时候完全就不需要借助眼睛, 只需要用指腹轻轻地一按, 就能够摸出那些凹凸的花纹, 并且把东西分门别类地放进不同的盘子里, 这样一来成功率就直接翻了倍, 达到了百分之七十的水平。
还有一个例子是说, 要是把那两个摞在一起的软纸杯给拆开来的话, 手指可能会把那个镜头也给挡住死死的, 你要是捏杯子的时候用劲大了点, 那杯子就会变扁, 要是用劲轻了呢, 就又根本抽不出来。
不过因为有触觉Token在帮忙, 所以双臂是可以顺着指尖那边非常微弱的摩擦变化, 然后进行一个轻轻的搓的动作，从而把内层纸杯抽出来的。
这些并不是全部的日常工作细节, 团队使用了两种不同构造的灵巧手, 并且搭配了四款主要的动作模型, 一口气实际测试了26项真实的机器任务以及12项计算机模拟操作, 接入到LingBot-Touch的组合之中实现了全线的冠军荣誉:
三大动作模型实现了全面提分, T-Rex、π0.5和LingBot-VLA的平均成功率分别大幅上涨, 增长的幅度分别是23.18个百分点、21.81个百分点, 以及24.81个百分点。
在精细操作方面, 表现稳定且精准果断速度也快；单页翻书的成功率达到了百分之九十一的峰值并附加了小数点后的二五数字；按下按钮弹出SD卡的动作成功率飙升到了百分之九十二；搬运软纸杯的时候, 最高成绩拿到了满分的一百整数值。
12项仿真操作获得了高分并且全部通关, 转盘子项目的成功率超越了97%, 转笔项目的成功率也超过了97%, 即便是纯视觉0分的端托盘平衡滚球项目, 最终的得分率也达到了67.7%。
5000小时真实触觉数据
这个灵巧手只要拿来, 就可以直接进行使用了。
之所以触觉这么管用, 但是通用大模型却这么难训, 主要还是因为卡在了「传感器各说各话」这个地方, 另外也是因为极度缺真实数据。
我们先看一下硬件方面, 当前主流的三类触觉传感器, 它们的底层运作原理是完全不相同的:
视触觉这种方法, 它就是在指尖那里藏上一台小相机, 然后去拍摄软胶发生的形变状况, 这样就可以看清楚那些极其细微的接触情况了, 所以说它适合用来拧瓶盖, 但是因为受到帧率的限制, 所以它的反应速度就不够快。
磁触觉是靠软磁材料受到力的作用来改变磁场, 它擅长去感知那些多方向的力与滑动, 非常适合用来拉拉链、插插头, 但是又怕周围的磁场会有干扰。
所谓压阻式, 就是让材料在受到压力的时候把电阻给改了, 它的好处能花比较少的钱去把整个手指还有手掌的地方都给铺满, 而它的坏处则是分辨率没法弄得特别精细。
这就使得出现了这样一种结果, 那就是尽管都是采取了把杯壁给压住这一个操作动作, 可是那三类传感器所记录下来的数据信息却完全是不相通的, 并且如果把支撑的这只手换成另外一只手来进行的话, 那么整个训练过程就都必须得推倒重来再做一遍。
更有意思的是缺数据, 过去全靠人遥控机械臂去采, 又慢又贵, 给大模型喂不饱。
为了解决数据方面的难题, 蚂蚁灵波想到了一个比较巧妙的办法, 这个办法就是让真人戴上手腕上比较轻便的触觉手套, 然后在日常生活的场景里面, 直接去采集关于人类的手感的这种数据。
这样一来, 当人们在拧瓶盖、擦桌子或者插插头的时候究竟该怎么去发力, 那么手套就会相应地记录这些发力的情况。
最终, 他们依靠人手佩戴手套的方式与对真实设备进行的远程控制相互结合起来, 从而使团队积累了规模庞大的数据。
这些数据是全球范围内最大的, 总时长接近5000小时, 具体为4983小时, 帧数达到了13.3亿帧, 全部属于真实触觉数据。在这些数据之中, 有整整三分之二的部分是由人类佩戴的手套所贡献出来的。
可是, 人类的手和那个灵巧的机器人手, 它们的长得完全不一样。所以, 人们采集到的那些数据, 对于机器人来说真的有用吗?
关于这一点, 通过使用实际测量方法给出了能够让人感到惊喜的结果。也就是指人们手上累积下来的那种操作感觉, 竟然能够直接进行迁移, 并且不需要任何样本, 就可以应用到全新版本的灵巧设备上去。
得让人明白, 这个预训练操作当中所涉及的磁触觉数据, 那是百分之百都来自于人类所使用的手套。模型压根儿就没有见过用于测试目的的那种新款的磁触觉灵巧手的具体情况。
团队把触觉模型参数完全冻住, 在直接装上这只新灵巧手之后, π0.5的平均成功率立刻由48%飙升到了74.17%, 搬运软纸杯的任务更是直接从58%跳到了90%。
这就意味着, 掌握物理接触方面相关技巧的能力这个状况, 现在已经跨越了硬件形态这种界限, 并且是被原封不动地从人手那边传递到了灵巧手那边去。
统一三类触觉信号
靠预测受力练出真手感
那在底层部分, 需要把来自三种传感器的数据, 还有人手以及灵巧手的数据, 一起弄到一个模型里面, 灵波团队抓住了核心的那些共同点:
不管传感器测的是图像、磁场还是电阻，最后回答的都是同四个问题——手指碰在哪、用了多大力、力往哪边走、有没有在滑。
既然问题也是同样的问题, 于是团队就将“理解接触”这个部分给单独地拎了出来, 并且分成了三步去进行执行, 最终是把它做成为一个通用的基础模型。
第一步嘛, 要分别地把那个收件给弄好, 这个步骤是按照原来的那样那个原理来的。
具体来说, 团队给三类传感器各设一个极简的入口, 把它们转成统一的格式之后, 再交给同一个触觉主干网络进行学习, 具有同类原理的新硬件直接就能接进来。
到了第二步这个阶段, 大家应该要把所有的指尖部分都放进去, 放进同一张所谓的「地图」（5D-RoPE）里面去吧。
仅仅做到格式统一是不够的, 还要知道那些灵巧手的触点在排布方面也是千差万别的, 各不相同。
因此, 团队把所有触点统一映射到三维指尖球面坐标当中, 并且对疏密程度以及位置做随机微调, 这么做是为了防止模型死记硬背单一硬件的排布方式。
第三步, 去做一道名为“补全接触”的题目。
为什么要专门地去设计这一道题目呢? 这其实是有原因的, 因为在人们抓握物体的时候, 绝大部分接触点也就是超过百分之九十的接触点, 实际上根本什么也没碰到。因此, 这些位置所得到的读数全部都是零值以及底噪信号。
如果照着用视觉模型去把遮住的一块给还原出原本的读数来, 这个模型它只要是全把地方填上零, 就能白白地拿到九十分。
结果是在用四千小时的数据进行实验的时候, 传统方案在处理跨模态检索任务时所能达到的前5名召回率指标, 分别仅为3.06%以及8.69%, 这是一个非常低的表现。
于是, LingBot-Touch去借鉴了图灵奖得主LeCun所推崇的JEPA架构, 这一做法是让高达90%的区域直接被遮住。
在这个基础之上, 这个东西并不是让模型去把零值底噪给还原回来的, 反过来讲, 它去搞明白了那些被遮住的地方是怎么受力的, 就这么一来, 直接把检索召回率这个数给拉高到了49.32%！
通过用手盲摸来进行定位, 其准确度能够达到零点一二毫米。
触觉也能Scaling
大家普遍想知道的是, 这套架构在对物理接触进行感知时, 到底能够达到一个什么样的准确程度呢?
为了应对这一局面, 团队在五项物理接触测试里头的安排是, 主流开源模型这个说法指的的是FTP-1, 是可以外挂硬件专用适配器的, 相反的是LingBot-Touch, 从始至终权重全部都是锁死的状态, 连一分参数都不去做修改。
就算是在给对手让了一手这种情况之下, LingBot-Touch照样把指尖进行盲摸定位的时候所产生的误差给控制了, 对手的那个数值是2.19毫米, 而被它强行压到了0.12毫米, 针对那款新款的磁触觉灵巧手来说, 也同样是被压到了0.16毫米。
与此同时, 对指尖处的三维力的感觉所出现的误差数值也同样实现了降低, 减少的程度大约达到了65%。
当把这些组件装入内部, 并且在同一个动作指令之下进行运行时, 大脑需要测试总共五项实际的机器操作任务的结果显示, 平均的成功率数据方面形成了鲜明的对比, 一个是82.2%, 另一个则是67.5%, 前者的成绩是以大幅的优势赢得了胜利。
更值得注意的是, 团队在达到五千这个数量级的时间规模的时候, 明确地观察到了触觉领域里面同样是存在一种叫做放大效应或者规模效应的情况, 并且成功地把这两条关键性的发展趋向给提炼并展示出来了。
从一方面来看, 让来自三种具有不同特性的传感器的数据混合在一起进行训练工作, 使得所有的衡量指标都全面超越了它们单独各自发挥作用的局面, 这样一来, 各个不同的硬件路线所获取的数据最终汇聚到同一个地方, 从而呈现出这样一种情况, 也就是把一再加上另一再加以三, 所取得的成效会比单纯的一加一加一的结果还要大于三, 这就是所谓的“1+1+1>3”的效果。
另外一边呢, 等那个数据量堆到了将近5000个小时的时候, 就出现了这种情况, 那种叫轻量级的Tiny版本, 它是在过了4000个小时之后, 就开始慢慢达到饱和状态了, 但是那个容量更大的Small版本, 它还在一直持续上涨。
这就表明, 模型变得越大, 数据也越多时, 机器人的那种手感就会变得越来越强烈。
在硬件方面不需要做到统一标准, 智能能力却可以共享。
LingBot-Touch的价值，其实不止于让机器人多了一种感觉。
大家心里得有数, 触觉是那种物理方面原本的、最基本的模式。文字和图片这种东西, 在网上到处都是, 可是数字世界里面用的大模型, 从来没有真正地去摸摸过什么东西, 这就是为什么开头那个Astra插头都卡死了, 它也一点感觉都没有, 浑然不觉的这个原因。
此外再加上每一个传感器的工作原理都是不相同的, 关于触觉方面的资料在漫长的时间里一直处于分散以及零碎的状态, 一直都没有办法形成一种具有统一性质的表征方式。
现在, LingBot-Touch进行了证明, 哪怕是最依赖于硬件的触觉, 也可以提炼出统一的表征。
这件事在触觉方面已经被证实了, 接着看下去的话, 是完全能够把这个范围进行扩展的, 扩展到具身智能这个整体上头去的。
物理操作这件事很难实现广泛的适用, 有一个很大程度的原因正好处在硬件这个环节上面: 机器人的本体、那种能灵活操作的手, 还有用来感知的传感器, 它们各自的发展路线是完全不一样的, 大家辛辛苦苦才积攒下来的经验, 全都是被分别地锁死在每一种特定的硬件里面的。
对于这一点, 蚂蚁灵波这边的思路是特别清楚的, 在硬件这一块没有必要去搞成统一的模式, 但是在智能这个领域是可以大家一起去共享的。
它想要做的事情, 其实是处于硬件和具体使用场景之间的那一层智能。具体来说, 就是把来自于不同本体、以及由不同传感器所积累下来的那些物理方面的经验, 转化成一种可以被共享的统一的表示方式。然后, 再以开源的形式提供出来, 并且这种方式还可以被拆分。
今年的时候, 灵波把那些空间感知模型给开源了, 这个是用来负责让人看得清楚的, 同时呢也把世界模型给开源了出来, 这是为了负责想要明白清楚的原因, 此外还有那个跨本体动作模型也已经被开源了。
本次开源发布的LingBot-Touch这款产品, 它所完成的工作, 一方面是在“具身原生”大脑全栈2.0这个体系里面, 补齐了那个可以让感知变得更加灵敏的关键组成部分, 另一方面, 它还将那一套既定的技术方法, 应用到了对硬件性能要求极高的触觉交互领域里去, 而触觉这一环节能够通过测试并稳定运行, 这在逻辑上意味着, 同一种技术路径, 是可以被迁移去应用到其他尚未开发的新型感知方式中的。
把这个事情落实到产业层面来说, 这一层的能够共享起来的智能技术, 直接就在上游和下游两个方面, 帮助用户节省了那些本来需要去做重复开发的功夫。
从触觉传感器制造商的角度来讲, 在以往的时间里, 每当要拿出一款新的传感器产品的时候, 就必须靠自己来进行数据的采集工作, 随后还需要从零开始去训练并且建立一套符合该需求的触觉预测模型, 这样的话, 相关的动作执行模型才具备被实际应用的资格和能力, 这一整块的工作不仅设立起了很高的技术进入门槛, 而且所需要消耗的时间周期也十分漫长。
现在的情况是, 新的硬件可以直接接到LingBot-Touch那里去, 这样就能造出那种通用的触觉Token这种产物, 然后, 各厂商就可以把他们的时间和精力集中放在那些东西上, 也就是说, 放在精度上面, 放在耐用性上面, 还有成本上面, 于是, 产品也变得更加容易被各家机器人用起来了。
对于灵巧手制造方和整机设备制造方来讲, 最为显著的变动在于大家现在已经能够不受限制地去自主选择所需要的零部件。
在一只手上头, 不同部位的那个要的东西本来就是不一样的, 指尖是负责捏、拧、搓这些精细动作的, 这需要高分辨率看清细微接触, 而手掌主要是负责托和握的, 它更需要大面积、低成本地感知受力。
最理想的做法, 自然是按部位各取所长。但在过去。如果一只手上用两种传感器。那就得配两套触觉模型。然后分别去训。这样一来。开发和维护成本都要多出一分。
眼下, 同一个 LingBot-Touch 就可以读懂不同原理的触觉信号了。「指尖视触觉加上手掌压阻阵列」这样的高性价比组合, 终于可以放心的装上手了, 也是真正可以用起来了。
现在呢, 蚂蚁灵波这个事情已经和好多做机器人本体的那些厂家还有行业里面的合作伙伴联合起来了, 然后就把那个叫做具身大脑的能力给弄出来, 带进了零售药房这个行业里头去落地干活了, 也带进仓储物流这个行业里头去落地干活了, 还带进工厂产线这个行业里头去落地干活了。
从回头看的角度去看, 大模型能够在数字世界实现爆发式的增长, 依靠的则是海量的文字内容以及大量的图片数据可以被进行统一性的学习过程, 同时还可以被反复地使用和复用。
如今就连最依赖硬件的那种手感, 都能够被预训练了, 还能够被复用了。这意味着物理智能这个领域终于也有了像语言智能那样的可能性。它可以让相关的积累变得越来越厚实。
硬件这一部分是可以呈现出各种各样不同的形态和玩法的, 而智能这个东西却可以保持在同一个层级上面去实现持续性的发展和壮大。
也许真正的拐点就是从这里开始的了, 这个拐点指的就是机器人真正走进千行百业的事情。
