具身智能进入“触觉时代”,丁文伯提出“脊髓”架构补全机器人物理交互短板。作者:李秋悦 编辑:吴彤 丁文伯很难被一个词准确“定位”。
通信博士、材料学博士后、机器触觉学者,这些标签都对,但都只能解释他的部分经历。 2025年,丁文伯又多了一个身份——Xspark AI(无界智航)联合创始人、首席科学家。
一个做了多年传感器研究的清华教授出来创业,没有把公司定义成一家“传感器公司”。相反,他认为造出更好的传感器,并不会自动得到一个更聪明的机器人,机器人触觉可能需要一套自己的模型。
这个判断首先来自纯视觉的局限。过去两年,具身智能最主流的技术路径仍然延续大模型的Scaling逻辑,即更多视频、更多机器人轨迹、更大的VLA(视觉-语言-动作模型),让机器人沿着“看见—理解—行动”的链条不断提高泛化能力。
丁文伯并不反对这条路线,他甚至认为“VLA是一个蛮solid的逻辑,像早期Transformer、diffusion policy一样,一定会在具身智能(历史)长河里留下浓墨重彩的一笔”。但机器人和语言模型最大的不同在于,它最终要伸出手,真正碰到这个世界。
在丁文伯看来,视觉其实已经解决了机器人感知世界“99%”的问题,触觉没有必要和视觉竞争。它更像是在视觉失效或者不够确定的时候,补上接触发生之后的信息。
杯子有没有开始滑动,手指是不是捏得太紧,机械臂有没有撞到人,一个灵巧动作应该继续用力还是立刻修正。机器人一旦真正进入物理世界,问题就不只是“有没有看见”,还包括接触之后能不能及时感知、修正和避险。
问题也由此往前走了一步: 如果机器人需要触觉,那么触觉应该以什么方式成为智能?最直接的办法,是把触觉作为一种新的模态塞进现有模型。
但丁文伯对此并不完全满意,他认为从第一性原理看,触觉的信息量远没有视觉丰富,却对反馈效率有更高要求。把它直接和整个视觉模型融合,要么产生大量冗余,要么少量关键触觉信息反而被视觉淹没。
这也是他开始提出“触觉原生智能”的原因。触觉智能未必需要拥有视觉大模型那样丰富的语义理解能力,相反,它可能应该更轻、更快、更靠近身体。
人快要摔倒时,并不会先识别“我正在摔倒”、分析原因,再决定伸手,而是身体先完成反射。丁文伯因此喜欢用人的“脊髓”来类比触觉智能:它处理的信息可以没有那么丰富,但要足够低延迟,能够在滑动、碰撞、失衡等发生的一瞬间做出反应。
不过,从“触觉很重要”到真正做出一套触觉智能,中间还有很长的距离。首先是硬件。
不同触觉传感器之间的一致性依然很差,即使同一批次生产的设备,性能也可能存在明显差异。模型因此很难像视觉模型一样,在不同硬件之间直接迁移。
其次是数据。触觉没有互联网时代天然积累下来的海量图片和视频,同一个动作换一个人、一个传感器甚至一个机器人,数据分布都可能发生变化。
再往后还有更基础的问题:触觉到底应该如何Representation和Embedding?不同传感器采集出来的力、温度、剪切、振动,最终有没有可能被转换成某种与具体硬件无关的共同表征?
丁文伯把接下来两三年甚至五年的问题概括为三个“跨”——跨传感器、跨模态、跨本体。所以丁文伯并没有声称,一套成熟的“触觉大模型”已经有了答案。
他承认,目前更现实的仍然是一条折中路线:短期先把某一种多模态触觉传感器做好,再和现有模型融合;预训练阶段聚焦通用能力构建,触觉信息的引入与融合则放在灵巧操作的后训练和动作修正阶段。至于长期,他才倾向于认为,触觉最终会形成自己的模型和逻辑。
Xspark AI提出的“慢脑 VLM—快脑 VTLA+TWAM—脊髓 VTA”三层架构,可以看作前者判断现阶段的一种工程表达。在这套架构里,视觉语言模型构成“慢脑”,负责语义理解、高层认知和任务规划;触觉首先进入“快脑”,与视觉、语言和动作一起参与长程任务和灵巧操作;再往下一层,触觉成为“脊髓”的核心信息,在碰撞、滑落、安全等场景下完成更快的局部反应。
同一种触觉,因此同时承担两种角色:在快脑里帮助机器人“做得更好”,在脊髓里保证机器人“来得及反应”。这也让丁文伯正在研究的问题比“机器人需不需要触觉”更具体了一层。
视觉仍然会是机器人理解世界最重要的信息来源,VLA也仍然是主流路线。真正没有被定义清楚的是: 触觉究竟只是现有视觉模型增加的一种输入,还是因为它对接触、运动和实时反馈的特殊要求,最终会生长出一套不同于视觉智能的模型和计算逻辑。
丁文伯现在做的,就是试图找到这个答案。以下是左林右狸与丁文伯的对话(在不改变原意的基础上做了部分编辑): 01 “科研困难户”是怎么入门的?
左林右狸:2007年安徽省理科第三名,为什么读清华电子系?丁文伯: 当时没考到省状元,就“没法选经管”。
那时候我们很多人都想读经管。刚好来招生的是电子系老师,他跟我讲了一番电子系的“宏伟蓝图”,最后我就去了电子系。
我记得当年我们学校有几个同学,分别是全省第二、第三、第六名,最后全被这位老师招进了电子系。左林右狸:这位老师当时给你讲的“宏伟蓝图”是什么?
丁文伯: 他的“宏伟蓝图”其实很简单,他说你学不了经管,清华在安徽只招一个人,你去不了。后来我才听说,经管在安徽其实招了5个人。
不过也没关系。前两天我还跟同学说,人生里很多选择,当时你可能觉得自己做了一个很好的决定,但最后真正改变人生的,往往是一些不经意的选择,甚至是被迫做出的选择。
左林右狸:2011年,本科毕业之后,为什么选择系里面最难进的通信所直博?丁文伯: 首先,那时候通信很火。
其次,我本科成绩比较好,自然会像选本科专业一样,去选一个当时看起来最好的方向。但这也是受限于当时的认知。
等我博士毕业,到了2016年前后,其实通信领域的研究重心已经开始从学术界转移到工业界。这个变化,学生身在学校里很难真正意识到。
左林右狸:有资料说,你读博前三年研究没有丝毫进展,没有SCI,也没有奖学金。丁文伯: 也不能说完全没有进展,那种说法多少有点“包装”。
我其实一直很努力,导师对我也很好,也会发一些小论文。但我自己知道,那些工作很多时候是导师给一个想法,我把它认真做完。
我并没有真正学会怎么从零开始提出一个问题,再把它做成一项研究。那时候我还很认真地写专利,因为专利比论文容易入手;也会帮导师写项目申请。
我一直是想法很多的人,但当你对一个领域理解得还不够深的时候,很难真正从零开始做研究。那时我对自己最大的判断是:我可能没有从零开始做科研的能力。
直到后来一位师兄带我把一件事情完整做通,我才发现,不是我没有这个能力,而是之前没有找到合适的方法。左林右狸:师兄是怎么启发你的?
丁文伯: 我举一个特别通俗的例子做类比。我在清华一直想学游泳,但总也学不会。
好不容易选上游泳课,老师第一节、第二节就教很规范的动作,我还是学不会,最后只能退课。毕业前,我找了一个刚刚学会游泳的师弟。
他大概花了10分钟就把我教会了。动作当然不标准,游得也不快,但我确实能游了。
为什么?因为他刚刚踩过那些坑,知道一个初学者真正卡在哪里。
后来我意识到,科研也是一样。大概博三的时候,一位刚留校的师兄做完了一篇论文。
他把一套还没有完全成型、大概做到七八成的代码给我,说这个方向可以继续做,但剩下20%、30%要靠你自己补。我第一件事就是把代码跑通。
后来发现,在一些边缘场景里,性能甚至比他预想得更好,这些是他原来没有注意到的。那时候我才意识到,自己其实还是有钻研能力的。
真正写论文的时候,这位师兄也非常有经验。我记得有一个寒假,我已经回家了,我们几乎每天都在改。
40天左右,他帮我改了将近60遍。那篇论文改完之后,我才真正觉得自己从科研门外走到了科研里面,知道一项好的工作应该怎么做。
左林右狸:2016年博士毕业后,当时拿到哪些博士后offer?丁文伯: 我没有特别大范围地找,最后主要有两个机会,一个是MIT,一个是Georgia Tech(美国佐治亚理工学院)。
MIT做的是信息论,还是传统通信方向,而且非常硬核。 Georgia Tech这边,则和清华电子系希望我转方向有关。
当时系里虽然有留我的计划,但做通信的老师已经很多,希望我换一个方向。那个时候我其实很难理解。
我会想:我都已经这么努力做到这个程度了,为什么现在又让我换?现在回头看,这是很多更资深的人站在更高的位置给出的中肯建议。
但当时没办法,有点“胳膊拧不过大腿”。 MIT我当然很想去。
我甚至觉得,如果本科毕业直接出国,大概率也会去申请MIT博士。再后来我太太去了哈佛,她也很希望当时的我选择MIT(这是后话了,所以后来她在哈佛读书那段时间,我经常周末往返亚特兰大和波士顿去给她做饭)。
但最后我没去。因为我当时想了一件事: 要做,就做一件不一样的事。
如果继续做通信,我大概率很难超过原来的导师,包括MIT那边的导师。既然如此,不如干脆换一个方向。
所以我去了Georgia Tech,开始做偏电子皮肤的研究。现在回头看,这里面确实有很多“阴差阳错”。
左林右狸:在Georgia Tech刚开始的研究方向是什么?丁文伯: 刚过去,王老师 (王中林,国际顶尖纳米科学家和能源技术专家) 让我做一个软硬件结合的用户身份认证系统 。
我完全不会。博士期间我主要用MATLAB(矩阵实验室)做算法优化。
这个项目是一位师兄留下来的,但之前一直没有完成实时系统,只留下了一个概念和初步原型。我不会LabVIEW(实验室虚拟仪器工程工作台),也不会NI(美国国家仪器公司)的数据采集系统。
只知道大概要先把传感器数据采出来,再写算法,最后做一个界面。我大概花了一两个星期,从完全不会做到把整个系统跑通。
每天就在YouTube上看教程,我记得看的是一位台湾老师讲NI的课程,因为官方说明书我实在看不懂。刚好当时最新版LabVIEW可以和MATLAB兼容,所以我就用了一个最直接的办法:所有数据采集用NI,所有算法用MATLAB。
最后系统做出来了,界面也做得比较完整。大概一两个星期,我把之前一直没有真正做成的东西做了出来。
从这件事以后,王老师开始对我刮目相看。左林右狸:你的学习能力非常强。
丁文伯: 也是从零开始干,因为压力在那里。左林右狸:最后为什么没有成为一个典型的材料科学家,而是往传感器和信息处理方向走?
丁文伯: 我刚过去的时候,是真的想从头学材料。我一直觉得自己能学,态度也很认真。
但我内心还有一个很现实的想法:做材料太辛苦了。一个实验经常就是大半天甚至一天。
我后来发现,很多实验步骤其实可以自动化,所以我就把能自动化的尽量都自动化了。我也认真跟做材料的同学学过。
他们教我喷涂、纺丝,但我发现自己有一个问题——手比较笨。同样的流程,他们一做就能出来,我可能要反复很多次。
当然,他们已经接受了本科、博士阶段的材料训练,我是完全从零开始,很多基础知识都没有。慢慢我意识到,自己大概率不会成为一个非常优秀的材料科学家。
但我发现自己很擅长另一件事:系统集成,以及跟不同背景的人合作。以前组里有人能做出很好的材料传感器,但很难把它做成一个完整、稳定、可复现的系统。
这个事情我能做。所以那段时间我的合作非常多。
如果我愿意开口,基本不会缺共同一作的论文。但大概一年半以后,王老师又说了一句话,把我点醒了。
他说:“文伯,你不能只是享受和别人合作、一起署名。你得有自己的代表作,要有真正属于自己的东西。
从那以后,我才真正开始认真想:未来到底要做什么。当时我经常跟实验室同事吴昌盛讨论,他现在是新加坡国立大学教授。
他那时博士快毕业,我的博士后也快结束,我们都在想下一步。大概2017、2018年,我们开始觉得机器人值得做。
但具体怎么做,我们也不知道。反正有空就在想这件事。
左林右狸:为什么觉得机器人这件事值得干?丁文伯: 王老师整个学术版图里,很多方向已经有师兄做得很好,成为代表人物了。
我们就在想,还有什么事情是自己可以真正立住的?当时软体机器人开始受到关注,而且王老师研究的材料天然就是一种柔性传感器,做的人又没有那么多。
本质上还是两个判断: 一是这个方向未来有没有机会,二是我们自己的能力和背景能不能做。当时觉得,这件事我们能做,逻辑其实很直接。
02 一个更好的传感器,不会自动带来一个更聪明的机器人 左林右狸:2019年,你回国第一年就建了SSR实验室?丁文伯: 其实2018年我就开始想做机器人,只是还不知道具体做什么,所以先起了一个名字:Smart Sensing & Robotics,简称SSR,也就是“智能感知与机器人”。
我这个人比较喜欢谐音梗。玩卡牌游戏的人都知道,SSR代表“Superior Super Rare,特级超稀有”。
我就跟学生开玩笑说,做得好不如选得好,选择有时候比努力更重要,所以就用了这个名字。左林右狸:当时有定研究目标吗?
丁文伯: 大的方向就是机器触觉,但说实话,当时学生和我都很懵。我们不停地问:到底什么叫机器触觉?
是做电子皮肤,还是做别的东西?所以最开始还是从电子皮肤入手,同时延续王老师那套摩擦电的技术路线,也做出了一些比较有意思的工作。
左林右狸:选择机器触觉,和你博士期间做通信研究有关吗?丁文伯: 最初选择机器触觉,跟博士期间的通信研究关系其实没有那么大。
当时更多还是在判断,未来哪里有机会。但真正让我后来能在机器触觉这个方向立住,确实有两个工作,而且都跟我之前的积累有关。
第一个是 MTSensing ,基本可以看作博士后工作的延续。 2018年我和吴昌盛决定开始做机器人以后,他因为计划去另一个地方做博后无法专门关注触觉,我很快会独立能够自由选择方向,所以我就先做触觉。
我们发现,王老师提出的摩擦纳米发电机,本身就很适合拿来做触觉。但一开始也不知道具体能做什么。
一路做到2020、2021年,最后把它做成了一个完整系统,用单个柔性摩擦纳米发电机,同时识别物体的材质和纹理。第二个方向,是后来转向 视触觉传感器 。
MTSensing做完以后,我们碰到一个很现实的问题:电子皮肤本身可以做得很好,传感器也可以做得很漂亮,但真正制约系统的,往往是皮肤后面的芯片、电路、模数转换这些东西。我是电子技术背景,所以很早就意识到,这里会成为瓶颈。
但集成电路又是我当时做不了的事情。这个领域跟纯软件不一样,里面有大量依赖长期经验积累的东西。
大概2019、2020年,我们开始关注视触觉。契机是我的一个学生。
他原来就在做视触觉,进组以后希望继续。我有一天突然问他:为什么这么多年,视触觉基本都围绕红、绿、蓝三色可见光来做?
我博士期间做过可见光通信,所以我的直觉是:通信的频谱这么宽,为什么视触觉只能用可见光?为什么不能增加紫外、红外,甚至其他波段?
我简单查了一下,发现没人这么做,而且我们有能力做。这个问题一打开,后面很多工作就顺着出来了。
大概从2021年开始,我们沿着多光谱视触觉一路往前做,包括后来发表的M³Tac,以及今年发表在 Nature Sensors 上的SuperTac。 SuperTac本质上是一套多模态触觉系统,把多光谱成像、摩擦电感测和惯性测量等技术结合在一起,让机器人同时感知力度、位置、温度、材质、纹理、颜色、振动、滑动、碰撞、接近等多种信息。
所以回头看,这两条研究线其实很清楚: MTSensing更多延续了我的博士后积累,多光谱视触觉则把我博士期间做通信、博士后做传感器的知识重新接了起来。左林右狸:实验室从做传感器到具身智能,具体转折在哪一年?
丁文伯: 2022、2023年前后开始有变化。我一开始对“具身智能”这种新词其实很谨慎。
学术界这些年不断出现新概念,从压缩感知到Transformer,我的态度一直差不多:有用就用,没有必要为了追热点去凑。当时组里已经有几篇不错的硬件工作,几个学生跟我说:“丁老师,做硬件太苦了,我们想做具身智能。
丁文伯:你猜我怎么说?左林右狸:你会让他们先把手上的硬件工作做好?
丁文伯: 没有。我说,那你就去做。
我的想法很简单:如果你做成了,那实验室就多了一条路;如果做不成,大概率自己还会回来。结果三个月以后,学生回来跟我说,他们“做不了具身智能”。
但我一直觉得,没有必要一开始就把一个人的可能性扼杀掉。他愿意尝试,说明他对这个方向有兴趣。
这可能也受我自己读书经历的影响。我的导师以前也很少直接否定我想尝试的事情。
左林右狸:学生说做硬件太苦,当时具体做什么硬件?丁文伯: 我们组从系统、材料、硅胶,到器件制备、嵌入式、算法,基本都做。
为什么很多学生更愿意做计算机视觉?因为跑代码、调参数,今天有了各种AI编程工具以后,门槛还在进一步降低。
硬件不是这样,很多事情必须一点一点做出来。以前甚至还有一条“鄙视链”:做算法的看不上做硬件的,做硬件的看不上做材料的,做材料的又看不上做化学的。
但真正做机器人以后会发现,这些东西最后都得接起来。左林右狸:为什么一个更好的传感器,不会自动带来一个更聪明的机器人?
丁文伯: 很多做传感器的人本身是硬件背景,我觉得未来这个思路必须改变。在我的课题组里,我一直要求做软件的人尊重做硬件的人,做硬件的人也必须非常开放地和做软件的人合作。
我记得一位机器人前辈跟我说过:不要看现在大家都讲具身智能,对于真正做机械的人来说,只要给一个固定任务,他一定能把机构设计得足够好,效率甚至可以超过人。我当时也认同这个判断。
但现在做泛化机器人的人又提出了另一套思路。 AI出来以后,其实所有人都在被重新教育。
左林右狸:请总结一下SSR实验室成立以来,研究方向转换的几个节点。丁文伯: 2022、2023年算第一次明显变化。
那时大家都觉得做材料、做器件太辛苦,开始想转向人工智能和具身智能。但当时组里的学生总体还是偏机械、硬件背景,真正做具身智能的能力没有那么强。
到了2024年,我开始意识到:我们已经把传感器做到了很好的水平,但一个最好的传感器,依然不会自动产生智能。可能我们过去对“智能”的理解本身就有偏差。
所以从那时开始,我充分鼓励学生,也包括我自己,去学习AI,同时开始大量招做AI的学生。 2022、2023年,我们可能只招过很少的纯AI学生;到了2024年,我印象里新招的学生基本都偏AI方向。
但本科是计算机,不代表真的懂AI。所以我会把一些学生送到我认为最好的团队和公司去学习,包括字节、小米等。
一个学生如果本身是好苗子,只是缺某项能力,我宁愿让他先去这个领域最好的老师、最好的团队学习,再回来跟我一起做事。我后来发现,这种方式效果很好。
培养学生的目标应该是让他成长,而不是把他攥在手里变成自己的资源。 2024年是一个明显的转折。
到2025年,我们进一步意识到,机器人触觉可能需要一套自己的模型。但紧接着发现,连数据都没有。
所以我们又开始做数据采集。到了今年,我更关注的是未来触觉模型到底应该长什么样。
这可能是我未来三到五年最想研究的问题。你说方向变了吗?
我觉得其实没有。我不会因为今年大家说世界模型火,就马上宣布自己也要做世界模型。
今年年初很多人都在讲世界模型,我其实一直比较谨慎。触觉是我绕了很久以后,才真正找到的一件自己特别感兴趣、也特别愿意长期做的事情。
它不是因为某一年火了我才去做。只要没有特别大的外力推动我改变,我应该会一直做下去,在触觉里面继续寻找新的问题。
03 触觉智能是一种边端智能 左林右狸:对你而言,一个触觉传感器是材料器件,还是信息系统?丁文伯: 它首先是一个信息系统。
我一直都是这么理解的。大概2023年前后,我们SuperTac原型已经做得差不多了。
当时我们就觉得,这项工作会成为触觉领域一个比较重要的里程碑。无论模态种类还是系统能力,当时都没有太多人这么做,到现在我们也认为它在学术界和产业界都属于比较领先的水平。
但也是那个时候,GPT-4前后的一系列变化对我刺激很大。我每周三上信号处理课,美国时间周二晚上经常刚好有GPT的新版本或者新能力发布。
结果我周三下午去上课,就会发现这个东西又变了。连续上了一两年以后,我甚至产生一个感觉: 这门课是不是都不用再这么上了。
我做传感器从来没有这种感觉。传感器有人真正用起来,它才有价值;没人用,再好的性能也没有意义。
但AI和大规模数据展现出来的Scaling能力,确实非常强。所以后来我跟学生说: 我们不光要造最好的传感器,还要让这个传感器产生足够多的数据。
只有这样,触觉才能真正往前走。左林右狸:纯视觉抓取的问题在哪里?
丁文伯: 最直接的问题是容易出现位置偏差。比如视觉估计深度不准,机器人就可能抓不到。
很像你在水下抓鱼,里面有折射、反射,看到的位置和真实位置并不完全一样。但实事求是地讲,这些问题在很多工业场景里并不是主要矛盾。
透明物体检测、透明物体堆叠,在工业和生活里的占比可能只有1%。从概率上看,大部分场景视觉已经做得非常好了。
自动驾驶也是一样。你总能找到一些特殊情况,比如全反射玻璃、强光,让纯视觉方案失效,这时候激光雷达可能更可靠。
触觉也是同样的逻辑。视觉可能已经解决了99%的问题。
单靠触觉去摸一个东西,准确率未必能到90%,可能30%、40%就不错。但视觉和触觉结合,可以继续提高整个系统的准确率和安全性。
左林右狸:那触觉信息进入的是机器人决策哪个环节?丁文伯: 我认为主要有两个。
第一是 防碰撞和安全 。我们现在讲可信AI,一方面模型本身要可信、稳定;另一方面,机器人真正进入物理世界以后,碰到一个物体、一个人,不能造成伤害,这种安全反馈很大程度上要依赖触觉。
第二是 手内灵巧操作的后训练 。我认为触觉在后训练阶段引入,效率会比较高。
预训练本身需要的数据量和复杂度都太大,所以现阶段我们更倾向于:预训练阶段聚焦通用表征与基础能力构建,触觉信息则在后训练阶段引入并深度融合,重点发挥其在灵巧操作中的反馈作用,尤其是对精细动作修正的支持。左林右狸:今天机器人触觉最大的瓶颈是什么?
硬件、数据、模型还是成本?丁文伯: 都有。
首先是 传感器一致性 。哪怕都是视触觉传感器,或者都是电子皮肤,同一批次生产出来的传感器,性能都可能不完全一样。
结果就是,一个模型往往只能锚定某一种传感器继续训练。所以我们下一阶段很想解决一个问题: 未来能不能让不同传感器产生的数据,在进入模型以后拥有相似的有效特征。
这是未来两三年甚至五年都值得解决的问题—— 跨传感器、跨模态、跨本体。成本也很重要。
未来如果触觉传感器能够做到非常便宜,甚至像日抛眼镜一样“一拉即用,用完即抛”,也是一种可能。从第一性原理看,人类触觉的信息量没有视觉那么丰富,但效率非常高。
现在的问题是,如果直接把触觉和整个视觉模型融合,要么产生大量冗余,要么关键触觉信息反而被淹没。这个问题我现在也还在思考,实话说。
短期我们会采取一个折中方案:先把某一种多模态触觉传感器或者触觉方案做好,再和现有模型融合。但从长期来看,我认为触觉可能需要一套自己的模型和逻辑,更像人的脊髓,或者一套低层级、快速响应的神经系统。
左林右狸:触觉数据最小基本单位是什么?丁文伯: 这是一个好问题。
但我现在反而觉得,不应该急着用“最小单位”去定义触觉数据。我们更关注的是,触觉数据到底应该怎么做 表征和嵌入 。
最近我还准备找一些做神经科学的老师一起研究这个问题。如果只从物理意义上讲,一个像素上有多大的力、温度是多少、有多少剪切力,这些当然都可以作为基本信息。
但真正转成机器人能理解、能用于控制的信息以后, 最后有用的东西可能反而是一个等效六维力。手掌上可以布很多触觉传感器,真正进入操作和感知模型以后,哪些信息才有效,这是另外一个问题。
早期很多做机器人控制的人会说:你不用给我触觉,只给我关节六维力,我也能做精准控制。我觉得这里中间一定还有差距。
所以我现在不急着定义“触觉的最小基本单位”。你今天定义完,明天可能就有人做出新的东西把它推翻。
左林右狸:不同传感器、不同材料、不同机器人产生的数据,怎么统一?丁文伯: 我们最近有一些初步想法。
比如先找一些和具体传感器无关的参数,把不同传感器的数据转换成某种共同的信息,再进一步研究一些二阶参数。这样可以尽量减少传感器校准误差,以及不同传感机理造成的差异。
这部分研究还比较早,也比较前沿,现在不太方便讲太多细节。但我觉得这个问题非常值得做。
左林右狸:触觉数据质量应该怎么评价?怎么判断一组数据有没有训练价值?
丁文伯: 最直接的标准,就是它到底能不能训出一个有用的模型。比如完全不用视觉,只靠触觉,机器人能不能完成一些任务。
如果能做到,这就是一个很直接的评价。真实采集过程中,也会遇到明显的问题。
比如我们明明知道某个位置没有发生接触,但传感器突然产生了信号。从模型训练的角度看,这就是比较脏的数据。
但我还有一个比较激进的观点: 人类并不是靠绝对精准来做事情的。比如妈妈让你练毛笔字,不可能要求你每一次落笔都精准到同一位置偏差小于毫米。
很早以前,有几家做大模型训练的公司跟我们提要求,说你的触觉数据必须精准到亚毫米,我们才能训练。我当时就在想,那可能是因为模型本身还不够强,所以才对数据精度要求这么高。
我们现在越来越认为, 数据的高质量、多元化和多模态,比“绝对精准”和“全覆盖”更重要。同一个动作,每次采出来的数据都可能不一样。
但重复训练以后,模型反而可能自己学到:哪些变化不重要,哪些信息才真正关键。这种差异性本身可能就是有价值的。
所以, 高质量不意味着完全一致,也不等于高精度。当然,现在模型能力有限,数据量也有限,所以高精度仍然是一个现实问题。
但我一定不认为: 高精度等于高质量。左林右狸:你之前提到说触觉未来可能需要自己的模型。
触觉原生智能和视觉、语言的原生智能,根本区别在哪里?丁文伯: 这个问题我最近确实认真研究过,还专门找了一些神经科学、神经调控的老师讨论。
从大脑机制来看——我说得不一定完全准确——视觉感知更多依赖大脑皮质层,它能够承载非常丰富的信息。但现在有一些研究认为,人类和动作、导航、跌倒平衡、操作相关的能力,可能还依赖更深层的大脑结构。
他们给我看过一个经典实验:去除一只小猫部分皮质层以后,它可能无法很好地感知颜色或者复杂视觉信息,但依然可以在迷宫里穿梭,甚至跳跃。所以我觉得这至少说明一件事, 触觉代表的不只是“另一种感知模态”,它和运动能力、空间交互能力绑定得非常深。
未来它可能需要和视觉系统分层,甚至形成一套相对独立的架构。还有一个更直观的例子。
人跌倒的时候,会本能地伸手撑住。你甚至还没有意识到发生了什么,身体已经完成了反应。
所以我认为, 触觉未来一定会往边端走。你可以叫边缘计算,也可以叫边端智能。
触觉的感存算一体,甚至可能比视觉更加迫切,因为它追求的是高效、快速和低延迟。而且触觉数据本身没有视觉那么丰富,所以触觉模型也不应该简单照搬视觉路线。
我觉得至少有几个要求: 轻量化、解决学习冷启动,以及更强的泛化能力。左林右狸:那你怎么看现在的VLA?
它最明显的能力边界在哪里?丁文伯: 我不太愿意给VLA划一个特别明确的能力边界。
因为你今天说“边界在这里”,很快就会有人证明它还能继续往前走。但有一点比较明确: 现在的VLA在很多任务上,还做不到像人一样自然,尤其是灵巧操作。
夹爪相对容易,因为动作空间比较简单;但灵巧手自由度一高,动作复杂度和自然程度就会明显上升。现在也有很多人在研究VTLA(在VLA基础上引入触觉tactile),也就是把视觉、触觉、语言和动作结合起来。
但也有人跟我吐槽,一加触觉,原来的VLA反而“崩了”。有人问我,世界模型和VLA到底哪个更强,甚至有人说不应该做VLA,应该直接做世界模型。
我对这种说法持否定态度。 VLA是一个蛮solid的逻辑,像早期Transformer(一种深度学习架构)、diffusion policy(扩散策略)一样,一定会在具身智能(历史)长河里留下浓墨重彩的一笔。
左林右狸:为什么对世界模型持否定态度?丁文伯: (震惊)因为它是个概念啊。
它有点像元宇宙,像spatial intelligence(空间智能),它不是一个technical的代名词,而是一类能力,比如prediction,基于现在状态预测。但早期的Markov decision policy(马尔可夫决策策略)、reinforcement learning(强化学习),也可以做类似事情。
那你说,它到底要不要叫世界模型? 04 我们想做好可信物理智能真实落地的生意 左林右狸:第一次认真产生成立公司的想法是什么时候?
丁文伯: 2025年年初。左林右狸:当时是遇到什么学校解决不了的问题吗?
丁文伯: 主要有两个。第一,算力不够。
在学校里做一些事情,卡就是不够。第二,我本身也一直比较关注工业界,因为我们做的很多研究还是偏工