147. 和蚂蚁灵波沈宇军聊:机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥
【主持人】Hello大家好,我是小珺。进入2026年,中国科技业萌生了一个新的现象,出现了一批从机器人大脑出发的公司,现阶段重心不在本体上。这个现象是反直觉的,因为在过去大家认为,硅谷的机器人团队更专注于大脑研究,而中国的机器人团队更专注于硬件和本体。在我们上期节目中,我访谈了Physical Intelligence(π)的研究科学家柯力一鸣。这是一家在硅谷做机器人大脑的备受瞩目的实验室,业内人士把他们比作机器人的OpenAI。那今天我要请的是一位在本土探索原生具身基座模型的公司,是由蚂蚁集团孵化的子公司蚂蚁灵波。目前刚发布了第二代的具身技术模型。我与他的首席科学家沈宇军聊了聊,如何从零预设开始训练一个机器人的底座。瓶颈是什么?机器人的GPT时刻到底在哪里?大家也能从中感受一些中美思路的融合与差异。那接下来就是我对沈宇军的访谈。
【主持人】2026年,我们和AI共同进步。
【嘉宾】我还是很坚信,具身一定会有自己的模型。这个观点如果不变的情况下,他的数据必须要支撑他可以做自己的模型。如何把数据做好地scale up是一个至关重要的点。
【主持人】不基于VLA的有吗?
【嘉宾】不基于VLA数据,我觉得从现在行业来看,大脑可能是目前落后于本体的。
【主持人】如果机器人有性格的话,你希望他是什么性格?
【嘉宾】我希望他是个实诚人,他好好干活。
【主持人】对,我觉得他核心还是要实用。Hello,宇军,先给观众朋友打个招呼。
【嘉宾】大家好,我是沈宇军,现在是在蚂蚁灵波科技担任首席科学家。
【主持人】之前在清华,然后后来到港中文,讲讲你在人工智能上的一些探索。
【嘉宾】也是阴差阳错吧。当时我在清华读书的时候,刚好赶上大三,那个时候是商汤刚成立的时候。2014年底商汤成立,然后我们大三要求是必须要有一个这个认知实习。当时商汤就正好在清华的东门门口,然后当时反正就去了一个AI相关的这个领域吧。在那个商汤一直干到大学毕业,然后就刚好去那个港中文汤老师里面去读了个书。去的时候其实也比较迷茫,因为当时AI虽然说比较火,但是也不知道自己到底喜欢做什么。然后就尝试了很多方向吧。其实本来那个港中文,港中文比较擅长的其实像这种检测分割分类啊,他们当时也是拿了比较多的冠军。但其实我个人对这个就是打榜啊这个事情,最后就看一个number这个事情,坦白讲我自己不是非常感兴趣。那个时候刚好有一个技术活起来了,当时就是对抗生成网络就是GAN。对对对,然后那个技术活起来之后呢,其实就很多人在这方面做探索嘛,那个时候我对这个事情就感觉比较有意思,因为它是能真的能生成一张图,然后让大家去看,甚至于你可以去做一些简单的编辑什么。那个时候我就算是选择了说我可能接下来要再做这个,可能是想要往这个生成模型这个方向去做。然后当时做的也是比较早,从17年开始就是做生成模型,然后可能做着做着,那个时候也是有一系列比较火的工作出现嘛,尤其是像StyleGAN那个系列的时候。然后做着做着,因为我刚开始做生成,做生成那个时候比较火的,可能就是一些图像编辑相关的东西,就是你怎么把它按照你想要的方式去调整一下,比如说把你变得更漂亮一点之类的。然后但做着做着就会发现好像做得太下游了,然后就想把这个东西看看能不能再往前做一做,就是从编辑再往前做呢,就是现在可能大家会讲的更多就是叫预训练嘛。对那个时候其实还没有这个概念,说白了就是想训这个生成模型。但是再训一训就会发现,好像这个东西完全有点不太能受自己的控制,就是因为那个时候还没有说什么堆参数量啊,这些还没有这个相关的说法,然后就是感觉做着坐着也不知道怎么能让这个模型变得更好了,然后就开始想说呢我再往前一步,就是从生成之前呢就是做表征嘛。可能就是这么一步一步的从最开始对数字不感兴趣,然后对生成内容感兴趣,然后再从编辑然后再做到底层的训练,然后再从底层训练再往前做做到表征学习,可能基本上一路就是这么过来的吧。
【主持人】我们发现GAN不能scale up,这是一个挺有意思的故事啊。
【嘉宾】就是我们甚至于在今年年初的时候还在尝试做最后一次尝试,还没死心。对,就是哪怕是在Diffusion火了之后嘛,然后后面又开始用自回归也去做一些这个生成,哪怕是这样的时候我还是,就是我们团队还是坚持做了一段时间GAN的scale up。然后怎么说呢,其实是取得了一定的效果吧,就是我们前一阵子做的一个GAN的模型会release出来。那个时候会发现跟Diffusion比确实是在某一些方面没那么好,但是也比之前的前几年的技术其实还是要进步不少的。对,就是说它还是有它的价值,但是它最大的问题还是计算量的利用效率太少了,就是因为Diffusion毕竟它可以不断的,就是它可以迭代好多次,然后生成一张图。然后我们就觉得那对于生成特别复杂内容,尤其是你想要做这种视频的生成的时候,因为它就是里面的内容实在是太多了,然后可能GAN确实不一定是一个最好的选择了。所以可能我们会把我们在GAN上积累的一些技术,积累沉淀下来然后release给公众之后,可能就也算是画上了一个句号吧。对不敢说圆满,但是应该也算是画上了一个句号。然后可能接下来也不太会在GAN的scale up上再做过多的尝试了。但是往回说一点,就是说我觉得GAN本身是对抗生成网络,它其实里面核心的一个技术还是在对抗上,就是如果你同时想要去训两个模型,然后让它们两个都在互相迭代,然后彼此博弈的这个过程中,其实在这方面我们还是积累了一定的东西。然后这个技术本身,
【嘉宾】我觉得在抛开AI本身不讲的话,之后应该还是会有用途的,只是可能不至于在现在这些场景上,可能不一定是用在这个图像生成这个领域了。
【主持人】你当时从北邮毕业的时候,就是在那个节点,当时商汤处于什么状态,多模态处于什么状态,对于商汤当时发展到什么样?
【嘉宾】我印象不是很深了,然后可能像这种生成内容的这个东西,当时还没有出现在商汤整个业务的大的范围里面。其实我毕业的时候加入的是,我先去了字节跳动。当时字节跳动倒是跟我做的东西很匹配,因为它是做抖音的,抖音本来就做内容,然后它当时需要做很多特效。我记得当时就是用我读书期间做的一些工作,当时还带火了一些有趣的应用。因为我是做图像编辑的,然后就是看能不能通过一些AI的技术,比如让你男生变成女生,然后变老、变年轻,就是当时应该会有一些玩法说,比如说看看你20年后应该长什么样子,你70岁了应该长什么样子,就类似的这种东西。然后包括怎么能够把一个人跟另一个人中间做一个完美的,就是比较连贯的那种转换。对,当时就是有一些这样的玩法是用起来了。在字节可能待了当时大概一年多,然后那个时候给我的感觉就是,大家每天就在想各种各样的创意,比如说今天又有一个什么好玩的特效,我们希望它变成一个爆款。当时我就会感觉,确实还有很多自己想做但是没做的东西。那个时候刚好是2022年的时候,然后应该是蚂蚁的技术研究院在招人。
【主持人】这一步还没有爆发,ChatGPT?
【嘉宾】对,应该是在我来了蚂蚁之后的年底,才那个时候也是震撼了一下。
【主持人】那个时候应该处于像你们这种人工智能学生的一个迷茫期吗?算了吧,因为你加入大公司,它其实主业不是干这个的,它都是在既有的产品上去用人工智能技术赋能一下。
【嘉宾】对,总结的还是比较到位。相当于是做这个计算机视觉这个领域,坦白讲,计算机视觉过去十几年,我感觉第一波可能是人脸识别,这个确实是一个比较大的一个应用。然后第二波可能是特斯拉带火的自动驾驶,对吧,然后就是它推出了一个纯视觉方案。除此之外,好像还没有看到哪一个视觉应用,然后被大规模地用起来,然后有一个比较强的产业价值,好像还没有碰到这么一个具体的场景。对,然后这也是为什么说我本来从视觉现在想转到,就是当时24年的时候我就开始想去做这个机器人这个事情。对,因为感觉视觉可能是在数字世界,可能就是怎么说呢,它不是一个主要的发挥作用的一个地方,用武之地不够。对,我是这么感觉的。但是在物理世界离开视觉,机器人肯定是没办法工作的,我觉得这是一个对视觉的强依赖。然后所以说当时就开始想24年的时候在蚂蚁,当时就在蚂蚁技术研究院,然后本来是想在研究院说要不要做一个,就是往具身方向开始做一些探索,当时是有这么一个想法。然后刚好因为整个蚂蚁的大的,就是有一个比较大的规划,就是其实蚂蚁本身是做生活服务的,就是它做了很多这个数字世界的服务,就是大家比较听得比较多的可能是金融相关,但其实蚂蚁做了很多像这种医疗,对吧,然后说这个出行等等,这方面的服务就是蚂蚁做了非常多数字世界的这个生活服务相关的事情。然后呢,从整个集团的层面来讲说,那数字世界的服务如果像再往进步延伸,肯定是要往物理世界迁移嘛。对,然后刚好就是那个24年底的时候,就是蚂蚁是正式宣布说要成立了一家子公司,就是蚂蚁灵波科技。然后那个时候我在研究院也刚好跟,就是当时的院长Propose说,我也想要去做具身智能相关的事情,然后就是不谋而合,然后就是当时也就是被怎么说呢,就是相当于调动到这个灵波来,然后说一起去。我们既然要做就不要说再当一个研究型的机构来做了,而是说我们可能是更加的直面这个行业,跟着行业一起成长。对,所以说可能就是这么一个契机吧,然后就是来了灵波这里。
【主持人】蚂蚁研究院当时是个多大的规模的组织啊,有不同一方向的研究院的探索是吧?
【嘉宾】对对对,就是人工智能是它的一方面嘛,然后像它的这个隐私计算,因为就是安全是一个很重要的点嘛。我更多的理解是这个东西像是一些探索性的东西,其实都会放在研究院来做当时,对。
【主持人】为什么决定成立一个子公司专门做具身智能?
【嘉宾】我其实觉得这是一个集团应该是做的一个比较大的一个决心。我觉得如果是还是把它当做研究机构的形式去做的话,很有可能做一做就脱离了这个行业,或者换句话说就是研究员认为的先进的技术,跟行业需要的先进技术是会有gap的。对,所以我觉得这其实是一个比较明智的一个选择,就是说既然要干,那我们就变成一个真实的业务来干,而不是把它变成一个研究性质的,就是试错的一个团队去做。对,所以说就成立了这么一个公司。
【主持人】你看你经历了三个组织,分别是字节、蚂蚁的研究部门,然后和现在的蚂蚁灵波。这三个部门分别是,第一个是以前的一个产品公司,然后你要用AI技术去赋能它;第二个是一个研究驱动;第三个是跟产业结合的一个类似于创业公司,是算创业公司吧?对,算是算是创业公司。你的感受是什么样的,在这三个组织中?然后你觉得现在的AI,不管是产品也好,模型也好,它应该用一个什么样的组织方式去驱动它?
【嘉宾】从最开始在字节那边,其实也是做业务,然后来了蚂蚁技术研究院之后,又刚好赶上从没见过大模型,然后到大模型爆发,然后也受了一波冲击。然后那个时候就有点不知道,其实很迷茫,就是研究到底是什么样的东西是好的研究,就是你发了一篇论文,或者说你能拿到比较多的引用量,是不是就代表你很成功?就是我们到底能给这个,往小的说就是学术圈,对吧,往大了说就是这个行业,到底是带来什么,就是这个研究是不是有价值,那个时候自己心里是不是很清楚的。然后再到现在的蚂蚁灵波这边,我这一次的感觉其实是比较深的,我觉得它刚好是两者的一个结合,就是说我们既想要去做一些不一样的事情,然后这个不一样的事情又能够直面真实的需求。
【嘉宾】对,然后为什么说现在可能这是一个比较好的机会,因为在这个也是在做业务的过程中,但是现在机器人不是,因为技术还没有收敛。我觉得作为技术人可能是在这个时候能为这个行业去,或者说哪怕是探索一条不正确的路,也是一种贡献嘛,对吧。反正就是说在这里面技术不收敛的时候,我觉得是有比较多可以做的事情。所以在我看来就是如果现在既想要做一些比较大的事情,然后又不想要说在一条完全没有创新的,然后就是纯是那种怎么说一条确定的路上,就是说把桩子打得更深,我觉得从这个角度来讲,我觉得具身反而是一个比较好的机会,就是大家在这里面既能有发挥的空间,然后又能做一些对产业有价值的事情。
【主持人】你们刚创立的时候,刚过来是什么样的感受?
【嘉宾】两个点嘛。第一个点是感觉自己还是太天真了,天真的原因是因为24年的时候,我不是当时在研究院就propose说想要做机器人嘛,然后后面就发现想做跟真的开始做完全不一样。就是这个机器人这个赛道有太多我不了解的东西了,就是可能当时对视觉,对模型这边会懂一点,但是真的说比如说把一个模型用到机器人上,怎么去部署,怎么去调里面的通信什么,我感觉有太多太多的技术栈是超出了我本来的认知,这是第一个感受。第二个感受呢,就是也很,怎么说呢,就是在整个过程中,从最开始来了灵波刚成立的时候,然后整个团队可能不到10个人,然后一点点的看着这个团队,就是不断的壮大起来,然后这个过程中,可能感觉这个团队一边在学习,然后一边又跟着行业一起变化,感觉这种感觉还比较奇妙,可能这两点感受可能会多一点吧。
【主持人】创立之初,你们当时想明白后面要怎么走了吗?
【嘉宾】有些东西是很难判断的,但是我们创立之初其实就明确了一个事情,就是我们希望能够做一个,就是我们还是希望做机器人的大脑这一层,这是我们当时就已经明确下来的一个点。
【主持人】为什么不做本体?
【嘉宾】是这样,我们最后是希望,先说我们的初衷,因为我们当时成立之初是沿着整个蚂蚁集团的普惠的想法,然后再加上他生活服务的推广,我们最后还是希望说,未来某一天每家都会有一个机器人,但是这个机器人是什么样子,其实谁也不知道,甚至于他是不是一定是同一个品牌也不一定,就像大家现在的手机也是无法绑定的,但是我们最后就是希望每家都能有一个机器人,然后我们希望在这个机器人里面跑的最后都是灵波的模型,或者说用的是灵波的大脑,这是我们当时做的一个比较大的决定。
【嘉宾】我们也会做一些像这种末端执行器,因为现在整个的模型还没有完全的收敛掉,未来本体会发展成什么样,可能我们也不清楚,就像大家现在用手机,手机也不是一个固定的品牌,就是大家比如说都用苹果,或者说都用华为机器人,也没有这样的一个说法,所以说在这个地方还没有明确答案的时候,我们明确的想法就像刚刚说的是,我们要希望这个本体都跑了一个灵波的大脑这个事情,所以就是坚定的沿这条路,先把它趟出来,先把它做的比较扎实,这是我们整体的想法。
【主持人】你们团队现在是一个什么样的构成,是一个更偏research驱动的一个团队吗?你看美国就有Physical Intelligence这样的组织。
【嘉宾】其实它的好处,就像我刚刚说,因为行业技术还不收敛,所以说它有一些一定是要有research的成分的,换句话说我们要不断地去探索,
【嘉宾】说智能的上线在哪里,但这个探索的本身其实就是一种research。但同时我们既然说成立之初,我们就以一个公司的形式去运作这个组织,就是不想让这个research太天马行空,就是我们还是希望这个东西能够跟产业有非常强的结合。所以相当于我们现在基本上是两手抓,一手是想要去看智能的上限在哪里,另一手就是抓落地,就是说这个东西一定要把它放到真实的场景里面去试,然后会发现比如说哪里不行,反过来用这个不行的点去重新反向去驱动,说我们下一步的模型迭代应该往哪些方向走。因为模型还很早期,它可能有10个8个这种需要迭代的方向,甚至可能更多,但是精力是有限的,你不可能说我全面开花,所以说有哪一个特点会先去开发这个事情,可能反而是由行业或者说由落地来决定的。
【主持人】你们从24年底成立,然后每一年都分别做这些事情?
【嘉宾】对,就是说24年底成立的时候,其实那个时候第一步做的就是先把我们到底要做什么、我们是谁、然后要做什么这个事情先想清楚了,这是一个很关键的点。然后其实25年整个一年,我会觉得我们做了一个比较大胆的决定,当时是从25年3月份的时候,就开始会意识到说,机器人可能不单纯是一个怎么说多么好理解的一个东西了,因为它毕竟要动嘛,它跟环境有交互。那个时候其实就开始意识到动态建模,或者说对时序上的这种建模,可能是对于机器人往后发展是一个至关重要的一个事情。那个时候其实还没有所谓的叫WAM这个技术路线,就是世界动作模型嘛,那个时候还没有这个概念出来。但那个时候我们就比较坚定的觉得说,机器人的往前走,一定要从视频里学习,而且从视频里学习不是说把视频抽帧,然后还是当成图像来看,就是真的要让它学会时序的东西。那个时候是25年初就做了这么一个比较大胆的决定。所以说经历了基本上9个月的时间,然后在26年初的时候,其实我们也是当时比较早的,应该是行业可能是基本上我感觉应该是最早发布了,就是开源了一个,现在就是大家叫世界动作模型,我们叫视觉动作模型,就是VAM。我觉得这一波应该是25年做的一个比较大的决定。然后26年今年又过了半年嘛,然后今年我觉得做的一个比较大的决定,就是在25年整个探索的过程中,我们发现了另外一个事情。就是很多时候我们因为最开始机器人,我们也没有特别多的数据嘛,然后所以很多的时候训练是依赖的数字世界的模型去做的,然后就有点像把数字世界的模型在物理世界加接成了一个agent,大概当时是这么做的,加了一个动作。
【主持人】对对对。
【嘉宾】但是那个时候就意识到了一个比较重要的问题,就是很多时候数字世界的模型的开发的初衷跟物理世界的需求是不是很匹配的。但你这个时候你又没办法逼迫他们去改,因为数字世界有自己的一套逻辑,他们也有自己的应用场景,比如说可能从视频生成这个角度来说,他就会希望生成的画质特别高,这是数字世界的需求,但是其实物理世界你落实到机器人动作来看,其实这个东西没有那么重要。但是你不能反向去逼迫他改模型,因为他们是有自己的迭代节奏的。所以26年这一年,或者说这半年我们做了一个,我觉得是一个比较大的决定,既然不能逼迫他们去改,我们就全部基于物理世界的需求重做一遍,重做一遍,就是从头来训,一点都没有用大模型。
【主持人】语言模型是用的?
【嘉宾】对,LLM是用的,因为那个的训练成本太高,而且那个我觉得数字世界跟物理世界在语言层面上其实区别不大,只是说物理世界可能更多的是靠语音交流,然后数字世界就打字。我个人感觉现在还没有到,我们还没在这个地方看到明显的直接应用大语言模型的一个短板,就是感觉用起来还比较OK。但是在视觉上,不管是理解还是生成,我们其实会感觉,数字世界的开发的本来的motivation和物理世界的需求,其实没有那么匹配的,这是可能26年做的一个比较大的决定。25年可能还做了一件事情,我觉得也是一个比较大的决定,第一大决定是我们觉得要做视频上的建模,其实我觉得另一方面还有一个比较大的决定,我们那个时候是非常坚定的,要从真实的传感器出发,去解决物理世界的问题的。因为这个事情是跟我24年底刚来录音棚的时候,
【嘉宾】我不是说那个时候太天真了,觉得这个事情往机器人上迁移很简单。然后那个时候其实我们尝试,最开始来的时候就尝试着用很多数字世界的算法,或者说之前开发过的计算机视觉领域的一些模型,直接在机器人里用。然后用的时候才发现,落地跟之前的想象完全不一样。因为在之前我做Racer时做的比较多,然后其实学术界有一个不太好的一个,也不能叫不太好,或者说大家有一个心照不宣的一个点,就是数据集都是比较干净的。相当于你很少能从数据集里面看到那种比较噪声比较大的一个东西,但是在实际应用起来的时候,因为机器人在现实这种跑,就会发现传感器的噪声其实是完全没有办法忽略的。这个东西跟你能拿到很干净的数据是天然就相背的。所以说基于这个考虑,我们25年也是坚持要,就是说我们可能就要从传感器的这个维度开始做起。对,传感器的维度就包括视觉,可能也包括触觉。这可能是整个灵波,现在整个技术思路。两个比较大的技术主张,一个主张就是我们可能要从传感器开始做,然后我们会更多的或者说大家现在更好理解,就叫所谓的空间智能。然后另一个比较大的主张就是,可能我们要坚持从视频里学,而且要可能就是为这个物理世界原生的这个方式重头学。可能是这两个是我觉得比较大的主张。
【主持人】你们在25年九月是外探大会,还有一个炒菜的Demo,这个Demo跟你们当时的那条技术路线有关系吗?
【嘉宾】那个其实炒菜是一个比较长程的任务了,然后当时是尝试着去做了一下,发现了很多软硬件上的问题。然后这也就促使我们更加坚定了说,我们一定要把大脑这个事情做实。因为如果没有一个比较好用的大脑的话,其实比如说上一次是炒菜嘛,对吧,然后如果我们想再拓展一个场景,复制成本实在是太高了。所以说可能有了那一次之后,我们更加坚定的说,我们要把大脑这个事情做好。
【主持人】我觉得有两类公司有两类思路,一个是我就要软硬一体化,然后一起携头往前走;一个是我就彻底不做硬件了,我要把脑子做好。你们选的第二条路,为什么会选第一条呢?
【嘉宾】我们的初心就是做一个通用脑子。所谓通用是因为我们有一个判断,是说这个行业需要的机器人,或者说它未来是可能进家庭,但中间可能还有一些脱位的这个阶段嘛。我们是觉得你很难说有一款机器人,或者说你哪怕到了进家庭,然后你可能每个家对这个机器人也有不同的需求,对吧。可能从任务角度出发,它就不是一个可能一个通用的本体,所有的事情全都解决的一个场景。我觉得这个事情本身可能短期内是不太会实现的。所以说在这个方面,我们就还是说既然我们的主业是做大脑,那我们就从大脑出发开始做。刚好我们其实也有一直讲了一个技术主张,就是我们的大脑从最开始定义就是希望它跨本体,就是说希望它通用。这也是为什么我们在训练过程中可能就加入了不同的本体的数据,我们希望我们的大脑在预训练的过程中就经历过这些本体,了解他们的特性。那么在后面可能说真的在某一个场景落地的时候,就可以快速的适应那个本体。这也是我们选择这条技术路线,也是跟当时可能跟公司整体的一个最大的战略规划,就是说我们要做通用大脑这个事情是符合的。通用就意味着是跨本体,通用除了跨本体之外,当然还可以,就是它还有跨任务、跨场景,这些也是通用的一部分。但是有些时候我还是比较坚持说,可能本体跟场景是没办法完全解耦的。就是什么样的本体适合什么样的场景,可能从这个本体从产品定义最开始,就已经决定了有些事情适合它做,有些事情不适合它做。大家现在可能讲的通用更多是会停留在任务和场景这个方面,但我们就是把这个硬件这个东西也考虑进去,我们觉得通用应该就是多一层,就是你本体上也要通用。
【主持人】你们26年,因为之前已经开源过四个模型,那是你们第一代大脑,然后现在又要开源第二代的大脑,这次应该有六个模型。在这两代探索上你们发生了什么样的变化,第一代做了哪些事情,第二代做了哪些事情。
【嘉宾】其实从我刚刚说的就是25年跟26年两个比较大的决定是比较相关的。25年的时候我们当时两个决定嘛,一个是一定要从视频开始学,一个就是要做这个空间智能,就是说从传感器开始学。然后这也是为什么就是从25年我们做的,今年一月份开源的四个模型,就是第一个就是深度,深度其实就是从传感器开始,就是希望这个机器人对这个空间有更好的认知,对距离有更好的认知。从这个视频开始学,其实就催生了视频动作模型,还有一个这个世界模型。就是说白了就是一个能让它当这个仿真器,另一个是能让它当执行器,你可以大概这么去理解。
【嘉宾】然后这是三个模型,然后再有一个就是VLA,VLA就是这个行业最主流的,然后能够真的说在场景里面去把活干好的这么一条技术路线。对,所以说去年、今年年初开源的四个模型就是这么个选择。
【主持人】这个模型设计了多久?
【嘉宾】不同模型那个开发周期不一样,像我说的可能时间就是开发的最长的可能就是视频动作模型,那个基本上是经历了大半年的时间,才最终把所有的时间都摸清楚。像深度这个因为我们之前在视觉上其实本来就有一定的积累,所以说可能在那个方面就是大概三四个月的样子,对,就是每个模型其实周期不太一样。
【主持人】这一代大脑能用到哪些场景本体还能做什么?
【嘉宾】第一代大脑当时我们应该是支持了九种构型,对,然后那个时候应该是做一些简单的这个抓取任务,对,然后行业那个时候做的比较多的也都是这个方面的动作。对,然后一些抓取上可能解决的比较好,我们在通过跟行业去交流去接触落地的过程中,然后催生了这一代模型的一个比较根本的一个变化。就是我们在真的想把VLA落地的这个过程中,我们会发现有一个点其实大家之前都没有太关注过,就是之前大家做的很多demo也好还是基本上都是实验室环境,实验室环境也就是说可能所有的操作是在桌面上做的。但是我们这次试着想把它在实际场景中落地的时候会发现,机器人做很多动作其实不是在固定高度做的,它可能需要比如说你去架子上拿个东西,它需要抬手的。抬手的时候这个时候就会明显的突出一个说实验室场景跟真实落地场景一个gap,就是比如说头到底要不要看你手抬的那个地方,然后视角会不一样,而且甚至有可能头其实抬了也看不到,然后抬起手来这里面就是说你的模型到底能不能控制抬头,以及说在头部相机失效的时候你能不能只用腕部相机,或者说用其他的一些传感器就把这个事情做了。这个事情在最开始的第一版的模型预训练的时候,我们只支持了手臂的自由度,然后只支持了夹爪,然后就是没有头没有其他的所有的东西,对,然后九种构型,就是做一些简单的桌面上的一些操作任务。
【主持人】所以你要做的抓取你不能只考虑手,你还要考虑其他的部位?
【嘉宾】对,甚至于有些时候假如说,因为你看最开始的很多VLA的这个demo是机器人是站在这不动的,甚至有一些大家做的展示出来的东西可能都不一定是个人形,就是它可能只有两条手臂,就是实验室环境基本上大家都是这么搞的,就是把这个东西都搞得比较死。但实际上落地的时候,就是我们不可能让机器人就是那个点被标得那么准,就是你如果要假如说你需要够的时候,手够不到,那你是不是要移动一下?对,然后就是刚刚说头是不是要抬一下,然后有些时候,包括一视线到底在哪?对,然后你说抬,就是你抓东西,那够东西是要抬手嘛,对吧?那我如果想要从下面拿东西呢,你要弯腰,对。这些自由度是我们之前第一版模型完全没有考虑到,然后在这一版模型,就是说这一次就是相当于2.0的一个发布中,就会发现我们在这个机器人这个数据上其实做了就是比较大的一个升级。从9种构型首先是升级到了20来种,对,然后自由度是从原来的只有双臂,现在支持到带头、带腰、带底盘、甚至带灵巧手。对,就是这个东西怎么说呢,这就是我觉得我们刚才说抓两头嘛,一面是就是上线的牵引,一面是抓落地,我觉得这个就是落地的过程中告诉我们到底应该,就是模型迭代有那么多方向到底应该什么是最重要的,对。
【主持人】对你训练模型来说,你最重要的要做的事情是要找到这样的数据,放到预训练里,你们这是一个多大的预训练规模呀?
【嘉宾】这个我们这个应该是一个3B,基于当时应该是基于3点几B的一个模型去做的,对,然后数据量大概是搞到了6万个小时。6万个小时,对,第一代是2万个小时嘛,然后这一代是升级到6万小时。但其实这一代升级到6万小时跟那个第一代的2万小时还不一样,因为我们整个数据管线,因为之前就是最开始做的时候,感觉很多什么样的数据是好的还没有完全的探索明白。然后经过了第一版模型的发布之后,把很多这方面的数据也重新清洗了一下,所以相当于第一次发布那个2万小时数据,落到这一次的可能就剩1万多了,对,然后我们是在这样的一个更严格的管线上,把这个数据又做了一个量的累计,然后差不多4倍应该是有的,应该是上一版的4倍差不多吧。
【主持人】数据来源包括哪些,怎么收数据?收数据其实,你们是真机数据派是吧?
【嘉宾】对,我们是以真机和可能还有一些Ego的数据,Ego就是人头上带个相机去做的那种。
【主持人】你们仿真数据要吗?
【嘉宾】仿真我们可能会更多的把它留在评测上,就是可能不太会用仿真的数据去做模型的训练。仿真数据量是可以做的很大,但是数据除了说数量之外,其实数据有一个很关键的点就是分布,分布就包括了说,比如说构型可能是一种分布,任务维度也是一个分布。我觉得仿真数据它可能在它擅长的方面,它可以瞬间就可以生成很大量的数据,这个事情是毋庸置疑的。但是从另一个角度说,怎么说呢,它可能分布会相对同质化会严重一点,就是它可能做的是差不多类似的任务,就是它的那种,比如说,尤其是一些这种柔性的仿真,或者说,比如说你撕开一个塑料袋这种,其实对仿真来说,我感觉物理引擎的还需要点时间再去做一些迭代,迭代升级,可能那个时候仿真的数据用处会更大一点。但是对于仿真现在比较好做的一些任务来说,比如说也是一些抓取、挪这种任务来说,其实从现在整个行业的发展来看,真机数据的成本也在逐步的下降。
【主持人】降了多少?过去两年吧?
【嘉宾】我觉得至少得降了三倍不止,对,我感觉是这样。从整个人员管理的逐渐成熟,然后机器也逐渐成熟,对吧?然后可能数据的需求也逐渐变多,就相当于数据也在量产,量产一定会降本的,对,所以说从各个方面的一个成熟,我感觉是让真机数据的获取的渠道,以及这个渠道会变多,然后成本会变低,所以说可能这个,我觉得也代表了整个行业的一个。
【主持人】就是繁荣发展的一个趋势吧。有哪些类别的数据?准备数据上有什么能耗吗?
【嘉宾】核心的就是你到底要下发什么样的任务,这是一个比较难的点,就是你怎么能让你的任务尽可能地覆盖我们刚刚说的所有的自由度。
【主持人】它有一定的通用性吗?
【嘉宾】对,就你不能说我这个数据里面,90%其实都没有用到头,只有10%用到了头。不是非常准确,我觉得可能举个更好的例子,就是说头部出现的,就是头部这个自由度出现的比例,跟可能腰部出现的比例差距特别多,那可能会导致我们的模型就更倾向于学头,然后不太会动腰。大概是这么直观上讲,可能是这么理解会好理解一点。然后另外一个,可能就是数据真的拿到之后,怎么样把它清洗好,这个链路是怎么样的。这个坑其实我们也趟了比较久,因为这里面有一个天然的困难点,就是我们做的是这种跨本体的模型,每家本体的特性都是不一样的。所以很多数据处理的方式,可能是要跟本体有比较强的关系的,不是说真的每家本体都可以用一种数据链路就搬去处理掉。你可以列成,比如说它的那个相机摆放的位置可能就不一样,对吧,它的自由度的关节的,比如说几个自由度的连接方式也不一样,就是所谓的这种configuration,就是这种机器配置的不同,其实对这个数据的处理上带来了很大的难度。所以可能我觉得核心的论点应该就是这两个吧,一个是怎么下发任务,以及数据真的拿到了之后,怎么把它处理得更干净。
【主持人】有观察到什么通用性好的任务吗?
【嘉宾】通用性好的,其实还是说操作越简单的,它就通用性越好。就是因为这个事情可能取决于操作员的能力了,因为你越复杂的任务,可能能够把这个任务完整,或者说丝滑做起来的素材员就比较少。因为如果它的动作,就是采集素材的过程中这个动作假如说不丝滑,很有可能就导致你是没办法把它修丝滑的,就一条数据嘛,因为那个成本就巨高了。如果你不能把它修得丝滑的话,可能会导致你学出来的模型,它以为这是一种正确的操作方式。可能最后模型在控机器的时候,那个机器人也非常卡。这个怎么说呢,可能素材员这个行业也在成长。
【主持人】这是你们自己的素材员还是外包的公司?
【嘉宾】都有。我们有,因为我们整个是一个比较,就是我们有那么多种构形嘛,我们可能有一些合作伙伴,生态上的合作伙伴,尤其是数据侧的、本体侧的都有。然后我们可能会拜托他们,帮我们一起去把这个数据体系建立起来。然后同时有一些比较难的任务,所以就是我们还保留了一定的自己的采集数据的能力。至少我们先把这个SOP先弄清楚,就是我们的人先把这东西做一遍,然后把它再去沟通给别人,然后说这个事情能不能帮我补一些什么样的数据。所以很多素材方面的可能其实也是我们自己在,也是自己一点点的在趟。
【主持人】我听说有个说法,就是有一些错误数据,错误了再纠正的数据也是好数据。
【嘉宾】对,那个可能跟真机强化可能会有点关系吧。那种素材其实也一样,就是你仍要在旁边相当于看着它,然后你要知道它犯错了,然后你要在合适的时间打断它,并给它一个正确的示范。这个是这样的,就是我们现在因为为了落地嘛,为了提高成功率,其实我们内部也在落地这个环节,其实也加入了真机强化的这一部分。就是说怎么能够让这个机器人从可能本来模型没有做得特别好,就是纠正它,然后把这个模型变得更好,这个是有的。但是这个东西可能就更偏落地一点,可能我们没有在这个开源的技术报告里面去体现。
【主持人】你们这次六个模型,它们之间的关系是什么样的?
【嘉宾】这个其实是,我觉得这是这一次我们做的一个比较好的地方。我先大概讲一下关系吧,然后我再说一下为什么我觉得是做得比较好的地方。首先第一天我们会搞了两个模型,一个是这个Base,就是灵初Base,然后另外就是一个灵初Depth的升级。这两个模型是因为我们上一版,就是在1.0那个版本的时候做的Depth,
【嘉宾】其实是基于Dino去做的。对,当时我们是用的DinoV2当我们的Pre-train Model。然后DinoV2其实也算是一种数字世界的模型吧,然后它可能更多的、比较擅长的任务就是那种语意的理解。对,但是其实我们发现语意理解的这种预训练,因为在数字世界,就是你理解语意其实就够了很多时候,对吧?比如说只知道这是一盆花,然后只知道这是一只狗,这可能就够了。对,但是我们在发现这个事情,就是这种语意级别的理解,跟真的说想要去理解空间,或者说理解距离,好像并不是天然那么吻合。所以说我们自己重新做了一遍预训练,就跟Dino不一样的是,我们是完全从几何的角度出发去做的预训练建模。几何角度怎么理解呢?我觉得你可以粗浅地理解成点线面吧,就是说给你一张图,然后你先看有哪些点、或者说边缘。对,就是我们是从边缘出发,去让这个模型更好地去理解几何这个概念,然后因为几何其实距离也是,就是它跟距离是比较相关的嘛。然后所以基于这样的一个VLM,就是我们这次更新了底下的基模,然后会发现,就比之前用DinoV2去做的这个Depth要好有一个比较大的一个提升。然后同时经过了半年的积累,其实我们的数据量又翻了几倍,然后所以说,我们又把这个Depth基于我们自己的新的基模,然后以及更多的数据又迭代了一版。对,所以说有了一个更好的Depth,然后这次Depth,我觉得有几个比较有意思的例子。第一个是我当时看到的都比较震惊,就是一个厨房里那种比较透明的那种水龙头,不是透明,就是反光的水龙头,然后把水打开了,然后可以看到,我们是可以清晰地看到水流的。
【主持人】就哪怕,清晰看到水流?
【嘉宾】对,就是因为这个事情对于一个机械臂真的想执行一个任务来说是很关键的,就是你必须要能看到水。只要假如说就是接水,你必须要先能看到水。
【主持人】你是说机械臂看到水?
【嘉宾】对,就是你要看到水的位置,不是说看到水打没打开,你要知道水流在哪里。
【主持人】它之前看不到吗?
【嘉宾】之前应该是,之前它知道那个水流是开的,但是距离肯定是不准的。基于我们的VLM训练出来的Depth,这是一个我觉得比较有意思的点。然后第二个点我觉得更形象了,我其实比较喜欢拿这个例子去做一个解释。我来可以解释一下,为什么语意理解跟数字世界的语意理解,跟物理世界的这个距离是不一样的。这是一个很有意思的例子,就是一个假如说阳台,然后有一个玻璃门,然后外面有一只猫,你会看到我们这次Depth模型,是完全看不到那只猫的,因为它前面挡了一道玻璃。就是相当于是如果我们人在往前行走的时候,你就会先撞到玻璃,然后才有猫,所以我们会试着把那个玻璃门拉开。拉开的过程中你就会看到那个Depth出来的那个猫,就逐渐地从那个门后面出现了,因为玻璃被拉开了,然后就可以看到猫了。但是从语意理解的角度,其实那个猫一直在,就数字世界它只需要知道那有个猫就好了。但是物理世界你还需要知道前面有一个门,它对位置的感知在数字世界里是很弱的,因为它不至于说我走一走会撞到,它没有这样的问题。
【主持人】对对对,其实我觉得这是一个非常好的例子,就是你能看到,但你摸不到,能看到是语意理解,摸不到是空间感知。
【嘉宾】所以说这是我们第一天发布的两个模型,就是VLM和Depth。对,然后它们两个关系就是VLM是Depth的预训练,我们Depth之前用的预训练是Dino,现在我们没用Dino了,然后我们是自己搞了一套新的预训练。然后新的预训练,你可以理解成它是对视觉本身的一个很好的理解,这是预训练做的事情。然后Depth是它的下游,就是你从视觉感知怎么变到空间感知。对,就是相当于把从图像变成三维,大概是这么一个关系。
【主持人】跟它们有关系吗?
【嘉宾】没有。
【主持人】这个也不需要基于LLM对吧?
【嘉宾】对,这个是完全从视觉出发去做的训练,就是一直比较细致地讲,我们关注的就是三个事,就是看得更清楚。
【嘉宾】想得更明白,干得更利索,就是机器人。我们是觉得就这么三个事,你第一个是看得更清楚,对,所以说我们先解决看得更清楚的问题。然后看得更清楚这个事情本身是不需要语言的,就是纯视觉原生的一个预训练链。对,然后这是第一天要做的。然后第二天我们其实发布了VLA,然后VLA做了个升级。然后我刚刚说VLA这次的升级,可能主要是从落地的角度,我们发现了一些问题,怎么把这个数据变得质量更高,然后怎么让构型变得更多,然后支持的任务可能变得更复杂,因为我们能支持头腰这些东西之后,它可能能做的事情就变多了,对吧?
【嘉宾】对,然后VLA这个事情,我觉得可能对整个零波来说,它最大最大的价值就是把数据要弄明白,而且把数据弄明白的是从产业的视角,把产业需要的数据,或者说把落地需要的数据弄明白。对,这是整个VLA这次的升级。
【主持人】然后刚才VLA讲的也比较多嘛,所以像比如说有一些模型公司,就是以research为主导的公司,它的数据可能会倾向于真机和仿真数混合来用。在你看来是不是它离真实场景是有距离的?
【嘉宾】这个可能是不同公司选择的策略不一样,因为如果它选择的场景是仿真可以做得比较好的,那我觉得从仿真上拿数据没有任何问题。对,然后但是我们还是说,我们想要做通用的大脑,然后也是就跨本体、跨任务,所以我们希望它能支持的任务,其实是越多越复杂越好。对,所以说可能,现在对于这种通用任务来说,仿真可能的覆盖率没有那么高,所以可能我们没有选择仿真这条路,然后更多的可能还是希望从真机出发去做。
【嘉宾】对,反正就是说,第一天的模型我们解决了看得更清楚的问题,然后第二天的模型,其实就是VLA我们是解决了数据的问题。然后其实接下来的,刚才说的三个模型,还有三个模型,这三个模型其实我更想放在一起说,一个是video,一个是world,然后还有一个就是我们一直讲的VLA,或者说现在外面会讲WAM,对,就是我们,但我还是会以VLA来说,因为我们的命名是VLA,对,我们这三个东西放在一起说。然后这个地方我记得callback一下我们刚才说的一个点,就是我们在上一版1.0的时候发现,很多数字世界的模型的开发的动机,跟物理世界的需求是不匹配的。对,然后其实有几个明显能感受到不匹配的点。
【嘉宾】第一个,数字世界的,尤其是视频生成这一块,或者说大家现在比较喜欢讲这个世界模型嘛。第一个点,数字世界在做视频生成之前,会做一个语义的压缩,会做一个视觉的压缩,因为它要求最后生成的图像的质量要很高,对吧。然后那它没办法做的话,它一定要先做一次压缩,但它这个压缩其实就是,或者说大家现在比较常用的开源能拿到的这个压缩,它就是只做了一个单纯的压缩,这个压缩过程没有,就是这个压缩过程本身对后面的学习没有任何帮助,或者说没有任何联系,它就是单纯把一个,假如说就是把一个,假如说是100兆大小的东西,然后我先把它变成30兆,让它更好学,可以大概这么理解吧。然后我们这一次呢,是为了让机器人在后面的学习,就是学习的过程中,能够更好地去理解语义和动作本身,所以说我们在训练这个压缩的这个,就是视觉压缩的这个模型的时候,我们就加入了语义和动作的对齐,就是说换句话说,这个压缩的或者我们叫编码器也好,它在编码的过程中,就可以感知到一些语义信息和动作信息。有了这样的一个编码器之后,它在后面基于这个编码器编出来的那些东西,再去学生成的时候,它就更好地能够把语义跟动作这个东西,理解得更好,这是一个点。
【嘉宾】然后第二个点,也是就是数字世界跟物理世界不太一样的地方,就是其实数字世界不是很关心效率,因为就是举个例子,就是大家说现在比较常见的就是文生视频,我给它一段话,然后它会给我一段视频。然后其实中间可能,比如说你生成一个30秒的视频,用户可以等30秒,就是或者说等10秒,等20秒,那还是希望很多越来越快的,对,肯定是希望快,但是我的意思,它肯定是可以等,然后等你整个视频一起生成完。但是机器人在执行的过程中是没办法等的,它是即时的,对,它一定要实时,一定是实时的,对,然后所以说,基于这个它就会诞生两个点。
【嘉宾】第一个,你的模型效率是不是能做得更快?这个其实从这个点上,对,就是因为现在大家可能用万象会用的比较多,然后万象其实是一个dense的模型,就是它没有用MoE这种形式。比如说它是一个14B的模型,它在推理的时候激活就是14B。但是这个事情我觉得对于后面的加速,你哪怕是后面的加速工作做得再好,你在模型本身激活上其实没有一个,如果就是说从框架上不做加速的话,可能对后面的,就你能加速的比例其实是固定的,你没办法真的做到非常非常快,这是一个点。然后另外一个点是,就因为刚刚说的是时序的,所以它必须要所谓的单向建模,你的历史是看不到未来的,未来可以看到历史,但是历史看不到未来,时间是单向流逝。对,但是因为数字世界你说生成模型的时候,其实它可以是双向的,对吧,因为就是你是给它一段话,然后你等一会儿,你等的过程中,其实就相当于是你那段话的开始跟结局其实你都知道了,然后它给你一段完整的视频就好了,它不用说在这个过程中只能往前走。这两个点是物理世界提出的一个比较新的需求,但同时呢,也不是说提了新需求之后,它就这个东西会变得更难,但物理世界也有一些可以被做一些取舍的东西,就是可以被舍弃一些东西,最核心的就是画质。因为数字世界可能大家会要求高清嘛,然后要求帧率要高,然后这个东西看起来、欣赏起来才好,那种生成主要是这样。对,其实不同生物之间的视觉能看到多清晰是不一样,但是它也可以在地球上生活。对,所以嘛,就是物理世界,换句话说,你可以生成这种有点马赛克没有关系的,或者说画质不高没关系的,然后因为什么,因为我们还有摄像头,就是你生成的不高,但是你能看到,所以这个没关系的。对,然后就是,基于刚才我说的,它提出两个新的需求,但是又可以舍弃掉画质本身,所以说,我们在这方面又做了两个工作。一个就是我们说的video,我们也是把它开源出来,就是灵宝video,本身就是一个原生MoE架构的一个模型。它有一个,其实MoE这个事情啊,就是大家可能听的会比较多,好像说,那就把一个dense的变成一个不用每次都激活,我就是比如说三个参数激活一个,就是类似这种不就好了吗?但其实,真的想把MoE训明白还是有难度的,因为在训练过程中你要控制每一次的生成激活的比例,它要均衡。就比如说,你一共有30个参数,然后你每次都激活那10个,就有20个参数基本上不被激活到,这个事情是不可以接受的,因为如果是这样的话,或者说跟10个参数的dense模型就没有区别了。我们既然是想让它……
【嘉宾】就是稀疏化,那你要让它稀疏得均匀。如何能让一个模型,就是MoE的训练,均匀地把每个参数都,就是怎么说呢,同样的概率被激活,然后把它训好。这个东西其实是一个技术问题,对,它不是一个意愿度问题。不是说我想让它少激活点就少激活点,对。所以说我们在Videos上,因为我们自己从头训,把这个MoE这个东西,我觉得应该算是现在是趟通了吧。
【主持人】这个中间失败过没有?
【嘉宾】失败了很多次。把整个训,因为我们也想说训一个能有训练基模的能力,然后其实把整个基模训起来,整个infra搭起来,工具弄起来,其实这些都基本上可以理解成是确定性工程。就是都知道,可能没那么多经验,但你反正就是做就好了。其中花的最大的一个部分就是MoE。MoE应该至少,光训MoE,想训明白,可能就花了两个月的时间。
【主持人】两个月?
【嘉宾】对,然后就是不然的话,就是你一直发现,它虽然叫MoE,但跟你最后期待的MoE是不一样的MoE,对。所以我说就是MoE,它不是一个能力问题,它不是一个态度问题,对。
【主持人】所以说出来请问,哪些能力你失败了几次?中间失败。
【嘉宾】因为两个月,我估计失败个几十次应该是有的。
【主持人】几十次?
【嘉宾】对。但失败它不是说,你训到后面才失败,你训一训就会发现,跟你想要的不一样。就是有一些参数激活得极不均匀,不平衡,对。然后MoE这个事情,这个所谓的专家被等概率地激活,然后这个里面可能就涉及到,从你训练的时候这个loss function的一些选择,然后从你这个sampling的一些策略,就是,对吧。这些或者说给它加一些正则之类的,就是加了各种各样的东西。然后现在,我们可以保证MoE这个东西。
【嘉宾】基本上这个技术本身可以稳定的训练吧,本身是个技术嘛,细数化嘛,这方面应该是算是有一个比较大的提升。然后这是说一个技术点,另外一个技术点就是说时间不能倒流这个事情。时间不能倒流,就是我们要求整个attention其实都是单向的,因为attention,或者说数字世界大家常用的模型,基本上都是双向的,因为它要求画质嘛,双向肯定就是计算就越大,计算越大肯定效果就越好,这是一定的。但是我们想把它变成单向的,在这个地方应该从1.0的时候就希望把它变成单向的,然后又花了可能三四个月的时间,能够做到从头开始就单向训练。
【嘉宾】它其实还有另一种选择,就是先有一个双向的,然后把这个双向的变成单向的。我们就会发现会有一个很大的问题,很多模型预训练里面学到的一些知识,比如说对文字的一些理解,其实是隐含在它的双向的attention里面的,就是一些knowledge隐含在这里面。然后你强行把它变成单向的时候,单向这个事情是跑通了,但是那些knowledge有些就遗忘了,相当于预训练作废了。它作废的一个直观表现就是你之前可以跟它说每一句话,它都给你转移成一个比较好的视频,但是现在你可能再跟它说一百句话,可能只有百分之二三十的能转移成好的视频,剩下的七十句话它已经不理解说的是什么,因为那个知识被破坏了。所以说在把双向变单向这个事情上,我们算是做了一个比较大的决定,果断地舍弃了双向变单向这个路线,最开始设计的时候就是单向的。video这个工作解决了MOE的问题,从头训练MOE,然后我们具备了训练MOE的能力。然后ward的那个工作其实证明了我们也可以把单向的attention训练这个事情也搞定了,然后把这些技术,
【嘉宾】最终我们全部应用到了具身模型上,也就是诞生了我们最后一天发布的那个模型,就是VA 2.0。
【主持人】这个模型是最关键的,对吧?
【嘉宾】对,它是整个所有的技术拼到一起的一个模型。它就是,因为就像那个video,是我们证明了MoE这个事情,就是我们先把这个路趟通了,然后word是把call call做pritching这个事情趟通了,然后我们把这两个技术揉合在一起,再加上我刚才说我们压缩的过程中也做了一些改进,把这三个技术点放到一起,有了一个纯面向机器人控制的、一个原生的基模。这个基模从每一个参数都是完全随机化开始训的,然后再包括这个机器人本身采的一些数据,我刚才说VLA,不是,我们搞了很多真机的数据,我们把这些数据都放到了这里面,然后去从头训练了一个为了具身设计的一个基模。这个是,我觉得可能是这次发布里面,我们一直讲具身原生、具身原生一个概念。可能这就是我觉得,这个东西就是我们想说的具身原生本身。
【主持人】我不知道在这6个模型里面,哪一部分会用到LLM?有一种说法是说,呃,就是LLM如果是大脑的话,其实机器人好多都在训练小脑。那你觉得你们这个具身原生的模型,它到底是大脑还是小脑的部分?
【嘉宾】外面每个人对这个大小脑定义是不一样的。在一些简单指令的执行上,比如说就你给他说一句话,然后他帮你把这个事做了,这种层面,应该是LLM在做的。但是其实在这个之上,还有个更加智能的一个部分,那一部分现在LLM还没有解。那一部分就是真的把跟人的交互放在里面了,就是那个东西是需要很多思考,比如说假如说,
【嘉宾】呃,机器人今天在外面下雨了,他就要知道给你拿把伞,让你出门。对,这个层面的东西,我觉得应该在更高的智能阶段是需要做的。而那个阶段可能是跟语言模型,跟多模态模型要解决的,其实我觉得跟数字世界可能就更相关了,对。
但是,但如果单纯的你跟他说,呃,帮我拿一把伞,这种动作,我觉得,林伯现在解决的是这一层面的问题。他做一个动作,对,但是他的动作是简单的,呃,他可以是一段连续的动作,但是,呃,但是他为什么要做这个动作,他不知道。嗯,对,就是他只管意图的实现,就是你有个想法,他帮你做了,但是他不会有,他不会产生自己的想法,他不会主动帮你去想你要做什么。哦,对,那一层面的交互,我觉得可能是更高级的智能,林伯现在还没有做这一层面的事情。
就是因为我们有了这个刚刚说的,我觉得,为了,就是相当于我们没有再重新用数字式的模型,基于数字的模型迭代,然后我们可能是为了具身单纯设计了这么一个模型。就是因为有了这个,我觉得有几个比较大的,呃,我觉得挺有意思的提升。第一个是,嗯,现在他能处理随机性,处理随机问题的能力要强很多。然后我们其实有一个demo,是跟人去就是打那种撞球,就是在那个例子里面,你会发现,嗯,他这个demo跟一般的大家做的demo就不太一样嘛。然后因为他里面会有很强的随机性,你永远也不知道对面人打过来那个东西会在哪儿,对。就是他,他就相当于,不是说,我把位置都,对,我不是说把位置都打好,就是,
【嘉宾】很关键的点是,我们在整个过程中其实是只依赖了机器人自己的相机,就是没有在那个场地周围再放一圈相机,然后让那个相机去追踪那个东西的位置,就是不是靠这种方式实现的,完全是就是跟人一样,就是我就一双眼睛,然后我就看到那个东西,然后去做。
【嘉宾】对,这个东西是处理随机性。然后另外一个是那个回合非常快,因为人打嘛,就是他对实时性的要求就很高。机器人动得很慢,或者说你动一下卡一下,动一下卡一下,其实你是打不回去的,这是挺好玩的一个场景。对,所以我觉得这是一个点。
【嘉宾】然后另外一个,再举一个例子。比如说,比如说就是,我们还是说整理桌面这个东西。就是大家看到的,假如说就是一般都会说,假如说收纳玩具或者什么,基本上都是摆好了嘛,对吧。然后我们现在是,可以支持,假如说你现在拿一筐随便撒上去,撒上去以后,然后不就那个,其实就这本身就已经带了随机性,对不对。
【嘉宾】你中间还可以把一些东西再拿出来。它不是说就把现在有的这些弄好,就是收拾完就好了。你会发现你可以把它捡进去,那个东西再拿出来随便摆一个地方,它还是会把它收进去。甚至于你可以跟它一起收拾,就是有一些东西可能它还没收到,然后你先帮它收了,这一点也是一个比较大的一个进步。
【嘉宾】对,这个东西就是我们现在能够处理的随机性,应该比1.0版本那个模型要在这方面要强很多。对,这是因为加了更多的数据?不是,这个东西就是因为整个的模型的预训练不一样。
【主持人】你看到了模型具有泛化性的这种迹象了吗?
【嘉宾】对,就是我觉得在这个,这不是不是说任务吧,就是位置上的泛化,这一点。
【嘉宾】我觉得现在应该是有比较大的突破,它能够接受这种随机性,对。这意味着它不是只是通过一个RL来做的反馈,对,它不是一个固定的任务了,嗯,它是一个中间可能会有很多突发情况的一个任务,对。这是一个,我觉得这是一个在这个方面,就是随机性,就是泛化性分很多很多维度嘛,可以说是解得会好一些了。然后但是我觉得现在我们这一版模型,可能对于这种任务上的泛化,任务上的泛化,怎么说呢,我觉得就是,就你能不能够直接就是什么也不做,直接给你一个新的任务,从来没见过,你就能做了,我觉得这个是一个比较难的一个事情。然后这个,我觉得这个维度可能现在还没太做好,因为它最大的原因是机器人的数据还是不够多,就你见过的任务还是不够多,你没办法通过你见过的任务排列组合,变成一个你没见过的任务,对。我觉得这个可能还是一个即将要,就接下来可能要去重点突破的一个点。
【主持人】那你需要它见这个任务看几次它能学会呢,就是它的学习成本有降低吗?
【嘉宾】这一版应该是比上一版有,也就是我们的2.0会比1.0有,我觉得是这方面也是有提升的,然后体现在两个方面。第一个方面是我们1.0的时候,当时其实是做了这种评测嘛,当时的评测是每一个任务要单独训一个模型,就相当于假如你有一百个任务,你就要训一百个模型出来,就每个任务都要单独训一个后训练然后再去测。但这一版,我们是可以把,假如说10个任务,我把这10个任务训到一起,一起测,相当于这10个任务只用一个模型解决,这是一个方面的提升。然后另一个其实从这个数据量上来讲,后训练需要的数据量变少了,我们上一版应该基本上都在100条左右,然后现在应该是20条左右就可以了,对。然后当然你还是没办法做到说一条甚至更少,对。
【嘉宾】我觉得那个可能要随着基座模型的能力进一步提升,可能我们再试图把这个事情再做下去。但整体来说,这一点上应该是比1.0也是有一个比较大的提升。
【主持人】对。具身智能今天到什么阶段了?
【嘉宾】你这点说还没有到GPT-1的时刻,今天。
【主持人】今天。
【嘉宾】对,今天我还是觉得也没有到这个阶段,就是具身智能本身,对。因为为什么这么说?因为现在还没有看到一个比较好的能够做数据scale up的方式。就哪怕是我们这次说的,比如说我们用了6万小时,对吧,现在有6万小时数据,但其实坦白讲跟上一次比还没有数量级的提升,而且这些数据应该是远远不够的。我相信随着现在这个行业获取数据的方式,就是大家在做各种基座相关的数据,我觉得应该是等获取数据的方式真的确定下来,然后可以大规模铺开的时候,可能那个时候会看到GPT-1的时刻。
【主持人】这瓶颈还在数据?
【嘉宾】对,我觉得现在因为跟GPT相比的话,我觉得应该还是在数据的。我们这次虽然也在讲,就是我们模型的架构设计上是具身原生嘛,就是我们的模型设计都是特性是为了具身设计的。
【主持人】没错。
【嘉宾】但是为了做预训练,就是具身原生的预训练,其实我们还是用了大量的互联网数据在做的,然后互联网数据的量级比……
【主持人】就是远大于,大于多少?几倍于?
【嘉宾】互联网数据应该差两个数量级吧。
【主持人】OK。大于模型能够scale up,是因为互联网数据已经ready了?
【嘉宾】对。所以说在这里面虽然说我们架构上已经做到具身原生了,但我觉得数据上还没有。所以可能当具身的数据本身可以做scale up的时候,或者说能至少跟互联网达到相同量级的时候,可能说……
【主持人】你估计还有多久?
【嘉宾】具体的时间可能就不好预估了,那个,但是。
【嘉宾】现在比之前的好处是,因为基建上来了,模型的开发周期跟GPT之前的那个时候不一样了。那个时候大家能有个万卡集群,就觉得很了不起了,至少从语言模型那一块。但是现在美国的很多公司在做语言模型的时候,基本上都是10万卡,甚至可能到更多。对,所以说我觉得整个的这个基建上来了之后,模型的开发效率也会比之前要快。所以说可能不一定说呃,原来的GPT1到GPT3.5,或者说ChatGPT,可能用了一段时间,然后可能现在从机器人的GPT1出来,到机器人的ChatGPT出来,可能不一定需要那么长时间。
【主持人】对,因为是配套的工具在成熟,你们的infrastructure也跟着提升了,是吗?
【嘉宾】呃,对,因为我们开始要做预训练了,想去动到原生基模这个东西,它需要的资源肯定比之前说我只把它当做数字世界的一个下游去做,需要的资源要多得多。
【主持人】对,你们要做原生俱生的模型,这个bet是什么时候下的,当时纠结吗?
【嘉宾】呃,其实不纠结,呃,因为在发满1.0的时候,我们当时就意识到这个问题了。就是很多特性我们当时是强行在数字世界的数字模型上魔改,然后发现很多东西就是不工作,就是你改了再fancy,它有一些缺点还是会暴露出来。所以在1.0发布完之后,我们当时就做了决定,就是我们必须要具备做底层、更底层模型训练的能力。
【主持人】算不算是bet?
【嘉宾】肯定算是bet,因为,嗯,我们也不确定这个东西是不是能成功,是不是能训练,但我觉得值得一赌。因为这个在我们看来,如果数字世界的那条路就是走不了特别长远的话,那这是一条必经的路。如果走不通,
【嘉宾】就是,或者说,如果不是我们走通,也会有人走通的,因为我觉得这可能是正确的路。
【主持人】嗯嗯,有什么之前怎么做的做不成的任务,到这一次让你觉得有什么 aha moments 吗?
【嘉宾】其实我对于刚刚说的那种跟人一起打球这个事情,就比较惊讶,因为它真的是综合体现了好多能力。就是你的执行也要快,然后你的这个随机性,或者说你的预判要要好,对。再加上其实那个东西我们可能一共也就采了二十条数据,我就说为了执行这个任务,对。
【主持人】这个比较出乎你的意料,以前需要采多少数据?
【嘉宾】以前可能采多少数据都不一定能做成,对,因为,就是,真是不是能够让模型把这个随机性就是 cover 得比较好,我感觉之前我是没看到过有类似的东西出来。
【主持人】嗯,在做原生机器的脑子这件事情上,有什么其他人的工作可以借鉴吗?比如说硅谷的一些 frontier lab,它的工作有可借鉴性吗?
【嘉宾】呃,我记得应该是数据量比我们要大得多。嗯,呃,他们官方就是能或者说能查到的消息,呃,公开消息,然后可能应该就是几十万小时,现在可能都不知道是不是可能有百万了,我不清楚。然后他们的数据管线什么的,这一方面应该还是比我们要成熟的,他们更早地去动到了 VLA 这个方面吧,对。但是,呃,是一样的,但是你要说技术本身的借鉴,其实并没有,因为我们相信一定要从呃视频生成这个路线里面去学到一些知识嘛,对。所以说能够把视频生成这个做到原生的,目前还没有看到。
【主持人】你怎么看,
【主持人】Generalist和Physical Intelligence他们的路线的区别?听起来Generalist更实用一些?
【嘉宾】我觉得他们两个更多的是,可能有一些,他是能接受有后训练的,他强调的是高效后训练。然后但是,PI好像更多强调的是zero shot,他更希望不要后训练,就是我什么都会。所以从这个角度来讲,我觉得可能天然选择的路可能就不一样。从我的感觉上,可能是可以,但是这两个能力都必须具备。就是如果我们设想,未来有一天,机器人真能够进家庭,你可能希望他有两个点:第一个点是他进到一个家庭之后,百分之八九十的活他自己就能干了;百分之十到百分之二十他干不了的,可能是你教他一下他就会了。这两个我觉得都是需要的能力,就是in context learning。然后这是这是一个点。然后另外一个,可能他们两个技术理念我个人会感觉有点不一样的是,Generalist可能还是在,他对UMI那条那个那个数据可能会比较,他理解的比较深入,玩的也比较好。然后那个Physical Intelligence可能还是在,针对遥操上,他们应该是在这方面做得比较扎实。对,从这个可能说,我觉得灵巧手这个东西可能也会逐步地被提上日程,就是大家可能会越来越关注说,需要的更复杂的一些操作任务。那个时候可能单手就不能满足需要,可能一定要用灵巧手了。对,可能在B2B的行企,再加上灵巧手的。
【嘉宾】不断的发展,很有可能,呃,可能他们也要去迭代升级。但有可能再往后发展发展,可能就和久必分,分久必合,可能他们也会慢慢走向同一条路,这个谁知道呢?所以现在不同的路线,呃,的核心是我怎么使用数据,或者我怎么获取数据,这是一个很关键的点。
【主持人】对,这肯定是一个很关键的点,对。我現在是比较坚信的一点,尤其是我们这次自己的模型,嗯,就是他为具身设计的模型,但是就在这个这个观点如果不变的情况下,那它的数据必须要支撑它可以做自己的模型,嗯。所以数据是如何把数据很好的 scale up 是一个至关重要的点,嗯,对。这是问题,我去年去上海外滩大会,他们为一个事情争得不可开交,就是说到底呃去代表模型的一个方向,嗯,有两派观点,一派认为我们是基于 LMM 训练的,所以我们是呃成长在 LMM 这个上面的一个支线。然后另一派就觉得我们一定是独立的。你是哪一派?
【嘉宾】我不能完全说是哪一派,如果硬要选一个,我可能会选到后者。具身智能要解决的问题跟原模型它其实是不冲突的,就是原模型更多的是让人听懂这个指令到底是什么。但我觉得具身智能更多需要解决的是怎么把这一件事情做好,做好本身是不需要再理解语言的,嗯。但是它的前一步就是怎么把语言转移成,就是它后面的一系列动作,就是第一步可能是需要依赖语言模型。我会认为呃具身会继续拿大原模型当一个比较好的入口,嗯,然后它会成长出自己的模型,它们两个中间可能就是一个就是交互的层面。
【嘉宾】更好的,当然是说我们把语言系统也内嵌到具身里面,但我感觉短期内具身要聚焦解决的问题不是那个,它还是要先解决怎么把一个事情干明白这个点。但干明白这个事情,我个人会觉得对语言的依赖没有那么高。语言是第一个招呼工具。换句话说,如果不是语言,你假如说一共就一万个任务,然后你把这一万个任务变成固定的编码给它可能也行,只是它没有办法在任务维度再泛化了,但语言模型本身可以在那个维度再泛化嘛,它解决的是需求泛化的问题,我感觉对,但是这个明显不是现在核心焦点。
【主持人】你觉得从24年底,就是你们开始做这家公司,然后到现在为止,整个行业的突破是什么?在哪些方面它的进步快吗?
【嘉宾】其实我觉得进步是比我想象的要快得多。因为首先从硬件上,然后现在至少像宇树啊、智元啊,就是已经把这个量产已经跑通了,然后就相当于供应链也随着这个行业发展也在成熟,就是一个点。然后从去年开始大家是假扮,到今年开始灵巧手公司已经层出不穷,然后已经有非常多的灵巧手公司出来。然后灵巧手的发展也是,就是我觉得可能也用不了太久,可能会渐渐变成标配,渐渐,就只能说,就是可能再给它一段时间,因为就已经假扮了,然后再加上就是传感器层面,现在有越来越多的触觉相关的传感器,然后这些其实都是为了,就是灵巧手啊、触觉,其实就是为了让机器人做更复杂、更精细的任务嘛。
【嘉宾】对吧,这是从,就本身硬件,或者说对这个行业里面硬件的发展来讲,我觉得是一个比较让我惊叹的一个速度。跟数据的关系,嗯,它更多的还是为了模型的升级嘛,我觉得还是,或者说你能够提供更多的,执行更多的任务,其实也是为了让模型能学到更多的知识,对。然后这是硬件,硬件这个层面。
【嘉宾】然后另外还有一个层面就是,从这个落地的这个层面。因为现在已经可以看到很多家都在去展示说模型,比如说可以进工厂干活,物流分拣啊,对吧,然后已经有越来越多的开始去提机器人的落地。而且现在的落地已经不再是通过比如说一些传统的控制方式落地,大家都在尝试用模型去落地。我觉得这个也是一个比我想象的要更快的一个节奏。因为去年的时候,去年WC的时候7月份的时候,我感觉更多是数demo。那个时候我记得之前好有个说法说什么24年再倒咖啡,25年再叠衣服,反正一年有一个新的动作,然后大家在,但我感觉今年反而是大家demo提的少了,都在提进场景了,对。我觉得就是短短一年的时间,然后模型的,就是说软件侧的发展也是突飞猛进。所以从这两个角度来讲,我是觉得这个行业确实是在加速的,嗯,对。
【主持人】不期而遇的有吗?
【嘉宾】不期而遇,数据,我会这么理解。在大家尝试着真的开始步入具身原生之前,对数据的,虽然大家都在喊缺数据、需要数据,但是数据真实的情况是,如果你真的不需要做一个基础模型,可能不需要。
【嘉宾】那么多数据量,你到底需要多大的数据量?我想的理想状态应该是起步,就是能说整个模型里面具身的数据和后量数据相对平衡一点,然后我让它既能学到一些通用的知识,又能学到一些操作相关的知识。我觉得一个比较理想的状态应该是在百万小时起步。但是在百万小时之前,其实十万个小时是可以拿来完全做预训练的。预训练不是说基于数字模型的训练,是具身原生的预训练。所以我觉得不及预期的就是,过去一年没有看到具身原生的东西真的出来。因为没有这个东西出来,所以大家对数据量,大家都知道行业的共识就是说数据是一个很关键的东西,而且需要很大量,但是没有一个具体的,比如说你不训模型,没有一个推动力让你一定要拿到这么些数据。所以我感觉数据的发展其实还有一点不及预期,和模型一起做的。
【主持人】但是今年大家明显更看重大脑了,而且很多公司开始只做大脑,不做本体。你为什么会发生这样的一个变化?感觉是两代机器人公司这种感觉。
【嘉宾】其实我感觉一个比较关键的点就是,目前来讲一个本体很难通用。但如果你不通用的话,你一定要...
【嘉宾】选准场景,这样,呃,你这个本体相当于是为了那个场景专门设计的。因为专门设计,它就是可以有一些东西做强化,有一些东西做减配,因为最后落地的话要讲的是成本。嗯,我们不可能拿一个就是各方面,就是六边形战士然后去做某一个具体的任务,这样的话它可能很多东西是超配的,成本一定是上升的。对,本体的一个原因是,第一,本体其实也有自己的门槛,你到底能不能有量产的能力,这可能是一个点。第二个就是,呃,本体的这个,呃,就是你如果场景选不准,本体设计的一定是有问题的。对,但是场景现在,呃,现在在我看来比较难,就是大家也不太敢说哪一个场景一定会跑得非常好,大家都在做尝试,但是可能确实比较难说哪个场景最后就是先跑得最好的。对,所以我感觉可能有这方面的原因,然后再加上另一个点是,呃,这是刚才我觉得,从这个硬件的需求的角度出发。但另外一个点是,我觉得呃,从现在行业来看,呃,大脑可能是目前是落后于本体的。嗯,大脑的开发是落后于本体的,很多时候呃呃,现在就今年的主要矛盾应该是怎么让他先变得能把活儿干好。然后去年王兴兴还说,干活是一片荒漠,对,所以我觉得应该还不能把活儿干好。所以说,会有更多的人想要试图解决这个问题,然后但我觉得这个行业在,就尤其大脑,虽然说大脑跟本体现在还是不能完全解耦,但是能让他上升的,就可能是现在大脑是落后于本体的。
【嘉宾】但是,因为随着进来做大脑的人越来越多,可能这条路,或者说智能层会跑得更快一点。然后可能某一天他就超过了本体,那个时候可能会对本体的提出新的需求,然后本体就会再去,可能在那个时候会有一批新的,由智能再从我们之前理解的一些参数再去看这个本体了。可能很多东西就是为了更好地方便模型控制去设计的。对,我觉得可能那个时候本体又会再发展一段时间,然后可能那个时候本体又更强之后,又会催生说智能又不足了,我觉得一定是这么一个过程。嗯,我的判断应该是这样的。然后硬件本身可能还好,但我觉得传感器应该是现在的传感器应该还要再做进一步的升级,尤其是触觉相关的。其实我举个例子,比如说触觉,之前大家对传感器是有指标的嘛,就是我必须要做很多指标。但是会发现,很多时候做传感器如果只做传感器本身,它肯定会希望这些指标都好。但是有些时候又不能决定,可能你没办法真的满足说所有的东西都很好,它一定要有取舍,那取什么、舍什么,你先取这个,对吧,这可能是大家的一个,或者说不能叫共识吧。
【嘉宾】但反正就是下意识都会这么想,但是有可能,呃,这个东西在AI这个时代,模型可能最需要的不一定是你理性要准,有可能是需要你反应够快。嗯,就是我可能对实时性要求可能比那个更高,这都是有可能的。所以说可能弱化哪些指标、弱化哪些指标,就是还没有到说模型可以定义它的时候,他们肯定会按照产业的发展,肯定会按照就是传统的理解,说我们去怎么去尽可能地优化嘛。对,我觉得这可能是一个未来的趋势,有的是从硬件出发,有的是从软件出发,但是大家都想进入家庭这个最好的场景里。对,可能现在其他的一些场景还不够那么性感,呃,2C更性感一点。对,所以它现在需要做一个选择,我是从软件出发,还是从硬件出发。对,有的人从硬件出发,你们是从软件出发。
【主持人】对,我们是从软件出发。嗯,沿着脑子往后走,你觉得接下来几代会怎么迭代?
【嘉宾】我觉得是这样,就是刚才我说的,呃,我们这一把是做了,呃,就是怎么说呢,从这个物理特性上做了一些原生的设计。是怎么能够从架构原生再往前再走一步,做到数据原生。呃,数据原生解决了刚刚我们说的泛化性有很多很多种嘛,比如说那个本体构型的泛化性,然后我们现在能够做到位置的泛化性,但是接下来我们还是要做任务的泛化性。任务的泛化性就严重地吃数据了。对,然后那一个,这个数据真的比较好的,送给模型,我觉得可能是下一版本我们最重要的一个核心,就是把数据,因为……
【嘉宾】你们要自己做数据,采数据可能会投入更多的资源来做这个事情,对。或者说,把数据采集的整个标准需要再做得更扎实一点,就是到底怎么样采什么样的数据,怎么采,怎么保证规模,还可复制吗?其实就是大家现在讲得比较多的就是eGo嘛,然后其实eGo的数据,我个人呢看法是,它提出了一个比较好的采集的方式,这一点是毋庸置疑的。但是现在的问题是,只从eGo,假如说就只有头部的相机拍下来的这个数据,到底能不能用?它对于之后假如说灵巧手真正发展起来,对动作有没有帮助,这些东西还是未知的。我觉得eGo应该是提出了一个采集理念,但这个采集理念是要被打磨成一个具体的产品,才能够开始说部署下去,然后开始做起来,去采集这个事情,对。我觉得这个理念,和从理念诞生到一个理念的真正实施,可能还是要点时间。所以说,具身智能现在接下来这件事情还得说数据,对。应该是数据的,就是可规模化的,然后可以被模型使用的数据。就是这个可以被模型使用,我觉得,嗯,可以被模型使用和可规模化,这两点本身就是一个平衡。因为模型可能希望数据越好,就是质量越高,还有的模态越多,这是模型的需求。但是规模化的,就是你的需求越高,你的成本越高。那在质量和数量之间怎么取一个平衡?就是说,模型哪些东西是可以舍弃的,这个东西可能现在还没有太定义清楚,嗯,这个事情一旦定义清楚,我觉得……
【主持人】后面的事情就会加速。你这个是第一次创业,对创业有什么新的感受吗?
【嘉宾】对我来说两个第一次吧,第一次创业,第一次面向落地,这是第一次。然后第二个,创业就是,换句话说,第一个第一次是业,第二个第一次是创。我觉得从落地的角度来讲,可能确实让我感悟比较深的就是,以前会更关注技术的领先性,现在会更关注技术哪一方面的领先性,就是技术还是要领先,是不是有价值的领先,还是说只是技术人拍脑袋觉得他有很多东西都可以领先。
【主持人】你现在需要哪里领先?
【嘉宾】我现在肯定希望能支持的任务越多越好。我会优先选择场景的,或者说场景和任务的繁杂性这一方面。这是第一个,就是人要学会,或者说创业要学会赌,创业一定是赌出来的。怎么说呢,没有人知道哪一条路一定是成功的,然后资源又一定是有限的,所以在有限的资源下、路径不确定的情况下就是要赌。我觉得敢做决定、敢赌,这是我觉得很关键、很关键的一点。
【主持人】那为什么是你成功?就是如果那条路一定成功,大厂一定成功。
【嘉宾】这是百分之百的嘛,就是更有资源、更有人的地方一定会成功。但是在路径未知的时候,如果犹豫不决,很有可能最后就……
【主持人】什么都做不出来,这里面你们的大赌有哪些?不做本体是一个大赌吗?
【嘉宾】嗯,对。我觉得做,第一个是,第二个就是原生是一个大赌。因为原生这个事情,很有可能做到最后就发现没做出来,就是你训了半天,训了一年,花了好多资源,然后结果模型就是不收敛。其实我觉得这是一场豪赌,就是没做出来有很多种可能,比如说思路错了,也有可能是技术还不成熟,可能再过个两年三年重新再做这个事可能就成了。然后可能资源不够也是一方面,就是说本来只能做一百块钱的事,但你非要做一个两百块钱的事,你没有那么多资源,这些都是赌的一个怎么说的,风险点所在吧。但是我觉得一旦做成了,那种时候的成就感还是比较高的吧。
【主持人】蚂蚁对你们的期待、要求是什么呀?
【嘉宾】嗯,因为现在蚂蚁集团从这个大的战略上讲,其实我们也是想要突破智能的上限,对。只不过是AI first,它就包含两部分,物理世界的AI和巨身智能,就是数字世界的AI。然后我们可能就是承载了集团在物理世界人工智能上限的这个使命,这是一脉相承的。另外一个我觉得还是说,蚂蚁集团还是一个公司,然后我觉得这一点我们也是在整个集团的延长线上,我们就是想弥补,或者说也不能叫弥补吧,应该说是补齐从数字世界往物理世界迁移这条中间的这一部分,就是怎么把一个服务真的执行起来。可能是这两点是我们跟集团最大的,怎么说呢,我觉得是理念上的契合吧。其实整体来讲还是比较……
【嘉宾】还是比较按照那个创业公司的方式让我们去管的,对,只是说我们的管理体制上可能会更独立一点,就是可能跟一般集团下边的一些BG相比,我们的业务会相对独立一些嘛,对,所以说管理起来可能也会独立一些。
【主持人】你们的这几次豪赌,他们是什么反馈?
【嘉宾】我觉得还是比较支持的吧,集团从上一次发布和这一次发布,集团都还比较支持,对。
【主持人】他们有说为什么我们不做本体啊?有说这种吗?
【嘉宾】其实也会,就是大家会有一些debate,对,但是我觉得集团这一点是对林伯有充分的信任和尊重。因为我们可能更贴近行业本身,对,所以说这方面我们做的一些决定,就是集团肯定会从他的视角给出他的一些建议,但最后可能双方还是会经过几轮交流之后,应该还是会达成一致的,对。
【主持人】你对于这次创业的最好的预期和最坏的预期是什么?
【嘉宾】最好的预期就是我真的看到机器人进家庭了,用领波的模型,这是我最好的预期。然后最坏的预期就是没做出来呗,我原来也没有什么更坏的预期了,对,可能就是某一次赌的过程中可能赌错了。
【主持人】你是个赌心强的人吗?
【嘉宾】我还可以,还可以,对。
【主持人】这里面有哪个决策是你要这么做呢?
【嘉宾】嗯,我觉得具身原生这个事情可能是……我做了其实是比较坚持要做,我觉得这一点我还是从呃,上一次发布的,
【嘉宾】过程中感受到,就是数字世界这条路,沿着数字世界往后走是行不通的,不能在他们的延长线上走。所以我就非常坚持说,用物理世界的东西,就是从物理世界土生土长出来的模型。对,这是我觉得可能也是我这次觉得比较有成就感的一件事情。好在就是,我不敢说它一定被百分之百验证,但我觉得至少我们迈出了一步。
【主持人】这次模型的进展是符合你预期,低于预期,还是高于预期?
【嘉宾】其实就是两大块,一个是视觉,就是刚才说看得更清楚那块,我觉得我们已经就是这一部分,由原生往前走了一步。然后想得更明白,也是有我刚刚说的,我们也是由原生往前又推了一步,就是架构的原生,不管是时间的流逝也好,还是说推理效率也好等等。因为我觉得数据的能够更好地规模化之后,肯定是在任务的泛化上有更好的突破。所以我觉得,就是从我们看得更清楚、想得更明白、干得更利索这几点上,我们正好在经过了半年的时间之后,把前两点都有原生这个概念往前推了一步,我觉得这个是我没想到会来得这么快,比预期来得要早。
【主持人】那你可能会更开心。
【嘉宾】这样的话我觉得真的就是完全是物理世界,有自己的一套从模型到架构到数据闭环的一套原生体系。现在各个不同领域的玩家都很想抢夺。
【主持人】机器人大脑这个事情,有你们,然后之前的那些机器人公司他们也会着重的来做AI,大厂或者说模型公司如果他们有精力的话,他们也会来做机器人的模型。你觉得你们的优势是什么呀?你觉得这个产业竞争到最后的格局或者是什么呀?
【嘉宾】格局可能我觉得跟大语言模型的格局差不多,可能会有大厂做得比较好,然后也会有两三家创业公司做得比较好。
【主持人】你们属于大厂还是创业公司?
【嘉宾】我觉得我们现在可能跟创业公司会更紧一点。那我们就是位置比较特殊,我们可以属于背靠大厂的创业公司。对,然后呃这是一个,就是我觉得从智能层应该大概就是这么一个格局,应该会有大厂有那么一两个玩家,然后创业公司会有两三个玩家。然后可能大家各自跑出各自的生态,这个生态就包括了数据的生态、本体的生态、场景的生态。就可能因为你有了生态之后,场景加本体可能就会给你那个生态里面的数据,可能你的模型就会慢慢分化的更适合那个生态。对,当然是,可能最后大家都会走到一个通用的生态,就是进家庭,但是在那之前可能每家模型会有不一样的特性。比如说可能有一些模型就适合做精巧的任务,有一些模型可能就适合做长程的任务,这个就不好说了,是一个各有特色的、几家鼎立的这种格局。
【主持人】你对人形机器人这个构型有执念吗?你觉得为了来进家庭的机器人,会一定是人形机器人吗?
【嘉宾】我还是觉得,毕竟是,嗯从一个创业公司的角度来讲,我觉得我们一个阶段解决一个最核心的问题就好了。现在当下最核心的问题就是智能不够。我觉得,还没有到,就是,那……
【嘉宾】构形应该长什么样,还不是现在的核心卡点。现在的核心卡点是智能不够,然后智能不够的核心卡点是数据不够,对,所以怎么让数据能够scale out是重点。
【主持人】对,然后当你智能有了以后,你才开始能做落地的尝试,你只有做落地的尝试之后,产品才会迭代,产品迭代,硬件才会迭代。就现在大家在争,它不管是足式还是轮式,它进家庭,我都不会让它进家庭的,那这个时候你都没办法做这种user study。
【主持人】OK,那我感觉是这样,你现在的工作状态是什么样的?
【嘉宾】这两天好一点。前一阵子,在模型都处于要出来没出来那个阶段的时候,其实比较紧张的。但是现在,尤其是最近发布完了之后,整个人状态会相对我觉得会轻松一些。接下来我应该怎么说呢,可能再想一想下一步要到底应该怎么去做吧,就是再复盘一下,然后想一想,比如说数据到底怎么去跟模型更好的结合,这可能是这些方面会考虑得多一点。
【主持人】受到市场反馈怎么样?
【嘉宾】目前看应该还可以,对。尤其是技术社区里面,应该对我们做的这一套还是比较认可的。然后如果是行业的话,我觉得需要再给行业点时间,因为毕竟是刚发布嘛,对,行业要试用过之后,可能才会拿到更多的反馈。
【主持人】嗯,你们现在去用的核心指标是什么呀?是一些落地上的数据,还是模型智能上的一些数据?
【嘉宾】哦,我刚刚其实有提到,我们还是两头抓,就是我们一边要探索上线,一边要抓落地,这两个点可能我们都会关注一些。
【主持人】我们一开始聊到了你的那个……
【主持人】说到学习经历,因为你是唐小欧老师的学生嘛,你对唐老师有什么印象吗?有例子吗,这个?现在有人问你们这个模型怎么用吗?
【嘉宾】唐老师是个比较幽默的人,这是我对他最大的一个印象。因为我觉得反正听他讲话比较亲切吧,这是一个点。然后另外一个点就是,我觉得他能比较快速地从一个混乱的混沌当中,快速地抓到一个主要矛盾。就是毕业答辩的时候,因为他要参与嘛,因为答辩很多时候大家会问比如说你怎么做的呀之类,但是他当时问了我一个可能跟行业,或者说你这个东西到底应该怎么用相关的问题。视频编辑那种东西,上一代最大的痛点就是它不好落地,就没有一个很好的场景。哦,肯定啊,大家都,其实我觉得现在生成视频它不像大语言模型或者多模态模型那么好传播,因为离大家生活实在是太远了。就是我必须要有个机器臂,我才能知道你这东西好不好用,就是它现在更多还是图开发者的,我是这么理解的。离受众最近的都是娱乐场景,这是最快可以感知到的,所以我说它不是那么好传播。然后如果是开发者呢,他肯定会希望你告诉他这个东西怎么用好,因为毕竟我们这次在发布,所有这东西基本上都是预训练,很难的事情。或者换句话说,它不是说就把数据采完,然后扔进去,简单调整一下参数就结束了。那如果效果不好,到底是没训好,还是数据没采好,还是模型就不好,怎么诊断问题?
【嘉宾】嗯,有了诊断之后怎么解,我觉得是一个很难很难的事情。换句话说,离大众比较远,其实是一样的点,就是因为他离大众比较远,所以,或者换句话说,就是因为他不是一个直接能用的模型。怎么让别人感知到你这模型真的好,是需要能力体现的。所以大家都会问,就这个东西,比如说怎么复现,然后我想让他做一个什么事,应该做哪些步骤之类的。说是足球那个,如果能够在现实场景里做一个跟大家互动的机器人的话,应该会挺多人愿意玩的。
【主持人】对,换句话说,你做得越能直接被应用,肯定大家的问题会越少,然后互动性会越强。你对于机器人的未来发展,还有什么其他的展望没有?
【嘉宾】其实我就是希望他能够离大众更近一点,就是我希望他也能够变成一个像语言一样,出一个APP然后每个人能体验。如果说之后真的机器人更普及了,家里都有,或者说有一个比较简单的渠道就能搞到一个机器人去玩起来的话,我觉得那个时候可能成就感会更多。因为现在,比如说,我跟我爸妈去讲说我做了一个什么东西,他们也听不懂,也没有体感。那如果有一天能带一个东西直接给他,然后告诉他,成就感会跟现在完全不是一个量级。
【主持人】嗯,我还有最后几个快问快答。一个全球范围内你喜欢的食物?
【嘉宾】日料。
【主持人】一个全球范围内你喜欢的地点?
【嘉宾】家。
【主持人】我们的嘉宾都会给我们的观众朋友推荐一本人生之书,你会推荐的一本人生之书?
【嘉宾】笑傲江湖。我特别喜欢武侠,我从小就比较迷金庸的小说,然后我特别喜欢,但是每次
【嘉宾】金庸的小说其实每部都看过很多遍,但我每次推荐都会推荐笑傲江湖。因为我特别喜欢令狐冲里面那种比较豁达的样子,就什么都不太在乎那种心理状态,我非常喜欢。
【主持人】你是这样的人吗?
【嘉宾】我希望成为这样的人。
【主持人】如果机器人有性格的话,你希望他是什么性格?
【嘉宾】我希望他是个贼人,他好好干活。我觉得核心还是要实用,我希望他是个贼人。换句话说,如果在提供情绪价值和干活之间,我会果断地选择干活。
【主持人】为啥不是提供情绪价值?
【嘉宾】我可能觉得情绪价值应该由人来提供。
【主持人】你心目中影响机器人进程的几篇论文?
【嘉宾】其实可能也不一定算是论文吧,我觉得像他们现在已经不写论文,他们写blog,我觉得这种可能也算。我觉得那个Genesys的整个体系应该对我们是一个比较大的一个影响,就是他的数据的规模化确实做得非常好。然后像Pi的工作应该也是非常好,再就是像那个Google DeepMind他们那边的一些工作,我觉得做得也是比较好。
【主持人】我有时候在想,就是如果没有这个硬件优势的话,会比较可惜?
【嘉宾】对,我觉得会比较可惜,但是硬件优势可能在这一次的机器人发展中,我觉得是会有不可磨灭的作用的。机器人还是说,你不管是怎样的素材方式,一定依赖硬件,一定依赖传感器。我觉得从数据质量上,我之前一直讲说是互联网红利的一个变现,互联网那个时代是有积累下来的。但是,具身相比互联网来说,我觉得它可能是一个,
【嘉宾】尤其是巨声的数据,可能是一个空窗期。现在大家都是一样的,嗯,那我觉得可能虽然在收数据上,中国有优势,对,我觉得这个是一个非常非常大的优势。当然,去模型的能力、机械那些可能也是优势,应该你有这种优势呢?
【嘉宾】是的,是的。所以说我们其实也有比较多的这个,我们有自己的一个所谓的叫数据联盟的一个,就是我们会有一些嗯比较好的数据的合作伙伴,对。然后可能也会跟他们一起说,看看怎么一起去把这个数据做得更好。因为数据你所有的规模化都应该有标准,对。所以说这个方面我们是在积极地试图利用这个,都是去去做的。
【主持人】基于你当下的认知,一个关键的、重要的BATS是什么样?
【嘉宾】我觉得,就是巨声、巨声原生。对我讲了很多,我觉得,就是我非常非常相信,巨声要有自己的模型。
【主持人】好了,今天的节目就是这样。这里是商业访谈录,是一档由语言及世界工作室出品的深度访谈节目。你可以到公众号关注我们的工作室,获取更多的信息。我们的公众号是语言及世界,Language is World,我们希望和你一起从这里探索新的世界,也欢迎你在小宇宙的评论区与我们有更多的互动。