E244｜端到端vs上下分层：机器人路径之争，正在转向？

【韩正】机器人如果是要对于物体去做操作的难度要高两到三个数量级。

【韩正】我们有一个暴论，就是可能从今年的下半年开始，上下分层的这种结构会重新再回到主流里面，而且可能在之后大家选择的方案推到商业化里面去可能是最终的一个方法。

【韩正】哈喽，泓君，很高兴来到硅谷101的节目。

【韩正】好的，我们其实是大脑和本体都做。其实也是现在很多的机器人公司都在强调的一点，就是要全栈，要做整个的系统。但整个的团队的背景其实是在将近10年以前，就开始往以机器学习的方法来驱动机器人方向来做探索和尝试的时候，主要都是以软件为主。直到2022年团队开始以商业化的方式来做准备的时候，我们才开始正式的考虑自己来做硬件的本体。当然也是因为很多年积累下来的经验，就是如果自己不碰本体的话，也很难把大脑的能力展现，甚至说能够去做一些迭代和探索。所以简单来讲的话，我们是做全栈。

【韩正】我觉得硅谷的机器人公司不管是像Optimus，还是上一代的波士顿动力，还是Figure、VEX的话，其实都是本体加模型。不过这些公司在模型侧的能力相对来说，比Physical Intelligence，包括Skild的话，要稍微没有那么专注。

【韩正】对，我觉得做机器人的Foundation Model做基础模型，特别是做操作模型的大部分团队，其实都会类似于像我们以及Physical Intelligence这样的公司，专注在像Gripper二指夹爪，它对于物体的操作和能力先把它拉到一定能力的边界。在有一些比如说像二指的夹爪不太好处理的情况之下，再来看能不能用多指手，或者是灵巧手来做处理。但人形机器人公司为了让大家感觉到像人，我觉得这一波的风潮，其实是在大概两年左右Optimus出来的时候，大家对于Elon Musk给大家描绘的类人型机器人，重新回到大家公众的视野，其实起到了非常强的引导的作用。但在我们看的话，机器人里边要做的物体操作的任务，可能90%不一定需要灵巧手，剩下的可能5到10%的任务的话，才真正需要多指手。另外，是不是双足和轮式，现在机器人的下肢还不是特别的稳定。一会儿我们可能也会提到，像宇树机器人和波士顿动力、Figure、Optimus，现在对于环境的认知和感知，其实还不是特别强，以及它经常会出现跌倒的情况。所以我们在现在这个阶段，可能还是会把操作的任务和下肢灵巧的程度，相对来说会解耦一下。但未来我们感觉可能还是会回归到同一条线上来。

【韩正】对，通用的机器人的构形，它应该是一个带有足式，或者是我们自己内部认为的话，可能是一个轮足式的构形。它在平地的时候的话，可能会有稳定和高效的一个方式移动。但是在比如说遇到一些特殊的地形的时候，还是会像人，或者是其他动物一样，有双足或者是四足之间的某一种形态在移动。

【嘉宾】苏昊求学生涯里面的话，其实一共有两个PhD，其中大概有将近4年的时间的话，他是在李飞飞老师，当时在普林斯顿，后来在斯坦福的实验室里面，核心的项目就像您讲的，实际上是做ImageNet的大的项目。他曾经跟我讲过，飞飞对于整个ImageNet的推动和架构的话，实际上是非常有远见的。但核心总结来讲，就是一个能够复现世界上典型物体的2D的图片，和它的文字对，用一个结构化的方法去描述这样的一个基础思想。比如说我们在桌子上的杯子，我们需要一系列的典型的图片，去描述世界上几乎所有的杯子，但是同样的款式的杯子，一张或者两张图片可能就够了。这个思想在2012年13年，他的第二个PhD的导师，就是Leonidas Guibas在三藩市的实验室里面，开始的时候他也把这一套思想带到了3D里面来，所以他那个时候开始组建3D的大数据集ShapeNet。当然后续了还有一些非常关键的工作成果，比如说像激光雷达以点云为表示的表征方法，这个PointNet都是他的核心工作。但回到3D大数据集ShapeNet的话，其实他最大最大的挑战就在于，相比于ImageNet，你可以把互联网上面几乎所有的图片和它下面的文字描述和标题，梳理清楚并且找到当时用亚马逊最早最早的话，我记得应该是在普林斯顿的时候，他们用Mechanical Turk，以众包的方法的话去做标注。但那3D的模型其实是非常非常欠缺的，这其实是一个最大的挑战。

【嘉宾】对，这里边的工作其实要复杂很多，所以愿意去做3D的大数据集的人，相比于2D以及语言的大数据集的话，要少很多很多。3D呢，其实在大数据集里边的话，我们有一系列的工作。第一个核心工作其实是，苏昊在Stanford第二个PhD期间的核心工作之一就是ShapeNet。ShapeNet的话，应该是有几十万个3D模型，但实际上还远远没有达到像ImageNet能够覆盖世界上所有物体的所有的模型。

【嘉宾】最后应该是有1400万张图片和文字的映射。ShapeNet呢，几个人的规模，现在做到了几十万的3D数据。对，但是当时的一个约束就是，你要找到开源的可以用的3D模型，但这些3D模型的话，理论上它应该跟ImageNet的类似，它还是需要一个上千万级的物体集合，能够把它整个的3D的集合，包括刚才您提到还有很多，比如像材质、磨砂、弹性的形变的参数，包括我们现在做的椅子，它其实轮子和椅子本身，其实还是有很多的动力学的约束。所以3D数据集ShapeNet，它只有基础的几何，和基础的表面贴图，我们大概能够预估到它的这些物体的材质，因为比如说，basis大概的话就是玻璃塑料金属，它会有一个范围。但再往下一步的话，同样的一个物体的话，它可能会分不一样的parts和组件，比如说我们拿到一个饮料瓶子，会分成瓶身、瓶盖、围绕的label和标签，有的时候的话，你甚至需要标注瓶身上面哪个是它的瓶底。这些其实是对于parts的标注，但标到PartNet的时候，就只有几万的物体了，我们从之前的ShapeNet，再去做一定的筛选，去做标注，因为这里面要涉及到大量的人工。

【嘉宾】这时候就会对数据的标注的层面有非常高的一些要求。但再进一步，比如说对于这个瓶子，它的瓶盖究竟是往左拧还是往右拧，它拧动之后的话，能不能够把它给拧下来，这个就叫动力学约束的一些标注。这个数据集是PartNet-Mobility，现在为止，如果我没有记错的话，还是开源里面最大的带解析、带动力学约束的开源数据集。但这里面只有不到3000个物体带有标注的，这其实对于几个方面，包括像机器人的合成数据的训练、生成，像现在我们讲的视频生成里面，带有连续的空间物理合理性的话，其实都有很大的约束。

【嘉宾】应该是在2013、14年的时候。

【嘉宾】我觉得这个核心区别在我们看来，就是2D的图片和视频里面三维的信息有，但是不太全，也不太准。这其实也是在Sora当时在训练的时候，管线里面其中之一，就是用Unreal引擎和Unity引擎，从3D的模型里面渲染大量的2D的视频和图片，然后再反向来去做训练数据。但由于互联网上的数据当中太杂，它的3D的信息其实并不是特别的精准。如果你拿它用来做比如说像自动驾驶导航，它可能对精度的要求没有太高，比如说你只要求有一个大概10公分左右的精度是够用的。但是对机器人的操作10厘米的误差是绝对不能忍受的。像我们面前的这个机械臂，我们要把线缆插到对应的孔位里面去，那么它的要求必须是在亚毫米级以内。所以这个只有3D建模的3D的数据集可以做到，尤其是在机器人的操控方向。

【嘉宾】ShapeNet和PartNet-Mobility都是开源的数据集，但我们自己内部用的肯定不是这些开源的数据集。

【嘉宾】我觉得是一个特别好的问题。走Sim to Real这条路，它有点像波音造飞机，很难讲其中是发动机更重要，还是说航电系统更重要，还是说材料更重要，它是一个比较复杂的系统工程。所以怎么能够把搭这个复杂系统工程的团队给建起来？我觉得这是我们团队的最核心的积累。我们团队里边的小伙伴们在苏浩的实验室以及我们成立公司之后，核心的这几个大组的负责人其实都在一起工作过七八年的时间。

【嘉宾】对对对，我觉得是的，包括数据，比如说我们在做仿真器，其实大家能够想象到的市面上的核心的机器人的仿真器，不管是Isaac Sim、MuJoCo，甚至说新创的一些公司，都跟我们有千丝万缕的联系。

【嘉宾】我觉得一定程度上讲肯定是这样的，比如说像具身智能Embodied AI的英文的提法，应该是2019年苏浩跟很多北美的教授联合提出的一个有测评标准的新的研究领域。像具身智能的这个翻译，也是他的当时一起合作过的某一位教授回到国内去之后，找他一起讨论和商量定的这样的一个描述。但用机器学习的方法去做机器人控制的，我觉得他是跟Sergey他们应该是同一波，在那个时候的话做了探索的。

【嘉宾】具身智能公司正式成立其实是在去年上半年，但我们以一个商业化和半商业化开始组织是在2022年下半年开始的。

【嘉宾】应该是2012、13年，他做这个决定是因为在ImageNet出来之后，他自己有一个想法是要做一个类似于神经网络的架构，但当时跟他配合的人没有那么多。在ImageNet的挑战赛AlexNet横空出世之后，对他的冲击我觉得是非常大的，他觉得自己错过了可能是错过了一个非常重要的一个机会，所以他自己就在思考下一站大的领域是什么，所以他想把大数据集加神经网络的方法带到物理世界里面来。所以在他拿到第一个PhD之后，在Leonidas教授组开始搭建新的3D的Learning团队。

【嘉宾】甚至更早的一段时间，大家投资机器人都是不赚钱，甚至是一个失败的投资项目。而且那个时候其实硅谷有非常多好的机器人项目，像什么Covariant。我觉得这是一个非常好的一个问题，我们其实也在创业出去受到了上一波大家对这个问题的影响吧。从12年13年开始到15年16年，当时应该是我们叫Android之父Andy Rubin加入Google之后，他负责了Google的X这个项目，当时应该收购了非常多家的机器人的公司，最知名的可能就是波士顿动力，后来又转手过很多次，包括给SoftBank软银，现在主要的控股股东可能是现代。但也有像您刚才提到的像Schaft、Intrinsic，现在还在Google里面，Android Robotics它的硬件部门已经被关闭掉了。但当时那波可能大家还是想用机器学习的方法往前去推进，但当时的要素我觉得可能还不是特别全。在2022年我和素昊开始讨论他有这个想法去做机器人的底层操作模型的公司的时候，我们当时讨论最多的一点是什么原因能够促使大家觉得现在的机遇跟大概七八年以前明显的不同。当时我们找到的核心原因之一就是大模型的出现，文生图，对，文生图的OpenAI的早期的模型。它的核心就在于，它让我们意识到3D的GraphNet，它只有几十万的模型，但是图片实际上是有，比如像ImageNet、COCO这些，它其实是有上千万的，它可以描述整个世界上的几乎所有的物体。那么有没有一种方法能够把2D升维到3D，实际上是有机会的。那么从一个朴素的想法来讲，就是在仿真器里面，如果是要做一个仿真模型，要重建整个世界的物体和环境的话，理论上是开始可行的。

【嘉宾】我觉得一定程度上的是对的。其实仿真在我们推动CUDA Scale开始，应该是在18年、19年开始的时候，相比于之前的可谓的有线元仿真，比如说像飞行器和汽车制造里面，我们要做流体力学仿真；以前的机器人的时候，你要做机械，包括力学的仿真。但当时的环境是，我们只需要在一个大型的机器上面，当中开一个环境，让它跟真实的机器，或者是飞行器也好，车也好，机器人也好的话，尽可能的接近。但新的机器人的仿真器，它的设计思路都不太一样，它并不需要我们在一个大型的机器，或者是一个大型机群里面，无限去逼近一个真实的环境。反而是用不一样的思路，我们需要在比如说一张GPU上面的话，怎么能够开出两百、上千甚至上百万个并行的环境。但我们的要求是，不需要让它看起来非常的真实，比如说它的分辨率，真的你要去看这个仿真器里面，在做训练的时候，它的分辨率其实非常非常低。但是它要求物理的一致性当中的话，尽可能接近，但并不需要无限的接近，它一定是要在真实和效率之间，做大量的取舍的设计。

【嘉宾】对，我们把经典牛顿力学，包括这个物理仿真里面的很多人类总结，这么多的这公式都带入到仿真器里面来。但同时我们又给它大量的开放世界3D的物体、环境、任务的数据，让机器人在里面做强化学习。

【嘉宾】对，简单来讲，就是说我们想把人类和整个生物对于环境的理解，交互物体的操作，几百万年的进化的过程放在仿真器里面来，让机器人再经历完整的进化的过程。

【嘉宾】有几个方面，第一呢，就是我们刚才提到的物体，比如说我们怎么能够建一个跟ImageNet一样的ShapeNet，怎么能够把世界上典型的物体，都能够用3D的表征在仿真器里面去做呈现。

【嘉宾】对，或者讲就是给机器人用的一个更加完整的，高效的3D物体的数据。

【嘉宾】这个我们暂时没有办法正式对外透露，但相比于ShapeNet的意义，开源的我们叫结构化数据集和非结构化数据集，比如像ImageNet的ShapeNet的都是结构化数据集。

【嘉宾】我们指的是说，它是分类别，每个类别里面的子类都有对应的标签。还有一些是非结构化数据集，比如3D里面其实也有非常大的数据集，有一个叫Paul Allen做的Allen Institute，他自己在主推的ObjectNet将有上千万的数据集。其中之一的方法就是把GitHub上面所有的带有3D文件的项目里面，所有的文件都挖出来。但那是一个非结构化的数据集，里面可能大量的都是比如像游戏里面出现的人物的骨架、武器。但您可以认为这些3D的文件大量是重复的，对于机器人做物体操作的话，其实用处没有那么大。所以我们自己要建物体的带结构化的数据集是非常关键的。但它的挑战就在于说，有很多物体是没有3D文件的。当然2D到3D的生成实际上是非常有效的一个手段，但现在迭代这么多年，在过去取得突飞猛进的进展，但现在还有一些是需要人工做建模标注和参与的。

【嘉宾】对，我觉得这是一个特别好的问题，我们也没有标准答案。永远是在质量和规模之间要取得平衡，但规模是一定要达到一定程度的。我就有一个朴素的判断，就是你要把世界上的典型的物体，它们之间的组合的环境，和要去做的操作任务都有一个结构化的一个描述。你不能只去列举其中的一种形态，说我在找类似的100个和1000个、1万个，就能够累计到一个结构化的程度。这几乎在机器学习的历史上，不管是说2D的视觉，还是像自然语言，还是说自动驾驶里面，其实都没有出现过，所以3D里面也是类似的。在仿真器里面，我们要搭建的结构化的数据集是非常关键的。但我们也清晰地知道，不太需要无限制地准，比如说单个饮料瓶子，它的材质的具体描述，它的表面标签上面，文字的信息，它的图片，需不需要100%的还原，其实是不需要的。但究竟怎么取得这样一个平衡的话，像是每家可能都有不一样的理解。

【嘉宾】我们对于结构化的理解的话，应该是在所有的团队里面可能做得最好的。但另外一点，我们也知道结构化的下面，我们还应该去补长尾数据，所以它有没有搭完呢，肯定还没有。比如说，瓶子要怎么去拧，这些对于动力学约束，其实还是整个行业里面最稀缺的数据。

【嘉宾】我觉得Sim2Real相比于主要以真机数据，或者是真世界数据采集，包括像teleop也要操作机器人，包括wumi以动作捕捉设备，人去做物体的采集，不管是比如像wumi的这种加重，还是说我穿全身动捕服。第三种，比如说现在大家经常在讲的，所谓的egocentric的数据，我以第一人称视角去拍摄一些视频。但这些方法相比Sim2Real而言，操作起来都会简单一些，但它很难保证某一类操作任务，开放世界的方法性。这个指的是什么呢？就是基础模型一般的描述是，你给它一个任意物体，就是不管是说在预训练里，还是后训练都没有出现过的，它能够以一个非常高的成功率就能够去完成这个任务。假如说是以这个维度而言的话，我们觉得Sim2Real是跳不过去的。因为真机操作动捕的方法，ego的方法，ego是什么意思？就是以第一人称视角去拍摄人，用我们自己的手，比如说去拿水杯，包括去拧瓶盖。但我们其实之前也稍微地提到一点，就是这类的视频和图片，它的几何的理解和精度可能是不太够的，所以我们在仿真里面，核心就是要重建这些物体和环境的3D资产的信息。

【嘉宾】但是如果规模不够，这其实是很难体现出SIM2REAL的优势和能力的。多大算一个规模？这是一个很好的问题，我觉得直到我们四月份，其实放过一个结果，就是我们叫速度R1。速度R1实际上是我们去年11月份和12月份的一个结果，在我们看来，这可能是整个的机器人里面，尝试用SIM2REAL路线里面，能够做到Zero-Shot开放世界某一类任务，能够把SIM2REAL Gap当中的话，给填平的第一次。好，那我们接下来一起来看一下四月份的demo。这个视频，就是我们展示了连续一个小时，我们可能试了100多个物体，操作了200多次，但这些物体其实都是在我们的训练数据里没有出现过的。比如说物体失败之后，我们也没有补后训练的数据，所以它是一个对于物体通用的抓取，第一次可以做到Zero-Shot的高成功率的结果。我们会变换很多的光照、环境和物体，到一个小时结束的时候，我们一共做了200多次的物体抓放的操作，240次抓放操作。对，单次对于这个物体做抓放的成功率是将近98%，但是如果它第一次失败之后，这个机器人还会用一个闭环控制的方法，迅速地去调整它的策略，就可以做到100%。在这个结果发布之后，整个的研究社区里面，就有一派的声音就说，我们肯定也是精心控制变量，包括这些物体和环境是不是我们在训练里面没有见过，大家对这个事情是有质疑的。所以你们有控制变量跟在训练集里见过吗？

【嘉宾】完全没有？

【嘉宾】对的，还是很不一样的。

【嘉宾】对，是连续拍摄。

【嘉宾】是的，对。所以我们当时就决定说，要在公众的面前给大家做一次展示。所以在6月初的时候的话，我们首先在温哥华举行的ICLR大会上，我们就首先把这个机械臂，第一次带到了研究者的面前。大概我们统计了一下，在几天的会议里面，可能有将近1000人左右来到我们的站台前面，用他们自己各种各样随机的物体去做测试，比如说参会的证件，比如像手机、耳机、小玩偶来做测试。昨天我们其实也刚刚从CVPR的会场回来，我们也是搭建了一个站台，然后让整个学术界和工业界当时以为我们这个视频可能是处理过的，大家还是在一个非常随机的一个环境之下去做测试。这在以前类似于这种的学术会议上，是从来没有人能够做到这样的展示。原因之一呢，就在于他几乎没有给你时间去做准备。比如说之前像XXX，他会在学术会议开始之前呢，在旁边租一个Airbnb，把自己的机器人放在那边去收集大量的数据，可能要提前一个月经常，做好处理之后重复去展示，比如说做咖啡的任务，所以他是有针对单个场景去做适配跟练习的。

【嘉宾】我们是不需要的。只不过这两者的区别之一，就在于我们实际上更关注对于物体的基础操作，比如说这种短的基础操作的高层功能。是Zero-Shot，就是一次性抓取成功的单个动作。

【嘉宾】对，他就相当于说，要把这个连续动作让人去遥控这个机器人，至少要出现过很多次。如果是他换一个咖啡机，或者是同样的咖啡机换一个环境的话，他的成功率肯定会往下掉不少。

【嘉宾】都还要去再补充一定的数据，去做逆合。对，做单个一次性抓取的任务，跟做一个像灵巧手，甚至我们说很多灵巧手公司，他要做一个长达二十一步的这种长程任务，就是复杂动作的拆解，每一步都需要连续，你觉得这两者之间哪个更难？

【嘉宾】对，简单讲是这样。但里面其实还有很多的核心工作，比如说你要做短技能，串联成长技能，其实也是一个相似的方法。

【嘉宾】其实灵巧手的话，我们在2023年，甚至在之前，我们都有很多研究的一些成果。但一般在做机器人的manipulation操作的模型的时候，大家一般会把这个问题稍微简化一下，觉得大多数的任务其实并不需要灵巧手的操作。但灵巧手直到现在，行业已经取得了非常多的进步的前提下，它的稳定性和可靠性其实还不是特别好，包括它的成本其实都没法控制得特别优秀。当然相比于早期像Shadow Hand可能几十万美金，已经好了非常多。但到现在为止，因为我们自己用simulation，可以知道对于物体的操作，比如说像手内转魔方，比如说盘核桃，这些的就是需要多指手，甚至有的时候它不一定是五指手，穿针引线有的时候也不一定需要灵巧手。

【嘉宾】对，所以我觉得您这个提的特别的关键一点，肯定灵巧手是最为通用的，但是对于稳定性和可靠性，以及一开始大家在做探索的时候，降低变量的话，灵巧手是一个选项，但不是一个性价比最高的方法。

【嘉宾】对，然后我们也知道亚马逊他其实是收购了Covariant的核心创始团队。

【嘉宾】对，我觉得这是一个特别核心的商业化的思考。我们的策略实际上是认为，机器人的各种各样的行业的应用有非常多，作为我们自己一家公司，第一是做不完，大概有成千上万，甚至上十万、上百万不一样的机器人的应用，应该是每个垂类的应用，由最理解的这样的一个团队去做推动和参与。那么我们自己在里面的定位是，比如说我们刚才看到的抓物体，包括之后我们在推出的一些技术操作技能，应该把它排列组合的能力，给到每一个想要拿它去应用里面。

【嘉宾】做各种各样的化妆品的分解，也可以做玩具分解，也可以做零食分解，同时他也可以拿到工厂里面去做零件的上下料组装，也可以进到家里面，比如说把我们吃完饭的桌子收拾干净。我们希望我们能够做到的是一个底层技术，短技能的稳定可靠的技术模型，提供好API，并且能够把这些技术技能拼成各种各样不一样的长程的任务。但他的要求就在于大家有这样的想法，搭成类似于像大模型里面的agent，我们有一个新的描述叫adapt，他其实是可以把我们对于比如说今天我要在会议室里面给我们再拿一杯咖啡，我可能是要从旁边的屋子找到咖啡机，按好按钮，端杯子来，中间还要经过两道门，那么这个任务我们希望在任何的办公室里面都能够完成，但它只需要用同样的一套逻辑就可以。那么这一类我们管它都叫机器人的上层应用，这一类的上层应用我们就希望大家用我们的机器人的完整系统，包括本体和底层模型。大家开发出这类的应用的时候，假如说我是上层的开发者，我做的往会议室里面去送饮料的这样的一个应用，可以在任何一个办公室里面都可以跑通的。

【嘉宾】简单来讲，是本体加我们的软件支持，上层的应用实际上是开发者去做开发，然后我们也可以帮大家去做二次的分发。那么这个模式其实就回到我们怎么认为机器人的商业模式，假如从硬件的形态而言，它更接近于汽车，里面有大量的像电池、电机、它的计算单元，相比于汽车而言它的体积会更小一些，但是从结构上会比较接近。但是从商业模式上而言，我们一直内部认为它更像是智能手机，会有公司去提供一个像iPhone或者是像Android，它有一个硬件加一个操作系统，它有完整的SDK，那么开发者就在上面去搭各种不一样的应用，可以贴牌，但更重要的是有人去做Uber，有人去做DoorDash，比如说像国内就有人做美团，有人做滴滴，同时还有人会去做Instagram、小红书，各种各样的应用。

【嘉宾】对，这其实还是可以呼应一下您提的前面的一个问题，就是说Sim2Real的Gap怎么搞，核心的原因怎么能够去解得比较好，就是你的硬件和软件要一起设计。包括我们仿真器里面去仿的这台机器人有两个要求：第一个是仿真器里面也不是万能的，我们可能有些构形或者是某些的组件和元件，现在还没有办法仿得特别特别的好，或者是还没有来得及去做处理，这时候我们就需要让这个机器人在做硬件选型和构形的时候，用仿真器支持比较好的方法去做设计和搭建。第二个就是硬件本身它也有各种各样差异和噪音，即便是我们在设计同一款机器人的时候，每台个体都有差异，这是不可能百分之百填平的，包括单独每一台机器在每一次上电的时候，它的表现其实也都不太一样。那么这时候就在仿真器里面的话，要对于这些噪音和差异做一定的仿真，但这个前提都是你不能差别太大。

【嘉宾】对，我们觉得是强绑定。虽然在我们成立公司之前，我们做开源的比如像Isaac，大家都在强调，我可以支持各种各样的构形。但我们想讲，开源的这些方法都是研究的方法，它其实是极度的简化了，比如说像机器人里面导入到仿真器里面，它用的像有个叫URDF的格式，那么它对于它的接触动力学约束，都是做了一定的简化。它其实不太会考虑到像电机的控制里面，它的噪声，它的响应曲线的迟滞，包括每次上电的时候的差别。这些其实在研究界，大家可能还没有办法去考虑到这么多的细节。但是你要做一个稳定可靠，可以解决Sim2Real Gap，并且可以在开放世界里面，有足够可靠稳定的能力的这样的一个机器人的时候，就要把它当成一个综合系统来考虑。

【嘉宾】对，我觉得就是所有的方法，它都要有机地结合在一起，比如说像数据的规模和它结构化的规模，包括如何能够把它的仿真的效率拉得更高，比如说我们用不用真实世界的数据去做训练的确也有。比如说在仿真里面，我们也会让机器人去看人去做操作的时候，哪一种方法更加的高效，我还是拿这个瓶盖去举例。机器人的强化学习假如说是你要让它把瓶盖拧开，你会发现机器人一开始，它可能碰的都不是瓶盖，它可能会碰你那瓶的标签，或者是你那瓶的底部，甚至往上稍微地推它一下，但这些在早期强化学习的探索的话，其实都是一些相对来说比较随机的探索。

【嘉宾】但是你如果让它看一段人的操作的话，比如说人在做瓶盖操作的时候，是接近于这个瓶盖，然后在附近去做了一些动作的时候，那么它的强化学习的效率得会变高一些。这些其实都是在强化学习框架的设计，特别是model-based RL，最难的其实就是在于这部分你怎么能够给反馈，反馈设计的好，甚至说怎么能够把它批量自动化。

【嘉宾】对，您刚才提到这一点，其实是非常核心的一点。反馈里边的强化学习和Sim2Real，其实已经在类似于像波士顿动力和宇树这样的人形机器人和四足狗的locomotion的控制上，已经得到了充分的验证。而且比如说使用英伟达的Isaac Gym，其实里边有一部分强化学习引擎，也是我们团队成员在早期贡献的。大家都有些参与，但机器人如果是要对于物体去做操作，还是一个难度要高两到三个数量级。

【嘉宾】对，我觉得我们之所以提这个难度要高两到三个数量级，就是因为如果你只是需要关注自身的动作的话，你其实不需要对世界有理解。你不需要知道这个物体的形状，不需要知道它的材质，你也不需要知道我怎么能够移动到这个物体附近，并且在接触到这个物体之后，咱们去做姿势的调整。对于这个物体的操作而言，它的难度就在于，它首先要构建一个结构化的数据。在locomotion，比如说做姿态控制上是并没有这个问题，它只需要关注机器本身。

【嘉宾】第二，它其实对于环境的理解和建模，所谓大家现在讲的World Model，其中有非常重要的一个意思，就指的是机器人对于物理世界的理解和推理、预测，这些其实他们也不太需要。

【嘉宾】我们的这个模型相比于另外一派，比如Physical Intelligence主要在推的狭义的VLA，就是以模仿人类动作这样一个端到端E2E的模型而言的话，我们是要对于物理世界、物体和环境，以及它未来的变化要有强理解和强预测的。它并不是一个黑盒的模型。那么对于我们底层，我们一定要知道，我们的机器人在移动过程中，包括开始跟物体接触前、接触过程中，它的每一个推理和判断，包括它的未来的预测都是要人可知的才可以。

【嘉宾】我们其实并不是，它是可解释的。我们为什么要对物体去接触和操作，为什么要去做调整，其实都是可解释的。比如说我们对这个杯子去抓，一开始可能没有抓起来，或者是拧这个瓶盖都没有拧动，那么我们会大概知道，它的下一个预测状态的东西是什么样子。但核心的就是闭环控制，当手接触到瓶盖的时候，用两个手指动一个小的力量去拧的时候，它没有拧动，可能会出现两种情况，一个是需要继续去加大力，还有一种方法，可能某一个国家的瓶盖的左旋和右旋，那个设定就不太一样。

【嘉宾】对，还是不太一样。我们其实是这样来定义的，Meta AI在2020年左右开始推出的时候，就是把机器人的底层的技术操作，分成了一些类型，包括它在过去的这五六年的时间，到目前为止，

【嘉宾】应该还是机器人做物体操作里面，最大的一个挑战赛和分支。里面的任务会分成，比如说物体的抓放，包括一些带有触觉的插线、接插组装等等很多的任务。大概常见的比赛里面，你们一般会设置十几种。

【嘉宾】我们的模型在预训练的过程中是有分层结构的，就是说我们需要在预训练的时候，让机器人知道它对于物体、未来所处的环境里面，要对几何、材质，还是和它的运动学，包括我做操作的时候，预测是要有一定的推理和认知的。但是最终在端侧部署的时候，我们也是一个端到端的模型。

【嘉宾】对，其实在预训练的时候当中的话……

【嘉宾】比如说，我们让机器人在我们的仿真器里面，要对于这个物体知道它所在的几何位置，包括对于它周边的物体之间的一些材质的预估、重量的预估，它有没有知道它是分瓶盖和瓶身的，大概去操作的时候应该是怎样，比如说逆时针旋转，这些其实都是它有理解和推断的。这一段是黑盒，这一段相对来讲是一个隐式表达可以去描述的，它大概在什么样的位置，有些是显式表述，有些是隐式表述。但比如说像硅谷和国内绝大多数的机器人公司，在以模仿学习为主的这样的一套思路，它其实是不太需要知道物体究竟在环境里面它准确的位置，它也不太需要知道它的几何的信息。比如说我们刚才讲的拧瓶盖，它其实并没有一个推理是说，我需要像逆时针的方向去做旋转。它之所以这么做，包括去接近，都是因为在那个环境之下，曾经有人是遥控这个机器人，或者是用自己的动捕服做了那样的动作，它只是在纯粹地机械地去模仿，它其实并没有特别强的理解。

【嘉宾】对，我们是需要在预训练的过程中是有理解的。但人类其实在对瓶子操作的时候，我们其实并不会在脑子里面有一个推理过程，说我这次拧这个瓶子的话，我要用一个逆时针的一个策略去转。

【嘉宾】对，它是可变的，但是它也有一些常识。比如说我们每次去拧瓶子的时候，我们一般都是逆时针去转，因为这是一个常识，已经是刻在了我们自己以前的肌肉操作里面去。但假如说是小朋友，第一次自己去拧一个饮料瓶子的时候，它会经历两阶段。第一是，它假如说从来没有看过父母去做这个操作的时候，它会先往左拧一下试一下，再往右拧一下试一下，它是一个随机的一个尝试。但同时它又会去观测父母是怎么去做操作的，它可能会有一些理论依据。人在出生之后，它带有一定的对于物体的操作的能力。比如说小朋友出生之后，长大的过程中，它对于所有的物体的话都会去抓一抓、摇一摇，拧一拧、掰一掰去试一下的时候，有些运动的能力，其实也是刻在人遗传的基因里面。那么机器人，我们实际上是要把整个进化的过程，在仿真器里面再去复现一次。

【嘉宾】这个仿真器之所以当时正好起名字叫Sapient，其实就是有尤瓦尔·赫拉利写的那本书Sapiens的映射。它其实就是指的，怎么让智人从猿到人一个进化的过程。但为什么我们选择这个模型的进化的策略，跟另外一派说把数据堆量的策略最大一点的不同。

【嘉宾】核心原因就在于，机器人数据堆垢的方法跟自动驾驶，包括2D图片、视频，包括自然语言，一个最大的不同，就是它没有足够多的数据。自动驾驶可能是最接近的，参与到这里面的自动驾驶的人非常非常多，但是它的一个核心在于，自动驾驶比如Tesla，在可能十几年以前就开始卖它的车，当时绝对没有现在的FSD，虽然它当时给大家画饼，说未来可能会有FSD，但实际上是有几百万的司机买了它的车，在101的公路上面天天开。所以它是会变的，它不一定要只遵循一个范图，我可以在数据不够的情况下，用白盒加黑盒的模式答案，等数据量够了，我可以去改变我的技术。对，但是机器人你是很难，同一款机器在没有任何功能之前，我卖500万台机器人，到各个办公室、家庭，或者是工厂里面去，并且旁边还有一个工人在遥控它，去做各种各样的操作，在我们的家里面，很难想象，我买了一台机器人，我需要穿着一个动补服，才能够去做西红柿炒鸡蛋。这个我觉得基本上是很难。

【嘉宾】没有特质，对，但这个模式实际上就在于说，我们人类以公司方法去做组织的话，我觉得像国内的公司，已经做的是非常非常超前的，可能已经能到百台，甚至千台以上的规模，但它离500万台和1000万台，并且能够进到每一个家庭，每一个办公室，就像特斯拉的车，像是开到了世界上，几乎所有的角落，收集到各种各样的数据，并且后面还有一个司机，天天帮它去标数据，这些的要素，在机器人里面可能都不成立。所以它的能启动的方法，就是像您刚才提到的，因大家提到Zimtreal，为什么一定是要推的一个方法，是躲不过去的，就是因为它能启动的数据，实际上是需要一个百万，甚至是千万级别，在所有的开放环境里面，都要把这个数据给收集全才可以的。

【嘉宾】对，稍微分享一些，我们自己认为的一些小八卦了。Physical Intelligence在成立之前，他们其实是在Google，包括Generic的，这个其实是在Google Robotics里面，工作的非常多的核心人员，参与的。那个时候的话，大家可能都是做一个端到端的一个模型，但再往前，当时大家有一个默契，就是有可能是底层的模型，有一个稳定可靠的底层操作能力。在向上实际上是有，大家去做环境理解，包括拆分成不一样的任务，我怎么能够去那个咖啡机，然后拿到两杯子，倒两杯咖啡，中间还得过两道门。但在大家23年24年先后开始搞公司的时候，大家就选择了自己擅长和熟悉的讨论，所以他们可能就不再提分层。但我们有一个暴论，就是可能从今年的下半年开始，上下分层的这种结构，会重新再回到主流里面，而且可能在之后，大家选择的方案推到商业化里面，去可能是最终的一个方法。

【嘉宾】对，比如说从冰箱里面，拿一个瓶子，把瓶儿拧开，然后把我们面前的两杯水倒满。

【嘉宾】那么上层实际上是说，我们现在杯子里面没有水了，我们要去重新倒水。激起来实际上是要对于我们现在的这个环境里有理解，哪边是冰箱，里面有没有水，我第一步应该去走到这个冰箱面前，打开冰箱门，拿到这个瓶子，移动到这边，把瓶儿拧开，并且朝两个杯子里面分别去注入一定的水，再把瓶儿给拧上。这些是属于我们叫拆分步骤的做reasoning的过程。但是底层在我们的划分里面，就是我如何去走到冰箱的面前，把门打开，抓住这个瓶子，移动到这边，把瓶盖拧开，并且往杯子里面去倒水。那么这些底层的每一步具体对于物体的操作，我们叫low-level manipulation，上层的high-level reasoning和planning当中，我觉得是可以分开的。

【嘉宾】我觉得很难讲今年，但是这个会回到大家的视野里面来。我觉得在最近几周的时间里，我们在跟学术界的工业界，大家做现场展示和交流之后，有些人已经意识到这可能是一个新的方向。

【嘉宾】我觉得是的。既然代表我自己个人，不一定是公司统一的想法，就是我觉得Physical Intelligence和Google等等这些具身大模型公司，其实更擅长做上层的reasoning。但是对于物体的操作的话，靠少量的，比如说几十万小时，我觉得可能已经是现在操作的极限。人类真实操作物体的数据，远远没有办法达到对于物体的开放环境、开放物体的稳定可靠的操作的能力。

【嘉宾】或者讲，硅谷的具身大模型公司也好，大厂也好，中国的模型大厂也好，大量的做具身的公司也好，我觉得可能都是上层做reasoning的机会会更大一些。当然还有很多具身和人形机器人的公司，他们挑某一到两个垂直的应用的场景，可能就类似于像大模型，它就做一种或两种的agent。但是对于底层，如何在随机的环境里面，对于一个任意物体做某一类的操作，我们认为必须是一个软硬件强结合的公司才能够达到。但这家公司是不是只有中国公司能做到，我觉得未必。

【嘉宾】我觉得宇树是在人形机器人的硬件的量产能力，就率先给市场交出了最好的答卷的一家公司。

【嘉宾】宇树对于物体操作可能才刚刚开始。它主要是在大运动跟运动控制上。

【嘉宾】短期之内不一定，未来可能是。

【嘉宾】我觉得首先Physical Intelligence，如果我没有记错的话，它最新的估值也是在120亿到140亿美元之间，不一定完全对外公开。

【嘉宾】但它们也在做新的募资。我觉得这几家公司，包括Skild AI和Figure Intelligence，包括1X，都比较接近。

【嘉宾】对，Skild AI的话比较特殊一点。两位创始人Deepak和Abhinav，其实跟苏豪也做过很多的讨论，他们以前是坚决不碰视觉语言大模型的，但是在最开始募资的时候，他们是拿基于视觉语言模型作为他们主要募资的方向。但实际上，据我们了解他们做的业务等等的偏敏感一些。我觉得在做具身智能模型，美国这边第一梯队的话，我觉得还是像Figure Intelligence这样的团队，包括1X，以及还有一些创业的团队，像华人的3D，像Dyna，其实都在做一些探索。

【嘉宾】我觉得这轮可能跟宝马的demo可能关系不大，因为最近大家对他关注，是在大概几周以前，他开始做一个产线里面的物体的分解，但在我们看的确是比以前有些进步，但在物体的泛化性和环境的泛化性上，其实差别还比较远。

【嘉宾】对，后来他持续了几天。但如果是按照我们的要求的标准，第一，他的物体泛化性其实不高，因为一共只有两类物体，一个是盒子，一个是软性的包装，而且颜色和重量几乎是一样的。第二，他的机器人所在的工作的环境，一直是在他们自己公司里面搭建的那一条测试线里面，并没有走出去，很难。所以如果是拿遥操作做VLA的这条路线的话，最大的约束的挑战，就在于他对于光照和环境的变化，都极其敏感，一旦变化之后，他的成功率会直线地下降。所以大家对Figure还是有质疑的，就觉得他的demo放出来还是简单。

【嘉宾】洗碗机是他的demo，但我们听说是花了很长时间拍一条。

【嘉宾】在我们二五年主力团队搬回到国内之前，其实我们跟特斯拉的自动化团队有一些合作，但是当时他们在自动化产线里面，使用的自动化能够让机器人在里面去做任务的时候，Optimus肯定是还没有能够满足那个条件。当时应该只是在Optimus团队里面去做一些，比如说像一个固定的位置当中去拿电池的这样的一个动作。但Optimus我觉得是，未来美国的机器人行业里面肯定是最大的推手，因为它的硬件的核心和制造能力实际上是非常强，模型的话，我觉得按照特斯拉和伊隆马斯克的风格，可以等到这个行业有较为好的方案出现之后再去补，可能也来得及。

【嘉宾】我觉得有点像，但他的思路我觉得是跟现在很多做机器人硬件团队更像，我不给你模型，我给你很好用的硬件，那么你自己去开发模型。但我们实际上是想要给大家一个硬件，同时有底层，大家不太好……

【嘉宾】对，我觉得这是一个特别关键一点。我们自己内部定义的最有潜力，

【嘉宾】跟我们一起去推这个方向的可能就是波士顿动力的电动版Atlas加上Google的DeepMind。如果大家去年看戴密斯·哈萨比斯的一些采访，包括他的纪录片，以及一系列的动作的话，我觉得他们对于物理世界AI的下注，可能是在所有的大厂里面最坚决的一下。只不过现在他可能还要分时间去兼顾Gemini跟Anthropic和OpenAI去做竞争的这样一步。但我觉得去年有一个非常重要的信号，第一，他们已经把硬件的平台，从原来的Apptronik和另外的一台机器，换成了电动版的Atlas。同时，他从波士顿动力的硬件部门，把核心的几个人都挖到了DeepMind的团队里面。

【嘉宾】对，用波士顿动力的硬件，包括现代集团在后面量产的能力的支持。同时，他们自己在仿真器，在几年以前就收购了MuJoCo团队，自己在做不断的改进。他自己还有他自己的世界模型Genie 3这些。

【嘉宾】因为他硬件也有，软件也有，我觉得这个跟其他公司，是完全不是在一个量级上的。我们感觉他是坚定的相信Sim-to-Real的这条路的。

【嘉宾】跟Google Robotics以前的交流合作，非常非常多，甚至说那个团队里面有很多，都是他的师弟师妹，有一些核心人员，是他曾经的博士生学生，包括Pi创始团队里面也有。但我觉得DeepMind的这一波，他会把核心的人才聚集在伦敦，在英国，模型团队和硬件团队聚集在一起，这个事情我们觉得非常重要。就跟当年Steve Jobs说，做Apple开发的时候，有人问能不能去另外一个办公室，能不能远程，他坚决不同意，我觉得是一样的。

【嘉宾】对，我觉得这可能跟大家想的都不太一样。我觉得可能在接下来的两到三年里面，从机器人的操作能力和综合能力上而言，我们认为的最大竞争的时候，可能是DeepMind的加波士顿动力。

【嘉宾】现在股权关系应该没有。我如果没记错的话，现代集团应该是主要的控股方，然后剩下的软银应该还是保留了10%到20%。但DeepMind这次，不一定会把波士顿动力再纳入到体系里面来。但波士顿动力会把DeepMind作为他大脑模型的，可能最重要的一个合作。

【嘉宾】我觉得亚马逊一直是在机器人里面投入最多的一家大公司。但他的数量可能还是以比如说，像第一，像仓库物流里面，像AGV，像Kiva很早就收购，包括像各种各样的机械臂的应用，各种各样的人形机器人公司，比如像Agility、Covariant，之前可能还有一些其他的公司都在里面去做尝试。我觉得他会提供一定的场景，但亚马逊最终，要不然就是要把这些公司收购，要不然就要自己去做。我觉得Covariant也是当时把亚马逊作为核心的客户之一。

【嘉宾】我们要去做机器人的通用性的这些想法，但是最后呢，它可能因为有商业化的压力吗？它可能最后都退回到了单一场景。就是你怎么去看，这种力量很丰满，最后大家回去做垂类赛道的现象？我的核心的推断，还是跟前几轮，比如说像做世界大模型，比如像当时的ASR小模型，包括后来做语言模型的Kaldi涌现等等类似吧。如果是对于基础模型如何去构建，没有一个特别清晰的想法，只是想边做边试的话，我觉得其实很难，大家都会因为商业上的一些压力去做妥协。但是对于我们团队而言，我觉得也是分成两侧。假如说我们对于基础模型如何去推进，也是在摸索，没有较为清晰的一个方向，能够在未来的，比如说当时启动的时候，能够在12到24个月里面应该能够看到什么结果，有判断的话，我觉得我们也未必能够一直坚持这样的一个方式和方法。

【嘉宾】我觉得是这个团队可能在过去的七八年的合作里面，其实已经有了一些感觉和认知，再把哪些要素补充在一起，大家合作是，比如说12到24个月的话，就能够看到第一阶段的效果，我觉得这个比较关键。而并不是说，我们把数据先做一些小模型先试一下，是不是把数据堆到一定程度之后，什么程度现在也不知道，有可能是1000万小时，有可能是1亿小时，有可能是1万小时，说不定就做出来了，我觉得“说不定”这三个字在我们团队里面几乎不太会出现。但是对于其他的团队而言，大家都是在探索，那么会受到自己团队内部，包括投资人和商业化的一些的压力，就会选择一个垂类的场景。这时候客户给大家的要求的时候，会导致跟你训基础模型的思路肯定会有背离。

【嘉宾】我觉得实际上是通过以前一系列的研究的工作，能够感知到这个系统应该可以，就是说在小规模上能够已经起作用了，只要再给整个搭建完整系统里面，大家在齐心协力去试一下的话，有可能能够得到初步的结论。

【嘉宾】我觉得我们肯定会有压力，但相对而言还好一些。我觉得机器人在这一波趋势里面，由于大模型的出现，包括inference的出现，我们感觉会把它推到下一个阶段。我们实际上是不会去赌某一个垂类场景哪个能够跑出来，而是希望我们通过提供一个硬件加底层的模型，让大家去试。我们希望我们服务的1000个开发者里面，有100个能够找到，能够小批量去做部署的这样的一个应用的场景。但另外900个人可能会有比较好的demo，或者是研究的成果。这100个人里面可能会有5个、10个会做一个超级应用，他可能会需要部署1万台甚至更多的机器人，到不一样的场景里面去。但究竟是从冰箱里面去给我们取饮料瓶倒水，还是说在工厂里面去完成汽车的组装，还是说比如像亚马逊这样的一个仓库和分拣环境里面，去抓取输送带的商品，我们不会去赌某一个场景。因为这个团队我觉得，它的特质也并不是说到工厂里面去部署和集成测试。整个的这个开发者社区里面，包括集成商、自动化团队，各自都会有各自不一样的擅长。我们希望就是做底层的新的工具链给大家。

【嘉宾】我们的核心是在提供一个可靠稳定的硬件加底层模型，从一个抓的技能到三到五个比较常见的技能，并且把它的组合的开发的工具做好，让一百个开发者能够在上面去做不一样的应用尝试。这是我们在现在和接下来几年的时间最核心的一个目标。我们希望一百个、一千个开发者在上手，能够出现我刚才描述的情况，有些人可以找到一些有意思的应用场景，可以做批量的使用和部署。

【嘉宾】对，我们肯定会在这方面是我们最核心的持续性的投入。但是为了验证大家可以拿它去做行业里面的垂类应用，我们肯定也会挑一到两个场景，跟一到两个开发者紧密的配合，把我们的开发工具给做好。

【嘉宾】我觉得Sim2Real这条路是对的，是互产物。我们希望十年以后，当大家回看今天的这个时间节点的时候，会认为这可能是一个类似于像iPhone加iOS操作系统，那个时候会有新的Uber，有滴滴美团，会有新的DoorDash长出来。我们希望大家用的硬件加底层的系统和软件，至少有一部分是我们提供的。

【嘉宾】对，的确是。

【嘉宾】我觉得是，但我跟苏浩在一开始在商量的时候，我们也觉得，现在如果是做垂类的商业应用，有的时候账是算不过来的。

【嘉宾】但大家也在抢地盘，就是有些产品一个机器人部署了，它很难再换一个。对，一个机器人部署替代一定的人工，实际上你可能要花3-5个PHD的一个成本去维护。

【嘉宾】对，还是挺好的一条路径的。对，我觉得就是难，但是可能最终是最有效的方法。

【嘉宾】好，谢谢。