Vol.125｜世界模型更底层的东西：为什么机器人要先学会「因果」

【旁白】别客气更近，让思考更深。大家好，欢迎来到开始铃铁的LinkStart。在具身智能领域，你可能听说过世界模型、Scaling Law、VLA，但有一个词，你大概率还比较陌生，因果大模型。它不是新噱头，而是一个在学术界酝酿了37年，正在悄悄改变具身智能路线图的底层范式。今天行业的主流打法是对数据，靠Scaling Law让机器人自然涌现。但有人提出了一个不讨好的判断，不是数据不够，是范式用错了。VLA模型在Demo里很好看，放到真实场景，桌面高2厘米任务就失败了，因为它学的是相关性，不是因果。因果大模型要做的，是从同样的数据里挖出更深的东西，让机器人大脑真正学会举一反三，变量如何互相影响，动作后状态如何演化，甚至能推断如果当时不这么做会怎样。我们请来了Ether AI创始人黄碧薇。她深耕学术界12年，师承两代因果AI开山鼻祖，历经德国马普所、CMU、UCSD，在Physical AI的窗口期出山创业。本期是一堂意外收获的UCSD早课。嘉宾为海外连线，音质略有起伏，敬请谅解。欢迎收听。

【嘉宾】大家好，我现在呢是Ether AI的Founder，然后同时我之前12年的经历都主要是在学术界探索因果发现和因果AI。我在德国马普所开始，进入到这个领域，做了两年，然后进入到CMU读博士，继续探索这个领域。我CMU毕业以后，我就加入了UCSD做助理教授。做助理教授之后，我致力于把我们原来这一套Causal Discovery因果发现和Causal AI这一套理论方面的研究和现在的大模型、大数据结合起来，然后去推动我们下一代AI范式的进展。经过个人的研究判断，我觉得下一代AI范式是以因果为核心的大模型，然后我们其实已经站在了黎明阶段，我们即将踏入到下一个AI范式。所以其实我们可以理解为大语言模型确实带动了一个范式的跳跃，但是这个跳跃不是终点，后续其实还需要有新的范式跳跃。

【嘉宾】但我们不妨在这里回归到本质，比如说我们可以简单地从几个数学方程式入手，其实我们就可以把整个世界模型的定义给统一了。简单地来说，我们这个世界模型应该要可以去模拟或者叫Model我们这个物理世界的发展进程。它随着时间、随着动作是吧，比如说我现在状态在T时刻，我执行一个动作，那下一步在T+1时刻的状态是什么样子的？就是这个状态转移它其实模拟的就是我们世界的变化，也就是说它其实是一个我们所谓的世界模型。所以我觉得现在大家所谓的视频生成模型、3D生成模型以及其他一些模型，他们都从某些角度想要去接近我们真正本质的这个世界模型，但是还没有真正是capture the essential point，抓住本质。所以大家可以看到从刚才的定义来说，要想抓住本质的话，它需要去模拟我们这个物理世界。所以它包含的是我们真正背后的物理规律是怎么样子的，它的因果结构、因果关系是怎么样子的，它到底应该随着时间、随着这动作怎么样进化、怎么样evolve。

【嘉宾】对，是的，是的。你看所以我们需要的世界模型它是真正还原到我们这个物理世界的本质，而不是像你说的我可能在像素空间看起来它好像还不错。那我给你举个例子啊，比如说现在的视频生成模型它可能出现的问题是，比如说我想抓我手边这个杯子，我无限接近这个杯子，但其实还没有真正抓住这个杯子的时候，这杯子可能就自己吸上来了。核心原因还是在实现的时候，我只是想要去模拟是吧，模拟或者说要学习这个相关性，但没有真正学习到背后的因果关系。

【嘉宾】对，是的，是的。我觉得是这样子的，所以大家现在的具身领域，就一味地去采集数据背后的一个核心原因，

【嘉宾】是因为大家在大语言模型上尝到甜头，之前大家发现我只要靠大量加数据，我这个智能在语言层面智能自然涌现了。其实具身和自然语言它还是两个相对差别挺大的任务。对自然语言来说，它其实我们人已经把背后的信息或者说背后的一些规律都已经故意拿总结到自然语言表面了。所以你看我们人如果仅仅在自然语言上靠堆数据，它可以做得比较好。但这个其实核心思想，它在具身以及在一些更复杂的比如说科研科学发现、像在生物世界医药领域等等，它可能就会失效。我这里想强调就是仅仅靠堆数据是不够的。大家经常探讨scaling law到底会不会实现，但你又会发现大家在探讨scaling law的时候通常把这个词说得非常的虚。大家并没有仅仅定义到OK，我这个scaling law是针对什么样的模型，针对什么样的数据方式，它才可以scale起来。所以我们如果在一个非常虚的这样一个定义下去实现这个scaling law的话，可能就是会比较效率会比较低，比如说不考虑到底要收集哪些数据是真正有效的，不考虑数据的收集方式以及不考虑模型怎么样模型，比如说是Autoregressive这一条方式，还是说真正懂因果的模型。那可能它scaling law的这样的上升趋势可能比如说是0.2的这样一个比例。但如果你用更好的模型，比如说真正懂因果、懂背后物理规律的模型，已经在数据采集的时候非常有意向地收集模型真正需要的数据、真正没有学过的数据，那肯定scaling的比例就是0.8这样一个上升，延续会更高。

【嘉宾】你刚才说的一点忽然让我觉得挺有同感。

【嘉宾】就是你要想非常高效地去scaling，我们一定要在两个点上下功夫。第一，一定要回归到模型的本质。就当下这种Autoregressive style的模型，它学习的是相关性的pattern，它可能在语言任务和coding任务上做得不错，但到具身里面大家其实可以看到已经失效了。因为就是前三年代太所谓VLA的范式嘛，对，VLA其实就是Autoregressive的走到Autoregressive的路径，但大家可以发现，就是VLA可能在训练数据上，我的video demo上给大家秀出非常好的结果。

【嘉宾】但是一旦应用到实际任务当中，OK，它就fail了，是吧。它可能桌面高了两厘米，它就做不了这个任务。我觉得这个范式可能在未来很快会进化到下一个更合理的范式。对，就是简单来讲，VLA这件事落到具身领域里边，大家已经算看得清楚这个事儿不是太能work。

【嘉宾】首先我讲一下数据的层面。对我们来说，我们需要的数据，其他模型比如说VLA、其他世界模型的数据，基本上是一样的，我们不需要额外数据。我们真正做的，就是我们要从同样的数据里去抽取更深层、更本质的信息，instead of现在的模型。现在的模型它只是学这个数据表层的统计相关性，它是一个非常简单的统计信息。但是我们要从观测数据里抽取更深层的因果关系的信息，以及去真正学到背后的这种fundamental的law，包括物理规律、物理动力学、因果关系等等。然后我再加一句，怎么学的呢？我们不是说去人告诉它到底哪几个变量之间它是因果相连的，是吧？因为我们人知道因果关系是非常有限的，我们人知道物理规律……

【嘉宾】也是非常有限的，所以如果我们人去强加一些我们已有的关系的话，就反而让模型，是吧，眼界更窄了。所以我们做的就是，我们这一套方法可以从我们观测数据里去自动抽取背后的因果变量、因果关系以及因果动力学，从而可以学到底层的这种物理规律。所以您可以看到，就是我们这套因果世界模型，它是可以真正 go beyond our human knowledge，可以超越人类现有知识，甚至有望去找到一些新的物理规律。我举个例子，比如说我们把一个鸡蛋打在一个油锅里，这个物理方程怎么样去表述出来？其实我们人并不知道，是吧？我们很难去表述这个蛋表面的整个状态，我们就是要利用现在 AI 带来的这些 benefit，利用我们因果世界模型，从我这个观测到视频数据里面来抽取背后整个物理规律，这个物理方程到底是应该什么样子的，怎么样描述的？

【嘉宾】是这样的。首先，比如说刚才我把鸡蛋打在一个热油锅里，我想描述鸡蛋状态，是吧？这个其实对我们人来说，现在物理方式是描述不了的。所以我们下一步我们需要借助 AI、借助大模型的力量。然后对于传统的比如说视频生成模型的话，它就是一个相关性嘛。

【嘉宾】但可能比如说我把油温低一点，或者我把锅改小一点，它并不能很好的去预测，因为这些因素的变化，鸡蛋的状态变化会发生什么样的改变。但是一旦我们的模型，基于世界模型，可以真正学习到背后的这个底层的物理规律和因果结构，比如说举个例子，比如锅的大小、油温，以及一些其他可能这个鸡蛋液这个凝固过程，那我就可能设置不同的参数，然后去，比如说本来我们这个物理方程和因果关系都是在模型的隐空间学习到。然后我们人怎么去理解我们这个模型学到因果规律呢？第一种方法我可以 decode 到像素空间，像素空间我们其实人就能比较好地理解了。然后第二种方式，我可以数学，数学方程，比如说 x、x 平方、x 三次方、x 四次方，然后去 fit 我这个隐空间里的这样一个 function，那就有可以回归到我们人可以理解的这样一个物理方程，而不是用这个神经网络来去解释，因为神经网络相对来说人还是比较难解释的。对，就是我们可以通过这样的过程来让人去探索到、去学习到新的一些物理方程。

【嘉宾】是的。说到这里，您说的范式发展，其实我也想提一下，我们AI世界这30年吧，30年来的范式发展过程。大家可以清晰地看到到底下一代AI是什么样子。假设我们把AI范式从两个维度上看，一个维度是模型大小。

【嘉宾】它是小模型还是大模型，另一个维度从模型抽象能力看，它到底是学的这个表层的统计相关性，还是真正学到背后机制。我们从这个两维度来看的话，我们可以把现在整个AI范式进化分为四个阶段。第一阶段就是90年代初的时候，我们以相关性为主的小模型，并且学的是浅层的统计相关性。第二范式大概在2010年左右，我们有一个community，就进入了第二代范式。第二代范式是以因果为核心的小模型，然后在这个范式里，其实我们就已经真正走到了，我要从观测数据里学习背后的因果结构，是吧，然后以及利用学到这个因果关系，帮助各种各样的Machine Learning Tasks以及科学发现。比如说在强化学习，是吧，迁移学习，表征学习，然后到非稳态的预测，以及叫最简单的分类聚类，因为发现所有的基本Machine Learning Tasks都可以get benefit from一些因果的理解，因果关系的一些学习，这是我们第二代范式。然后第三代范式就是我们大家基于大语言模型的这一代范式，第三代范式我们把它叫做基于相关性的大模型。然后大家可以看到，第三代范式它的主要一些贡献就是在自然语言任务和一些编程任务上，因为刚才提到了，为什么这两个任务会做得比较好呢？因为还是因为自然语言和编程，他们一是数据比较理算的，二是因为他们都是语言，一个是自然语言，一个是编程语言，那么信息量都非常表层。所以LLM这套范式已经可以做得相当不错，特别是在大量数据加持下。接下来比如说在具身领域，以及在一些科学发现领域，比如说生物制药，是吧，新材料发现，化学等等，甚至在金融领域等等，就是当下的这套范式它是不够用的。所以站在这个点上，我们自然而然地，下一个范式就是我们以因果模型为核心的这样一个大模型范式。就刚才彭彤也提到，我们这个第四代范式，它其实站在第二代和第三代范式的这个巨人肩膀上的。

【嘉宾】因为有了第二代、第三代范式的发展，我们才可以自然而然的进入到下一代，就以 Yinglish 为核心的这样一个大模型的范式。看起来今天这个技术有时候就是这样，它一代技术下一代东西的发展，这一点还是让我看到了很多这个技术发展过去有点似曾相识的这种节奏啊。

【嘉宾】是这样子的。首先我们大概分两个阶段。在模型早期的训练阶段，我们不会去注入一个固定的，比如说牛顿第二力学这样一个方程。因为牛顿第二力学其实只能表现一些可能比较完美，或者说在一些 IDEAL 条件下的一些现象。所以我们在早期的模型训练阶段，还是让模型自己去学。但是我们会给它一个比较 high-level 的指导，然后这个指导其实基于我们 Yinglish 系统一个独有的一个特质，已经有 Yinglish 系统有一个这样的特质。对，其实我们在模型早期阶段是给一个 high-level 的指导。然后在模型比如说进入到比较 fine tuning 一个 post training 的时候，我们会在一些场合下去加入一些人为的指导。对，保证模型既能学到人类未知的，同时在人类已知的地方进行一个加强。其实之前文本这样的这些内容，它其实是比较浅层的东西的内容，它其实没有那么多隐含的这样的点。但反而如果要到 Yinglish 模型的话，你就是要去挖掘它里面更丰富的东西，所以需要在这个里面去让它去悟，给它更多自由度。所以这个时候，你一旦加了一个被人抽象过的东西

【嘉宾】它就不是原始的东西，这就很难让它自己再悟了。有点说本来就应该它自己去长出来的，结果人一干预，反而这个事儿就塌了。这个其实也是在过去的原模型里面大家也经历过的点。我们就需要让下一代的这个大模型可以超越人类的支持。因为刚才说到，人已知的物理规律、因果关系是非常有限的。甚至在很多情况下，有很多 hidden knowledge，就是说 hidden drivers。因为我们人能观测到的变量也好，或者说特征也好，其实也是有限的。有很多我们观测不到的这些所谓的变量，其实为什么我们平时会觉得一些事情非常神秘，或者 mysterious，一个主要的原因就是有很多观测不到的变量，因为人类现在的认知有限。所以我们需要更强的 AI 大模型来补齐，然后能超越人类现有的一些认知。我觉得很有可能下一步，特别在一些科学发现领域，这一套是可以带来一些真正的底层的改变。包括比如说在制药、在长寿、新材料发现等等这些领域。刚才其实我们都已经，对吧，今天我们说的所谓的很多玄学，就是因为它的隐变量很多，我们没法用今天的科学和人类短短的大概几万年的经验去把它解释出来，抽象成某种公式。所以我们对这个世界的理解没办法把它都填充满，我们无法解释，只能说它就是玄学。

【嘉宾】其实我觉得，现在大多数人对统计的认识，它就是简单的统计相关性，反正统计相关性就是everything。不止如此，就有很多更复杂的统计性、统计信息我们可以挖掘的。对于因果来说，虽然它的定义是基于intervention的，比如说A导致B是吧，尤其也仅有，如果我intervene on A的时候，B的概率会发生变化。虽然它的本来定义是基于intervention的，但是我们知道，如果我通过intervention，是吧，通过做随机对照实验，或者说双盲实验，去找因果关系的话，这个cost是非常大的，然后它的应用也非常有限，然后很多时候你没法去做这个实验，基于intervention的实验。

【嘉宾】所以我们community develop的一套方法，就是我要从观测数据里，用统计的方法，找到背后的因果关系。然后这个统计方法一定是要much more complex，要比这个大家非常熟悉的相关性要复杂多的。我举几个我们community里面一路发展过来所用的一些quantities，这可能有点学术，比如说条件独立性；第二，非对称的造成独立性；第三，一些比如说rank deficiency，秩的缺失等等，就一系列的比现在相关性更复杂的统计方法，对。

【嘉宾】然后我觉得说到这里，我也甚至讲一下我们这个整个community发展历史。我们因果发现这个community的话，它起源于89年。然后89年时候，我们的Clark Glymour和Peter Spirtes他们第一次发现，我可以从观测数据里用统计的方法，找到背后的因果关系，而不需要依赖于我们传统大家熟知的随机对照实验、双盲实验等等，对。然后他们开创第一代方法叫做PC算法，对。然后他们俩就是Clark Glymour和Peter Spirtes，他们也是我的PhD导师之二。89年时候就开创了causal discovery因果发现这个领域。

【嘉宾】然后经过这30年的发展，这community已经非常成熟。然后我们，包括我在PhD的时候，我们其实已经把在小模型时代因果发现一些核心问题，已经解决的非常好了，甚至包括刚刚才朋友提到的，我有很多隐变量，有很多观测不到变量的时候。

【嘉宾】是吧，我怎么仅仅从我少部分的观测变量里，推断出有没有隐变量，隐变量在哪里，有多少，然后它们相互之间怎么影响，以及怎么影响我们观测到的这个世界。这一系列包括从理论层面到算法层面，都已经被比较好地实现了。所以，基于刚刚说的这其实算是那个范式二，范式二基于因果小模型年代，在范式二加上现在 LLM 就是大模型的发展，我们就可以站在这两个巨人肩膀上，自然而然地推进到下一个 AI 范式。

【嘉宾】发展过来其实有很多。1997年左右吧，然后这整套范式，就是以我们 CMU 为核心的克莱格和 Spirtes 教授推动的。当然，这个时间里培养出来了非常优秀的学生，这是第一代。

【嘉宾】其实97年之后这中间大概有七八年的时间就停滞了，大家觉得我可能只能走到这一步了，再往下推就很难了。然后直到发现我可以进一步利用非高斯分布的特性，进一步找到变量之间的因果关系。就主要是他们发现这种性质可以用来去做因果发现，可以学到任何两个变量之间因果方向到底是A cause B还是B cause A。嗯对，然后这一套范式的核心人物，我基本上就是完全是得到他们的真传，第一代的这个开山鼻祖，然后第二代的核心范式的推动者的真传。所以当我加入，我大概从14年开始进入到这个领域，我进入到这个领域，有的时候我就在想一个问题，是吧，其实前两代因果发现领域的这样一个主要推动，它在一些完美的情况下是可以的，但是如果我到现实世界当中，我的数据可能就有各种各样的问题。比如说，我刚刚说到隐变量的问题，你很难关注到所有的变量。第二个，比如说数据有各种，你可能有缺失数据，概率分布的变化，比如说从一个区域到另一个区域，从一个任务到另一个任务。那在这种非常真实的环境下，我怎么样既从理论上证明，又可以从算法层面去实现。然后在我的PhD阶段的话，我主要就是围绕这些问题展开。然后另外一个Focus就是，我怎么把从因果的角度推动各个Machine Learning任务的发展。当那个时候还在小模型的范式下，然后我们发现基本上所有这些学习任务，包括刚刚提到的分类、聚类、非稳态预测。

【嘉宾】强化学习、表示学习都可以在理解因果、学习到因果结构之后，得到非常非常高的Performance上的提升。Performance的提升包括任务成功率、泛化能力，以及数据的有效性、数据的Efficiency。对，所以说，我非常幸运得到了第一代、第二代核心，就是整个创始人的这样一个一路过来的指导，所以传到我这边，我就可以作为Leader来推动，继续推动因果这一套范式继续往前的发展。

【嘉宾】当然，刚才也说到，随着大模型的发展，我们又抓到了新的机遇，就是我们需要大数据来挖取更新的信息。但是仅仅依靠在大数据层面挖浅层的信息、相关性还是不够的，我们需要进入到更深层，挖掘到更深层的信息，然后再结合我们这个大模型、大数据，它的潜力就无限了。

【嘉宾】其实也说到为什么会在这个时候创业呢？经过这十二年的研究，我们已经在因果这一层上面把一些核心问题就解决很好了。再加上我这几年加入UCLA做老师之后，我开始结合因果和大模型的一些探索，我觉得现在这个点上，就是在方法论和具体的模型实现层面，我都已经准备好了。再加上外部世界发现，如果按这套范式走，要到头了，特别是在大模型上面。所以我觉得这是一个right time for me，我要起来做这件事情，把大家带到一个正确的方向。

【嘉宾】既然说是大模型嘛，它的本质还是压缩，对吧。只不过呢，你要想要它有很强的泛化性，就需要很结构化的去做压缩，但它本质还是压缩。智能其实是在压缩中出现的。我不知道这个理解有没有点暴论，说的对不对。这让我想起以前大家常说的一句话，就是压缩即智能嘛。

【嘉宾】首先我觉得，就杨立昆想用这种非常激烈的方式，唤醒大家一些更深度的思考吧。对，我觉得从 high-level 讲的话，我和杨立昆的一些观念是非常 matched 的，我们都认为就是现在的 LLM，它是不够的。用更平和的方式来说，我觉得 LLM 首先它是特别伟大的发明。

【嘉宾】也是第一次，人类第一次发现，我通过特别大的模型、特别大的数据，就是能涌现出了一些东西。但它可能只能作为第一站，就是大模型的第一站，下一站的话，Attention一定是不够的，我们一定要走到理解世界、理解背后真正的本真的规律这一步。所以从这个角度来看的话，我和杨立昆的这个high-level思想，我觉得还是高度一致的。但是我不否认，就是Attention的伟大，我觉得第一个发明、去实现出来的人都是非常好的。人可能在进展还是要分多步的，就是不能苛求它我一步就能到完美嘛。对，但是呢，在现在这个时间点，我们一定要就走到下面一步。

【嘉宾】然后在具体的实现层面的话，我们的方法和LeCun推的V-JEPA还是非常不一样的。

【嘉宾】JEPA它的核心就是，通过我把整个decoder去掉，就decoder到像素空间的这样一个去掉，从而可以把一些只在像素空间出现的高频信号忽略掉，不用在隐空间里表示出来。同时，我可以在隐空间里只保留这种拥有smooth transition的这种signal，这种信号。然后，通过把整个decoder去掉，我的模型size可以小很多，以及从而我可以在隐空间里面保留一些语义相关的信息。对，这是它的优点，三大优点。

【嘉宾】但是，从我以前的一些研究啊，我比较担忧的就是，特别是当我们应用到具身智能、应用到物理AI的时候，如果你把整个decoder，当像素空间decoder去掉，虽然说你会有效去掉一些噪声、不需要的信息，但也有可能把一些非常细节的信息去掉。比如说，我是不是和物体已经接触，contact接触面，是吧，然后一些比如说像摩擦力相关的。

【嘉宾】比较细节的信息可能会忽略掉，这些信息的忽略可能对于video来说问题不大，但对于具身这个操作任务来说，它可能会出现一些不能很精确的操作。对，然后另外一点就是，他们没有真正在隐空间里把因果变量提取出来，以及显式学习因果变量之间的因果结构，以及学习因果模型如何随着时间、随着动作evolve进化。就是说相比我们的因果世界模型的话，我们最核心的点，我们就是要在隐空间显式地学习到这个因果系统，然后这个因果系统分三块，刚才也说过。第一，我要从这个像素空间学习到背后的因果变量到底是什么样子；第二，因果变量之间它们的因果结构是怎么样子，它们怎么相互影响，是吧；第三，这因果动力学，也就是说我这个因果模型它怎么样随着时间演变，随着动作演变。

【嘉宾】这又和我为什么选择、我只能作为第一个落地的应用有关系。我选择具身智能，就是因为它的verification很简单，我可以简单做一个操作任务就可以verify我到底、我的模型有没有学会背后因果关系。比如说，

【嘉宾】我抓手边这个水瓶，是吧，抓水瓶是不是能成功呢？它可能和，比如说，和我手抓瓶子的这个位置可能有关系，是吧。我可以从非常简单的，从这些简单的 intervention 当中，以及非常容易实施 intervention 当中，就可以看到我这个模型到底有没有学习到背后因果关系。然后其实相比其他的，比如说，我刚刚说到，之前提到的科学发现，比如说在生物制药，是吧，Longevity，新材料发现里面，你要想验证这个因果关系，是吧，路径是更长的，对。你需要配合做一些试验，然后来去 verify 这个。

【嘉宾】我首先我说一下，就是，如果啊，如果你的训练数据和测试数据永远是同分布的，永远是一样的，然后你只做就是被动观测，那，相关性，原来 LLM 那套，就是可能，就是，也是够了。还有视频，我如果只是做视频展示的话，我觉得也够了，对。

【嘉宾】所以核心问题就是，我们永远不可能，是吧，我在我的训练数据里去 cover 以后发生的所有的可能性，在现实世界发生的所有的可能性。如果，你要想要模型有泛化能力，像人一样，可以举一反三，是吧，很容易的从一个任务迁移到另外一个任务，或者说，从一个 skill 迁移到另外一个 skill，那我们就一定需要模型背后真正的因果关系，真正的物理规律。我可以总结一下，

【嘉宾】就是对于上一套LLM这种以相关性为核心的大模型范式，它要想有非常好的一个performance，它必须要满足三个条件。第一，我要有足够多的数据和足够大的模型。第二，我的训练数据里必须cover你以后在现实环境当中遇到的所有可能数据，哪怕我的桌面高量1米都得cover到，对。第三，它只能做被动的预测。如果满足这三个条件的话，其实我们也看到了，它在自然语言任务、在coding任务里面都已经有了非常好的performance，非常好的这样一个结果。但是一旦我们想要去handle更加复杂任务，比如说到具身，比如说刚才反复提到的科学发现，现在LLM那套显然就不够了，我们需要一些只有因果可以带来的一些能力。比如说刚才您提到泛化性，是吧，我们需要模型可以像人一样可以举一反三，当你到一个新的任务、新的环境，或者说装到一个新的机器人本体上的时候，是吧，我都可以很快地迁移过去。

【嘉宾】然后第二，它必须要可以做interventional reasoning，就是它或者叫做主动预测。比如说，如果说我现在执行动作A，它带来的outcome是怎么样子的？这是第二点。然后第三点，就是我们常说的反事实推理。比如说，小明今天晚上好像有点咳嗽，他吃了阿司匹林，然后他很快恢复了。我现在要问一个反事实的问题，如果刚才晚上的时候小明没有吃阿司匹林，那他会怎么样？你要有点这种平行宇宙的感觉，你要在另外一个宇宙里，是吧，你要假设一种和我现实发生的不一样的情况，然后output outcome，这是第三点。然后第四点，它的数据利用率和它的模型效率都是更高的。我觉得就是，即使在自然语言任务上，当我们真正实现因果世界模型之后，我们就是LLM也是不会，不会需要像现在的大模型size，现在我们商用的LLM都已经到了TB级别，是吧，没有TB级别大家都不好意思说我是做LLM，但是，为什么？

【嘉宾】会需要这么大呢？核心原因就是现在模型还是个死记硬背，我把所有我以前见过的东西我都背下来。但是其实你会发现，如果模型真正能够理解背后的规律、背后的逻辑，它是不会需要这么大的模型size的。其实它的这些逻辑还是countable的，是有限的，这是第四点。然后最后一点就是，它能够发现新的知识，包括新的物理规律、新的因果结构，是吧，一些hidden knowledge、hidden drivers，给超越人类现有的知识，对。所以你可以看到，就是对于我们，对一些在开放环境当中的话，我们一定需要走到接下来这个因果范式下。

【嘉宾】首先我说一下他high-level idea，high-level idea的话大家都是想实现我们这个世界模型，能够理解真正背后的物理世界是怎么样子的。然后以我据我所知，他现在的整个技术路线的话，是以空间智能为主，我要去非常好的理解，是吧，我在这3D空间里面，这空间结构是怎么样子的？但现阶段的话，我觉得他们相对来说，包括他们放出一些demo，放出一些东西。

【嘉宾】但给你强调的是一个渲染、一个空间结构的过程，但是没有非常强调时间层面、temporal层面，物理规律、因果结构是怎么样子的。但就具身来说，我们知道它其实更重要的一点就是机器人到底怎么和物理世界交互、怎么和这些物体交互，所以在具身里面我们其实更需要强调的是时间层面。相对来说，现阶段菲菲老师更加侧重的是空间智能，然后我们更加侧重的是从渲染到intervention这个层面上。

【嘉宾】我觉得还是有一些，其实在之前Sora他们做的，本质上我觉得是渲染对吧？然后到李飞飞那边，可能其实已经是模拟的维度了。但这个模拟还要往上加，加刚才咱们说的因果这样的东西，那最终希望的目标是什么？你看我们从渲染到模拟。

【嘉宾】Exactly，您说了一个非常对的词就是imagine。但是怎么样才能imagine呢？尤其只有你学到了真正背后的因果系统，你才能做imagine。

【嘉宾】这一下让我们对于这件事的进阶台阶想清楚了。Sora其实也是个世界模型，但它们其实在模拟这一层做了很多很精细的工作，但最终如果到imagine，可能需要在模拟这一层再要加因果，它才有可能变成真正有效的imagine，而不是胡思乱想对吧？而是真正有效的举一反三，掌握世界的规律。所以这件事说到底，这种因果大模型或者说机器人大脑，它本质上就是去跟物理世界的有效交互。

【嘉宾】之前为什么 LLM 会有幻觉呢？其实核心原因还是它就学了一个简单的统计相关性，我就是找这个概率大的做 next token prediction。因此就会出现比如说 GPT，可能在早期的时候 GPT-3 的时候，你问它华盛顿州的首都在哪里？在华盛顿州经常一起出现，但其实华盛顿州的首都是那个奥林匹亚。

【嘉宾】一个非常小的地方，所以它就会出现这种幻觉。我接下来引申出来另外一个话题，大家可能也会担心，就是如果我们的模型越来越聪明，越来越智能，会不会不可控呢？但这里面就是有一个可控性，我怎么样真正能让这个模型有可控性呢？而不是完全 random 里的 black box，我并不知道。核心还是要回到理解背后整个因果关系、数据生成过程、整个思考过程。如果我知道这模型是怎么想的，它思考过程是怎么样的，它怎么样产生我们看到的答案，是吧，那我就可以非常有效地去控制它，去避免产生我们可能对人类有一些 bias 或者 unfairness，或者一些 danger 的一些结果。所以不管从安全、可控性，还是从 alignment 角度看的话，我们都必须要走到就是可理解性、因果这一层。

【嘉宾】首先，我们是frontier lab，因为我们要创建的是，就从算法到模型，然后到整个系统的，以通用智能为核心，下一个AI范式。然后同时呢，我们又不仅是frontier lab，我们觉得就是，您刚才说的，就是从一个好的模型、好的产品到商业化落地，这链条是不可缺失的。链条东西一怀（一旦有了），因为它可以带来正向的循环，for the（为了）让我们这个模型，是吧，这个产品做得更好。所以说，我们不仅会去做frontier lab做的事情，我们也会去做产品段的事情。然后短期内的话，我们是以我们的就是大脑，机身大脑这个模型为主，打造一个真正可以举一反三、跨本体、跨任务、跨环境，都能够做得非常好的这样一个机身大脑。然后长期的话，我们也会考虑就是自己做本体，然后真正实现这样一个互成合（软硬结合）吧。对，软硬结合的一个互成合，嗯，对，就是我觉得大的那个微信（愿景）。

【嘉宾】其实不断的把它能够产生的价值放到最大，那肯定是最好的。对，肯定路是一步步走，今天其实是 I should start from a frontier lab，对吧，就是站在这个角度往前去做推进。

【嘉宾】嗯对，作为一个就是 foundation model 训练公司，我觉得呃，大体是分这三块，算力、数据和人才。但是它还是有些区别的，嗯对，首先算力可能是不可避免的，我们还是需要比较多的算力。但是大家可以看到，就是我刚才提到，就现在你不到 TV 就不好意思说我是做大模型的，嗯，所以未来的话，我们这一套范式，我觉得是不会需要这么大模型 size 的，嗯对。然后第二个数据，就是数据的话，比如说，我拿咱们就是前三的具身智能来说啊，具身智能这个领域，前三年大家 focus 了很多在算在数据的层面，就花了，我觉得我们是从更本质去看数据这个事情，然后我们我们数据规划是这样子的，我们的数据啊，

【嘉宾】80%的数据来自于模拟数据、EgoCentric数据以及视频数据，然后大概其他20%的话是来自遥操数据。因为遥操数据总是最后一公里，我要把我的通用基础模型map到机器人身上。但是可能人在做遥操的时候，只能完成一些比较简单的、比较短程的任务，并且你很难去模拟。比如说，我想要去收集一些没抓稳这个杯子摔落状态的数据，我总不能在遥操的时候真的把一个杯子重复地摔掉，摔一万个杯子，对吧。

【嘉宾】所以我们走这条路，我觉得相比其他公司来说，它的消耗是没那么大的。我们最核心的数据还是来自于模拟数据，包括物理模拟器和我们这个具身世界模型，它本身作为simulator，产生我们需要的那些长程的、满足物理规律的一些 corner case 的数据。这些数据通常在真实数据中可能你很难产生，对，又小又有效。

【嘉宾】然后刚刚也提到 EgoCentric 数据，EgoCentric 数据的好处在于它很容易 scale up，是吧。我让工人或者让做家务的人戴一个可能是视觉头的设备，我就可以很容易地把这个数据采集下来。以及包括一些 video 数据，这些数据的话，就能把我们这个非常复杂多样、diverse 的物理世界基本规律都能够学得七七八八，学得比较好了。然后再加上最后一公里的遥操数据，我就可以 map 到机器人身上。

【嘉宾】它是个新范式，值得去探索。而且你看得见，这个探索完了以后，它带来的结果是我们更想要的。不管是它的没有那么多的hallucination，然后它有个变，不是黑盒。然后同时我还看到，它并不是个拼底力的事，不是都是玩相扑，然后要无数多的卡，然后投无数多的钱去弄数据。而且也比今天搞大模型的同学们，真的是花了那么大的精力，就是脏活累活弄去创造数据这个维度上，我听起来呢，就是王教授他们本身是要怎么把今天的数据有点像，如果今天的数据是原油，那你如何把它变成汽油、航空煤油，它用在这个领域里面变得更高效，而不是拿个原油能点着了能做活用就完，对吧？那要提升这个能量的转化率。那在这个维度上，反而它就可以让它的那个死重，就是这种卡的钱、数据的钱，能够变得更绿色环保，然后我觉得反而更多可以用在人才上和这个探索上。

【嘉宾】而且其实我觉得在某个阶段，当一个范式已经确立之后，年轻人就没机会在人家确立的范式上搞东西了。本质上就是赶紧加入一个新范式去折腾折腾，你还有可能在那儿开宗立派。所以我觉得年轻的researcher应该现在，我就特别，就刚才我也，我很统一地说，就是这时候你去OpenAI，那你肯定就是觉得今天去可能还能分点股权什么，但如果你想去创造一些新的东西，我觉得还是要在非共识方向上敢于参与，也下注，把自己的那个最活力的时候投在那个东西上，我觉得还是蛮有意义的。所以这点我觉得也替王教授看看，有优秀的人才可以跟王教授去交流。

【嘉宾】我们会，

【嘉宾】应该怎么期待？一定是，我们内部有非常清晰的里程碑。比如说，我先只说一些大的里程碑啊，当然我们内部在各个层面，算法、模型、系统层面都推进得非常快。我们预期在明年初，可以在机器人操作任务上做到GPT的3.0时刻，就是它在各种操作任务上可以有比较好的泛化性能，然后有非常高的成功率，以及可以做一些长程任务。预期在明年下半年，明年的晚些时候，我们可以结合机器人的locomotion和manipulation，让它在一个非常开放的环境里，既可以走动又可以操作任务，可以达到GPT的3.5时刻。更进一步地，我们机器人可以在这些开放的环境当中去自由探索，因为我们在开放环境里不可能教会它所有的事情，也不可能让它见过所有的环境，所以在开放环境的时候，我的机器人通过强化学习的方式自己去学习、自己去探索，我怎么样完成这样一个全新的、没有见过的任务。或者大家可以叫另外一个学术名词，就是终身学习。

【张鹏】这两个就会让人很期待了，因为过去我们是没有见到有这样能力的机器人，所以本质上就像刚才说的这种持续学习的能力，那未来我可以想象，这个机器人，虽然我看过他扫地或者帮我打扫卫生、擦玻璃的视频，但是那是在你的空间里。如果把他放到我们公司的办公室里，让他跑两天，他已经把我这儿处理得很好，而这就意味着他其实是可以迁移泛化的，然后他可以自主地去完成这件事，而这件事又源于通用大模型在里面起作用，才能让他达成这一点。所以......

【嘉宾】是的，是的。我觉得核心大家就是一定要找准方向，到底是我们应该往哪个方向努力，这样就让我们努力可以变得更有价值。

【嘉宾】拜拜！