149. 亲历中美neo labs资本狂潮，和清华刘子鸣聊：AI for AI、机制可解释性和Max Tegmark

【刘子明】好的，对，首先感谢小珺的邀请。然后我是刘子明，现在我是清华大学人工智能学院的助理教授。同时我们节目录制也是在上海期智研究院，也是在上海期智研究院担任建制PI。同时也是参与到了创业当中来，然后在圆环智能担任首席科学家。然后我之前的经历，本科是在北大物理学院读的本科，然后后面去了MIT，接着是做AI和物理的交叉。之后短暂的在斯坦福做了半年的这个脑科学加AI。然后我博士的导师比较有名，是这个Max Tegmark，他是从2012年就开始去宣传这个AI4Physics，然后包括2012年底2013年初，他也是最早的宣传Mechanistic Interpretability，就是这个机制可解释性。这个最近也是唐杰老师说，政府要投资百亿的这样的一个方向，也是Anthropic在做的方向，这个我们是2012年底2013年初就开始布局这样的一个事情。

【刘子明】我觉得很多，包括姚顺宇，我觉得很多做物理的人都会有这样的一个经历。就一开始做物理是觉得物理它是一个很美的、挑战就是非常困难的一个事情，所以就被物理学科所吸引。但是后面慢慢的就感觉这好像不是The party is over，这个也是高瓴里面经常说的一句话，就是说盛宴已过，就是感觉给年前留下的那些问题其实没有那么多了。但是AI它是一个相反是一个给我们这些小的有非常多机会的领域。然后我大概是具体来说我是大二那会儿应该是17年，我就是关注到了GAN网络，Generative Adversarial Network，生成对抗网络，那个时候我就觉得这个东西特别对我的兴奋点，而且它好像在数学上也没有那么难，它做的东西就非常的fancy。然后那个时候正好被理论物理和实验物理双重毒打，那个时候就不知道自己要做什么，因为理论物理又非常的困难，也比不过姚顺宇，也就是我们一直以来的一个偶像，因为在本科期间他就发了两篇PRL的论文。

【刘子明】他比我大一级，我还在清华，我还在清华，对。所以一直听说他的传说。然后实验物理那边我也在想，那我理论做不行，那我去做做实验，然后发现实验做起来就更差。

【嘉宾】就有点像，我不知道奥本海默，还有杨振宁，好吧，我少在这里给自己贴金了。我感觉到我进了实验室，只会把这个事情变得更加的混乱。我其实也参加过一些实验物理的一些科研，比如说之前做过一个磁流体，结果搞得满手和满脸都是。然后后来我就觉得，哦，那我好像也不太适合做实验。所以那个时候就是比较沮丧嘛，就感觉理论物理跟实验物理都不是我所擅长的。那接下来我要干什么？然后正好那个时候就看到了干网络这样的一个东西，我就觉得哦，那这个东西非常中我的兴奋点，那我要开始做它。对，但可能一开始还是比较谨慎一点，就是觉得我不想轻易地放弃自己的物理的背景。所以一开始我们还是做AI for Physics比较多，一开始这个for physics主要做的是这个高能唯象，就是high energy phenomenology。这个其实和我们现在的一些研究Physics of AI，就是所谓的AI的物理学，这个方法论其实是有挺多相似之处的。它既不是完全的理论，它也不是完全的实验，它是一种唯象，它是一种能够嫁接理论跟实验的这样一种桥梁。AI for Physics的本体就是你服务对象是physics，但是你Physics of AI的服务对象是AI，服务对象是AI，对是的。这个也是后面为什么从17年做到22年，我做的都是AI for Physics。其实那个时候我们就已经开始在谈AI科学家、AI物理学家这样的一些概念。但是也是到了22年的这个时间点，就是ChatGPT出来了，我是觉得物理里面没有那么多像ChatGPT像那么sexy的东西可以值得去做。所以我就把这个AI跟物理的这个角色给它换了一个位置，就不再是这个AI for Physics，而是Physics for AI，更具体的就是Physics of AI，这个AI的物理学。就是我要用这种物理学的方法论，用物理学的这种思想，去帮助我们更好地去理解AI和设计AI。

【嘉宾】对，本科就开始做AI，就是我的第一个项目就是拿干网络去做高能物理里面的一个任务。但是和很多人一样，第一个项目就是很显然是不成功的。但是就是在这个过程中，我自学了很多AI的东西，然后在这个过程中慢慢的就觉得，就还是学习AI能够给我带来的这种愉悦感，给我带来的这种成就感，是比物理要多很多的。所以我就学着学着学着，我就慢慢的就是，就是说我基本上所有的时间都投在AI上面了。

【嘉宾】我本科毕业的时候状态那个时候，我是发表了三篇就是AI for Physics的文章，有两篇是就是和高能物理相关的，然后还有一篇是可能算是Physics for AI吧，就是我们用量子里的一些想法去设计了一个更好的一个改进的一个东西，一个Sampler，一个优化器。所以那个时候的状态我觉得还是偏物理这边的，包括后面去申请这个博士MIT，对，现在也是物理的这个项目。

【嘉宾】他是喜欢我的研究方向，然后他也跟我说就是他看我的个人网站也觉得非常的厉害。因为我当时就是在我个人网站上面画了一个类似于八卦图一样的东西，我会去画我的research interest，就是我的这些研究兴趣他们是怎么样相互关联的。然后他就觉得说其实和他的思维模式非常像。就是Max也是一个思维有点发散的一个人，就是你跟他聊可能聊一个小时，会涉及到比如说5到10个topic。因为他是经济学的本科，然后后面他才是去做了物理。后来在2012年的时候他就开始说AI for Physics，这个是一个非常非常早期、非常非常超前的一个做法。我觉得都是因为他这个人的兴趣点也是非常的广泛，然后他能够看到不同事物之间的联系。这个他是比较典型的这种所谓的鸟人，就是Freeman Dyson他会把科学家分成这种鸟人和蛙人。鸟人就是说简单来说就是每个领域都懂一点，然后他能够看到不同领域之间的结构性相似，因此他们能够把一个领域的一些方法给搬到另一个领域。鸟人的好处就是说他能够鸟瞰整片领域，然后他能够去集中精力，他主要的时间是花在去找到一些更high level的、更高层级的一些比较和抽象上。但是蛙人另一方面就是说他们会把一个领域做得非常的精细，就是研究得非常深刻。那在这点上我跟Max其实都是非常典型的鸟人。

【嘉宾】我P人比较像，你说的这种鸟人，对。

【嘉宾】对，Max是ENTP。然后我其实也是P，有点不分了吧。就是因为我感觉很多事情不管是研究还是生活，其实很多事情不是自己所能控制的，所以渐渐的也变得更P了一些吧。

【嘉宾】其实中间换过几次方向。就是在22年之前还是AI for Physics，做这个AI物理学家。然后22年底ChatGPT出来，然后Max说OK我们要换方向，我们从现在开始要来做机制可解释性。为什么呢？因为大语言模型太危险了，那我们要保证它的安全，我们就需要理解它，它内部到底是怎么工作的。所以这个大概是23年、24年就是这两年，我们主要是围绕机制可解释性。By the way，可解释性其实是我自己的一个side project，就是一开始Max还不同意我做这个项目，但是后面我大概做了两周。

【嘉宾】做出了一点初步的成果，然后他说这个东西还有一点意思，那你就接着去干吧。为什么他开始不同意？这个就是你说的就是一个很有影响力的看的网络，看的网络，这个也是一个呼应，就是我是因为干入的这个AI，然后我们后来二四年又提了这个看的网络，对。就是他为什么一开始不同意呢？他就甩了我一篇1989年的一篇论文，是那个Tomaso Poggio写的。Tomaso Poggio也是我们MIT的一个很有名的那个教授，然后今年应该是90岁了。然后他在89年的时候，就写这个，这两位苏联科学家、数学家，Kolmogorov跟Arnold两个人提出的这个数学定理，他没有办法被变成真的算法。然后他们当时的一个说法就是说，他们就是找到了一个最坏的情况，在这个最坏的情况里面，他们是没有办法找到这种严格的两层光滑的这种Kolmogorov-Arnold的表征。这个听起来很抽象，反正就是前面加了一系列这个限制性的条件。但是我就是感觉作为物理出身的人，可能有的时候并不那么care，并不那么关心这个最坏的情况是什么样的。我们关心的是一般的情况，我们关心的是他能不能在某些场景有用，他能在某些场景有用，那他就是一个好的一个东西。

【嘉宾】对，这个可能跟另一个想法就是all models are wrong, but some are useful，所有的模型都是错的，但是有些模型它是有用的。所以也就是这种想法。对，我就在想，那你数学上告诉我这个东西最坏情况不work，但是物理上，我们关心的东西都是有很漂亮的结构的，那这些东西其实它不是最坏的情况。就是我们人能生活在的这个宇宙里面，我们这个宇宙就不是最坏的宇宙，我们就一定是一个还不错的宇宙，我们才能够演化出生命出来，我们才能够在这里问这个问题，我们到底是不是在这个最坏的宇宙里面。所以说就是基于这个，就是因为这样的一个乐观的心态，让我暂时的忽视掉了Max这个警告，就是说1989那边就是说这个东西不work。我就是花了两周的时间把这个原型给做出来了，然后我去找Max说，你看，我把这个网络给训练出来了。

【嘉宾】但是Max呢，一开始还是不是很满意。他就说，但是我并不知道你这个网络这个内部到底发生了什么，你还是造了一个黑盒子出来。这个也是这个机制可解，还是这个黑盒子。Max就说，那你能不能想一下去把这个网络给它做一个可视化。然后我就大概花了一周的时间。By the way那个时候我还是一个不相信coding agent的人，当然那个时候coding agent确实也还没有现在这么厉害，所以那个时候这些代码还是一行一行手搓的，所以那个可视化还是花了我一周的时间，但现在可能一个小时就够了，对。就我花了一周的时间。

【嘉宾】把那个可视化给做好了，然后把这个可视化做好了之后，Max说，因为Max是一个超级的视觉动物，其实我也是，就是我一定要看到一个东西，我才会相信他。我如果不看到一个东西，我就总觉得很难受，就是我脑子里有个图像，我没办法把它倒出来，我就会很难受。对，所以说我把这个看着这个结构图画出来之后，Max就被说服了，他说这个东西太有趣了，我们居然能够看到这个网络他的脑子里面到底在想什么，而不仅仅是说他最后端到端他的这个预测是什么。对，所以这个是通过这个方式就说服了Max，然后后面其实就是一个很正常的R&D的工作。对，但是确实早期我觉得还是蛮有意思的一段经历吧。

【嘉宾】对，我觉得这个也是我一直以来的一个执念吧，就是我会觉得AI和物理这两个学科的哲学差得太远了。就是AI的哲学，至少我们现在的AI，它是一种基于连接主义的，它是一种神经的东西，但是物理它是一种基于符号的东西。那我就会觉得两个东西不统一就很不好，这个可能也是来自于受过物理训练之后，会有一种冲动想要去系统化，想要去做统一的这样的一种冲动。所以呢，我其实很早，大概从2021年，我就在思考这个问题，就是我怎么样构建一个网络，它同时是一个网络，它同时又是一个符号公式。这个其实有点像波粒二象性，就是我们量子物理中说的一个粒子，它既是粒子，它同时又是波。那我能不能构造一个网络，它同时是一个神经网络，同时它又是一个符号公式。然后就是基于这个探索，我就写出了这样的一个方程出来。其实我是事后我才知道，大概过了几天我才知道，我写出来的这个方程，1957年柯尔莫哥洛夫和Arnold写出来的那个方程。但是我是从另一个角度，我是从神经网络和符号公式波粒二象性的这样的一个角度，我写出来这个公式。然后我后来之后才知道这个东西1957年的两个数学家就已经写出来了，而且他们证明了这个东西是有这种万能逼近定理，就是相当于给我们的这个模型有了这个理论的背书，就是这样的一个表征，它能够表示任意的函数。那这样一来，

【嘉宾】这个对，就相当于把我一直以来的那个执念给它close掉。对，在看之后你的探索是怎么延续下去的呢？后面跟这个工作还有关系吗？

【嘉宾】对，就是看对我来说它更像是一个例子。一个什么样的例子呢？就是我人通过拍脑袋，我能够去设计出一个新的架构。我觉得我这个人思维模式有的时候有点偏抽象吧，或者有点偏high level。就是看成功之后，我想的不是说怎么样把看去应用到不同的场景，而是说我在想我怎么样复现，我能提出新架构这个事情。对，所以这也是导致了我后面Physics of AI，就是对AI的物理学的探索。我觉得设计模型本身应该是一门科学，它不应该是像我们现在这样，Transformer拍脑袋拍出来的，GAN拍脑袋拍出来的，ResNet拍脑袋拍出来的，GAN拍脑袋拍出来的。那这个就非常的不scalable，就是我觉得我们不应该scale，就是compute，就是data，我们应该scale AI模型的设计，但是这个东西怎么去scale，那这个又是一个巨大的research的问题。所以在看之后其实我觉得它对我来说是一个出发点，就是我会更多的去思考一些Mathesize上面的东西，某种意义上就是我是怎么要思考出来的，然后我想把我的这个思考过程给蒸馏到一个模型当中去。所以就成了我的一新的执念，这个也是我现在参与创业想做的一个事情，就是把我自己或者把这个世界上这种顶尖的AI研究员的这种脑回路给蒸馏到这个模型当中去。甚至不是蒸馏，甚至我觉得能够产生一些比最顶尖的人类科学家和研究员更好的一些东西。

【嘉宾】嗯，这是一个好的问题。对，其实是更加说明了，就是transformer其实在算法上也没有那么厉害，它是中了这个硬件的彩票。就我其实挺同意，就是赛宁，就是之前赛宁和你的采访里面赛宁的一个观点。赛宁就是说大语言模型它是反bitter lesson的，就是大语言模型它能成功，它成功的点在于语言，它成功的点不在模型。就是因为语言是我们人类演化了百万年，相当于自然给我们的一种馈赠，然后我们把这个礼物，把这个馈赠拿过来，然后在上面其实你做什么样的模型，只要这个模型能够把这些馈赠给吃下去。

【嘉宾】那它就是一个好的模型，它可能是transformer，但平清宇宙它可能是另外一个模型，它都是有可能的。其实我们以前已经有了各种各样的变种了，对吧，比如这种linear attention的模型。所以说，对于语言模型来说，我觉得这个地方的架构设计还相对来说没有那么精巧，是因为语言本身是一个已经被压缩得很好的一个模态。但是对于很多其他的模态，比如说像视觉，我觉得这个也是很多现在世界模型公司想要解决的问题，它这些模态并没有被压缩得很好。所以这个时候很重要的一点是，我们怎么样去构建一个可以压缩的模型。这个模型它不仅仅是像transformer一样，我去把所有的知识给记下来，而是它能够去学到抽象的表征。

【嘉宾】这个其实也是人我们最擅长的，因为我们人，这个世界的变量是太多了，但是我们人要，我们的祖先我们要能存活下来，我们需要去理解我们存活最重要的要素是什么。我们最重要的要素是那个地方有个果子，我要把它摘下来，我吃下去，我今天就不会饿死，然后那个地方就是有一只老虎，然后我不能被它发现。就是因为进化的原因，我们不得不去特别擅长识别海量信息中最重要的部分。但是这个恰恰是现在的AI还不具备的这种抽象的能力，对。

【嘉宾】所以这个，我个人是觉得为什么模型设计会变得更加的重要。在后LLM时代，我觉得会变得更加的重要，是因为LLM的成功不是因为模型，当然我说这话也有点马后炮的意思，就是transformer比如说它这种attention的机制，是能够让信息在上下文方向上很快速地进行传播，这个是像之前的模型像RNN或者LSTM那一代模型所不具备的。那这个确实是它的一个创新点。但是可能只要我找另一个模型，另一个模型它也能够让我们在上下文上面有很高效的这种信息传播，那对于那种模型来说，可能跟transformer是一样好的。就是说，它牛不是因为它叫transformer，它牛是因为它能够在上下文上有比较高效的信息传播，以及ResNet也是，它牛不是因为它叫ResNet，它牛是因为它能在深度方向上有很高效的信息传播，有很高效的这种梯度传播。

【嘉宾】我觉得我其实是有一条很清晰的主线，但这个其实也是我后知后觉，就是有很多人说，我说感觉你东做一下西做一下，然后后面我再慢慢的总结出来，从点连成线。是的，主线说的就是如何去嫁接神经和符号这两个世界。或者更具体一点，就是如何去嫁接AI和物理，或者更一般的自然科学。对，因为我们人所身处的这样的一个宇宙，身处在这样一个自然的一个环境里面，我们是非常擅长这种符号。

【嘉宾】就是说我们不一定能够写示的写出来六段方程，但是我们却非常擅长，就是能够去，比如说我抛弃一个东西，我非常擅长去预测它下一次会出现在什么地方。那这个其实又是神经这一部分带给我们的一个能力，对。所以我整体的研究是想要去嫁接AI和科学这两支。AI for science说的就是说，现在的science它太symbolic了，我想用neural的东西去补足symbolic的东西。这是AI for science。

【嘉宾】为什么科学是符号主义的？是因为它有很多的方程式，对。我觉得至少物理它是一个非常符号主义的一个东西，那化学生物可能也有不少的这样的一些经验性的东西，然后这个是AI for science。那science of AI呢，就是说我不满意于AI是个黑盒，我不满意于AI它就是一个神经的东西，然后我要用符号的东西，我要用science的东西去描述、去理解、去改进、去设计我的神经的东西，这个是science of AI。所以包括AI for AI，其实我说的AI for AI，其实和大家现在说的AI for AI也有点不是完全一样吧。大家现在说的AI for AI可能是说我拿一个coding agent去写paper，或者说我提升自己的训练的pipeline，这个就还是说从神经到神经，就没有避换进我的symbolic的部分。所以我的AI for AI，我是想用自动化的方式去做AI的物理学，就是用AI来辅助我们更快地去理解AI本身，然后这个事情最后又能够避换到不仅仅是理解，而是去提升AI。

【嘉宾】对，这个地方我觉得有点取决于你的belief，就是我的belief是AI，它是一个半物理、半生物的这样一个东西。那物理它是一个，我觉得可以这么来讲，就是用Ilias Skaver说过的一句话，intelligence is compression，或者反过来，compression is intelligence。就是我觉得符号是一种极致压缩的体现，就是当我们能够把一个东西符号化，这个东西意味着我们能够对眼前的数据做极致的压缩。那这个其实是像物理学这样的场景，我们是有这样的一个luxury，就是我们是能够去给它压缩成符号的。但是可能对于像化学或者生物，或者一些更社会科学，可能我们确实没有办法把它给符号化。

【嘉宾】所以我觉得这个也是我认知的一种演化吧。就是比如说你如果在去年问我，这个AI的物理学怎么做，我觉得它最后一定是符号化的。但是我做的越来越多了之后，我会意识到可能我做一个预测器出来就好了。就是说因为物理最后的目的也是预测，我不一定非得用一个符号的理论去做预测。那现在我都做了一个预测器了，但这个预测器其实可以是一个神经的东西，它可以就是一个neural network，它可以不一定是符号的，只要它能够有用，只要它能够在某些场景预测的还不错。

【嘉宾】但只不过符号的东西

【嘉宾】我觉得还是我个人的一个执念吧，就是因为符号的东西它更可解释一点。符号其实是把它从一个经验科学变成理论科学的过程。是的，而且这个地方符号其实它也是有不同的level，它也是有不同的层级的。这个我特别喜欢举的一个例子就是说，对应到天文学，天文学是有三个阶段的。第一个阶段是第谷，他这个人去大量的观测，他会去记录什么星星在什么时候在什么地方，这是第一个阶段，这是一个数据的阶段。然后第二个阶段是开普勒，开普勒他会去拟合这个行星的这个轨迹，然后他会发现行星的轨迹是椭圆，然后这个时候就已经有了这个经验公式。然后第三个阶段再是牛顿的阶段，就是牛顿，他会去把开普勒的这些经验公式拿过来，开普勒的这个三大定律拿过来。他说你这三大定律仍然不本质，你还需要三个定律，我给你写个引力公式，我可以把你三个定律我全部给你预测。所以这就是一个典型的一个压缩的过程，就是在第谷时代，你需要把整个数据表给记录下来，还是非常低效。但是你到了开普勒时代，你一个椭圆方程，然后再加上一些开普勒三大定律，就可以把这些数据很好的归纳进来。然后再到牛顿时代，牛顿时代说你开普勒仍然麻烦了，我可以给你压缩得更小，我可以给你把这个东西压缩得更小。对，那对应到现在，AI其实我们大体上，就看我们怎么衡量了，有的时候会说我们现在是处于第1.5个阶段。什么意思呢？就是我们其实有了大量的实验，但是我们的经验规律其实还不是很多。就比如说像Scaling Law，其实是我们为数不多的知道的几个经验规律，它跟开普勒定律的这个地位是类似的。我们现在还远远没有到AI的牛顿这个状态。对，当然有的时候我又会说，我们其实更悲观一点，我们可能现在是0.5。就为什么这么说呢？因为第谷它好歹来说，它把望远镜对着了星空，它会去测各个星区的星星在什么地方。但是我们现在过度的聚焦在，过早地收敛在比如说像Transformer这种类型的架构上。我们似乎已经失去了探索其他类型架构的这样一个Motivation。所以就有点像是第谷，它就盯着一片星区，然后过分地沉浸于这片星区，哇，这片星区实在是太美妙了，然后就忽视掉了对其他星区的一些观察。所以从这个意义上来说，我们现在可能，可能连第谷时代都还没到，可能连大数据的时代都没到。就是说我们这个数据，它是只针对Transformer，只针对很少的架构，就是模型有效的。我们还远远没有到能够看到整片星空的这样的一个阶段。

【嘉宾】对，我觉得MIT和Stanford还是挺不一样的两所学校。在MIT大家还是比较学术，比较偏保守一点。就比如说14年那会在MIT，大家就是我的同学吧，都觉得玩群那些人搞的agents都是在骗钱。

【嘉宾】对，所以说一直到可能就是25年5月那个时候拿了清华的offer，我的mindset都还是说我要在学术界，然后做出更有影响力的工作，我不要跟你们工业界那些人同流合污。对，但是现在看来那个时候就太那意义了，或者太理想化了，或者用比较流行的话就是说还没有脱下孔乙己的长衫。所以MIT的人的信仰是什么？MIT的信仰就是比如说用5年的时间就能写出AI的物理学，有了AI的物理学之后，我们会发现现在我们投入这么多资源完全就是在浪费，因为我们可以从低信源里去推导出最优的架构是什么样子的。所以你也可以理解我为什么那个时候特别看不上工业界，因为我觉得你们就是有钱，对吧。

【嘉宾】是的，对。但是我现在创业，我觉得参与到创业当中来，我是有一个比较interesting的一个立场，我是比工业界的那些人都更，某种意义上更学究，或者说更理性一点。也不能说他们不理智，而是说他们看到了一个可行的路径就快速地推，我觉得也是可以理解的。但是就是从学术的角度，会比他们更理性一点。但是我又比学术的那些老学究们更疯狂一点。

【嘉宾】对，我说在中间。然后我的疯狂使得老学究们就会觉得可能AI的物理学就是需要做几百年，就是需要慢慢地做。但是我现在意识到了，可能如果还是靠我们古法科研……我这个怎么弄出来，我不是凭空出来的，对吧？因为物理学从亚里士多德时代到现在就是2000年，对吧，从牛顿到现在400年。那我们现在到没到亚里士多德时代，我其实也不确定，就是对于AI的物理学来说。对，当然在MIT的时候那个时候我是特别乐观，乐观的意思就是说，我相信在学术界靠几个聪明的脑子，我们就可以把AI的物理学写下来，然后就可以save the world，或者kill the world，我不知道。对，但就是不需要那么多的试错，我们就可以把这个模型就是给它设计出来，给它训练出来。

【嘉宾】这个是做什么实验？这个实验就是AI的实验。对，但是慢慢的后面，我觉得一方面是我们在AI的物理学这条路径上面走起来发现没有那么的顺利。

【嘉宾】也没有绝望吧，是我仍然相信它最终是能够做成的。但是我是会觉得这个时间线不是我在有生之年可以看到。就是如果我们不是用AI for physics of AI的办法，而是用古法科研去理解physics of AI，最多我说我找十个学生，就是我找一百个学生，但是我仍然觉得这个不是特别scalable的一个方向。对，所以这个也是我现在参与到创业中要做的，是要去scale insight。就是因为我觉得AI的物理学追求的是understanding and insight，对，当然有了understanding和insight之后，最后还是会必然会影响到它告诉我们……

【嘉宾】应该怎么去提升模型，但是第一步是understanding and insight，就是我们不能够跳过这一步直接到提升模型。当然你能直接提升模型那是最好的，但是现状是可能你想一百个想法，可能有一个想法somewhat work。但是如果我们不跳过中间的步骤，我们先有了understanding and insight，它能够更快的帮助我们去更好的设计模型。

【嘉宾】我在Stanford其实只待了六个月。对，但是我觉得对我来说像开智了一样。对，我觉得也不想就是说哪边更好吧，但确实Stanford，就是我身边有很多人都在创业。就是有一个是，我一个很要好的朋友叫高文浩，对，他在湾区那边现在也在创业，做的是AFO chemistry。他跟我一开始也都是在MIT去读博士的，所以我们一开始我们的话风还挺相近的，就都是瞧不起创业瞧不起大厂。但是去了Stanford之后，我们是同时开始做博后的，然后他就在那边，大家两周就跟我说，子明我要创业了。我们之前是每周吃饭，每周吃饭，我们就是聊的学术，聊的什么。然后他开始创业之后，他就开始教我，这个创业应该怎么创业。

【嘉宾】我觉得主要还是，就是你特别相信你的peer，就尤其是你觉得跟你风格很像的peer，当你看到和你风格很像的peer，他做出一些改变，他做出一些你之前觉得很危险，你之前觉得你做不到的事情的时候，你就会去想，是不是我不够激进，是不是我太在舒适区里面。这个是一个。然后另一个也是，我在Stanford待着那个组里面，我在Stanford博士后我做的是Neuroscience加AI，老板也是特别有名的这个Andreas Tolias，他也是全球做Neuroscience Foundation Model最顶尖的几个人之一。我虽然只有六个月，但是湾区的这个节奏确实非常快。就是我刚去的前两个月，他们那个Startup可能还在秘密的筹划吧，也是个Neurolab，算是Neurolab，但是他们更偏Neuroscience一些。他们是希望能够从Neuroscience一些Principles来去解决AI Foundation Model的问题，就更像Neuroscience for AI。对，神经科学，就比如说猴或者说老鼠，他们脑子里面的一些表征能不能够用来去约束我Artificial Neural Network这种人工神经网络中的这些表征。然后人脑子中的一些结构能不能用来去约束这个人工神经网络中的一些结构，等等等等，大概做这样的一个事情。然后我也是，就目睹他们从筹划到最后announced的这样的一个过程，然后基本上我就对我来说也是一种教育。基本上我刚去的时候，他们可能在开始筹划。

【嘉宾】然后当我离开之前的一个月，他们就announced了。对，我觉得对我触动也是挺大的，就是因为我觉得Andreas他也是一个特别pure scientist的一个人，然后我是目睹了他也是从pure scientist往entrepreneur转变。对，然后当时我跟他说我有创业的想法的时候，他也说那你就带我们公司好了，反正我们公司也想做AI scientist，也想做AI for AI。对，但是后来想一下还是觉得就有点气人一下的感情。为什么？这我觉得我们的路线也不太一样，就是我们approach AI for AI的路线也不太一样。就是我还是希望能够至少早期的科研、R&D这方面按照我的意愿、按照我的想法去推。后面这个东西怎么去做产品、怎么去商业化，我也open，但是得是你的这个方案，得是一个原生的想法。是的，他这个技术，他的这个想法得是我原生的想法。对，这个可能也是学术学院的人会有一种控制欲，会有一种很强的，就是说这个想法得是我原生，这个想法得是我提出来了。当然，这个也还是我现在的想法，或许我过段时间之后会发现这个也是一种唱衰。

【嘉宾】其实答案很简单，他跟我说答案很简单，就是因为他们要做大量的这种老鼠跟猴子的实验。那这些实验它是真的需要去用到很贵的仪器，所以他在公司做的事情其实跟在学校做的事情是差不多的，只不过就是说公司那边会更多的去思考就是这个东西要怎么去商业化。当然他说的是他们的投资人跟他们说三年之内你们不用考虑商业化，这三年你就安安心心的做R&D。因为确实你做这些猴子的实验，你确实这个东西急不得，你去拆解出去你就是需要人去养猴子，这个周期你是避免不了的。

【嘉宾】大量资金背后的本质可能是什么呢？我觉得这个地方就是一个人才选择的问题，就是对于顶尖的人才，你的选择无外乎就那么几个，要么在学界，当然现在AI其实在学界的人其实觉得做研究在业界会快一些，你要么就去大厂、模型厂，可能做一个大头兵，那你要么你就自己出来单干。我觉得这个也是，就是能有这么多新的New Lab，也是现在的这个范式逐渐收敛的一个过程。就是现在的人才他不太希望去大厂里面就当大头兵。

【嘉宾】我觉得他不一定是Transformer，他不一定是一个新的架构。我觉得他可能是一种新的范式。就像我们刚刚聊到的，就是其实现在AI，不管你是Transformer还是什么架构，它最大的一个问题是没有办法做抽象。所以他就只能够说，要么你喂给他的数据就已经足够的抽象了，比如说像语言；要么你就是给他抽象的数据，强迫让他涌现出抽象，像VLA，像世界模型，其实就是这个样子。但是so far结果不是很行，因为抽象实在是太差了。对，对于视觉来说，这个抽象实在是太难涌现了。

【嘉宾】我觉得当然肯定会有，但是我想说的是它这个时间周期的问题。

【嘉宾】我觉得是，对于一些方向还是需要一些research，它并不是完全已经路线清晰的事情。就比如说我们这里在做的research，就是Agentic research这个事情，它不是一个路线已经完全清晰，甚至说在非常早期的这样的一个事情。当然了，就是说coding其实已经非常成功了，就Agentic coding也非常成功了，那下一个范式自然而然的就是Agentic research。但是我是认为research和coding有很大的不同，就是coding它是一个高度结构化的，这是第一点。第二点是它是有大量的数据的，就是我们已经有了GitHub。

【嘉宾】上面的这些数据是远比互联网上其他的部分要更高质量的、结构化更强得多的。但是对于research来说，research它不是一个被结构化很好的这样的一个数据结构。就是我们现在还大量的在说我们需要研究的直觉，我们需要研究的这个品位，就是当我们说这些词的时候，其实就默认了研究它不是一个可以很好被结构化的东西。就是一旦当一个东西可以被结构化、可以被标准化、可以被规模化，大家就应该会对这个东西去美，但是我们现在还没对research去美，说明它还没有被结构化、被标准化、被规模化。

【嘉宾】我们要做的就是我刚刚说的三步。第一步是首先要结构化research，因为我们有的时候我们自己做research好像是乱的，我们脑子里是乱的，就是我这里崩一下，那里崩一下，那这些数据其实是没有被沉淀下来的。未来我们要沉淀下来的这个关于research的结构，就比如说我们先观测到了一个什么东西，观测到了一个什么现象，这个现象预示着这个系统里面可能有什么样的问题，然后关于这个问题我有什么样的一个假设，然后这个假设告诉我们下一步我们应该去做什么样的一些操作，然后我下一步做的这样一个操作是不是真的能够对我带来训练的提升，就是这样的一个闭环。这个是我们应该最近会release的一个博客，就是我们会讲我们的这一套方法论，以及它的一些初步的一些结果。

【嘉宾】那我们的这一套方法论缩写叫做OPHI，就是OPHIS。这个O就是observation，P就是problem，H它是hypothesis，I是intervention，S是speedup。就是说我们认为所有的research paper都应该按照这种结构去对它进行结构化。然后我在做科研的过程中，当然它所有的科研不会是说那么顺利地我这样的一个思维链就下来了，我可能是在不同的节点当中来回地去跳，但没关系，但是所有的东西至少我们要对它结构化成它是O，它是P，它是H，它是S。

【嘉宾】然后有了这样的一些结构化的东西之后，我们相当于创造了一门研究的语言。当然这个说的有点玄虚，就是我是认为研究的语言它大体上是基于自然语言的，但是它背后的结构是需要我们自己去做抽象、自己创造出这样的一个结构的语言。那一旦我们有了这个research的语言之后，我们就可以像训大语模型一样，我们训一个research language的一个language model。那那个时候，这个research它就能够被自动化，能够被规模化。但是首先第一步是我们要结构化这个research。

【嘉宾】我觉得New Lab也是找到了现在主流范式的一些痛点，然后Auto Research就是其中的一个例子。就是说现在用coding agent的这个范式接着往下去做，其实它会有一些missing part，就像我刚刚说的，它这个结构还没有被structured很好。然后还有一些痛点就比如说世界模型，那世界模型它就是需要设计一些比较新颖的架构，对于这样的一些方向，它也是现在的这个范式所达不到的东西。对，所以简单来说，我觉得New Lab的出现就是因为当前的范式，一个是你不想去当大厂的分包商，第二个就是说当前的范式有一些明显的痛点，就是明显触及不到的地方。而且那些地方有的时候可能需要早期大量的research，而不仅仅是说我上来去怼资源、去怼工程就可以做成的。然后我刚刚觉得两个例子就是说，Auto Research和这个world model，我认为是我能看到的比较重要的、现在的当前范式不能立马解决的问题。但说Auto Research或者说AFO AI，其实都在讲一个事，就是我们要训练一个AI Researcher，把它训练成一个AI Researcher，能够自主地去做研究。然后世界模型的本质实在说，他要给机器人训练个脑子，它其实是for Robotics那个赛道的。这也是当下所谓的New Lab融资、资本涌入最活跃的两个方向。

【嘉宾】对，我是3月份回的国，然后大概是4月底入资的清华，然后5月底开始参与融资。这个过程我的体感是就太疯狂了。怎么说呢，我觉得像世界模型，当然更大的还是AFO Science，我觉得很多投资人会把我们去画在AFO Science下面，然后按照AFO Science去聊。但反正不管是AFO Science还是世界模型还是这个AFO AI，我觉得都是一样的。一级市场是一个非常fomo的一个状态，就是因为AFO AI最后它for的还是一个要for的东西，可以是AFO AI。

【嘉宾】可以for的是Science，但是我们现在还没有定。

【嘉宾】有多formal？

【嘉宾】就是我觉得AI for Research这个事情是需要比较多、然后高质量、高智商、就是高人才密度的这样的一个。对，因为我就去观察，因为我在MIT其实也带过二三十个本科生，第一个是其实平均水平是远不如清北的本科生。那我要做的这个事情，我是要带小天才的，就是我们这个事情是需要小天才加入的，对，然后我需要很多的小天才。那就回到，就加入清华吧，也不叫回到，因为我之前是北大的，就加入清华，然后顺便也能从北大那里薅些学生过来，那就相当于能聚集，我觉得不是全国，而是全世界最聪明的学生。

【嘉宾】就是现在我在清华研究院，我带了十几个学生，就是跟我在清华研究院这边就都是，我觉得是非常非常顶级的学生。

【嘉宾】我的理解，我基于他们最近发布了一篇博客，他们博客就是显示了他们第一步的一些努力。我感觉他们做的更多的还是说偏coding agent的改进，就是我的理解是，coding agent的这个路线更像是说把做一个更勤奋的AI，就是我有超强的行动力，我可以不停地在这里迭代。但是我们这里想做的AI是一个更聪明的AI。比如说我提三次想法，你们有一个就work了；之前的话你的coding agent可能是你提100个想法，它只有一个能work。对，当然最终这个勤奋跟聪明都是需要的，所以我觉得……

【嘉宾】我们是两个正交的方向。最终我们会在某一个地方去对两个approach进行一个整合，因为他们也聊过对吧？

【嘉宾】对，我跟田云东也聊过。当然田云东其实他本人是挺支持Science of AI，所以这个我其实说实话也有一些危机感，就是如果说他们的路线最后会变得和我比较相似，那就一定是田云东做的。对，因为我跟田云东，就是关于Science of AI，以及就是说之前他做的那个grokking的研究，我们之前也有研究嘛。所以我们taste其实还是非常相近的。但是之前的话怎么说呢，我觉得还是不完全一样，所以我还是想按照我一直想象的这个东西去推这个事情。

【嘉宾】我觉得最近AI for AI的想法诞生于我把自己当成一个模型去做训练，这个是我从今年年初开始做的一个事情。就是我每天会随机地拉一个数据集过来，随机地拉一个模型过来进行训练。然后我会在我做实验之前，我去问自己，现在你来预测这个训练曲线会长成什么样子。我就日复一日地做，我大概做了60天，就是我每天做。然后你如果去看我个人网站上面，我个人网站上面是有个博客专栏的，然后你会发现我早期时跟得非常频繁，我每天都跟，甚至有的时候一天两篇，就是因为我在那段时间里面，我基本上只是闭关，然后把自己当成一个模型在做训练。就是我今天做了一个实验之后，我就去训练我的大脑这个场景，然后我把这个模型、这个数据集、这个优化器，它会产生这样的训练曲线，然后我做这样的一个训练。

【嘉宾】我发现我一开始预测能力非常差，我可能趋势都预测不对。但是我自己训练自己，大概训练了四五十天之后，我发现我开始变准了，就是我在做实验之前，我大概能预测它这个实验的结果是什么样的。甚至可能有的时候，我前几天做的是Language相关的实验，我今天做的是个Vision相关的实验，我也能给它预测准。

【嘉宾】我不知道，我只是训练我的脑子。我现在还没有办法把我脑子里的东西给它写成自然语言，它可能是一种视觉的概念，然后可能还有一些可能在潜空间有些概念。但我其实也说不清楚这些潜空间的概念是什么。但三号我自己突然获得了这种可以预测的能力，我在做实验之前我就能够部分地去预测这个实验的结果是什么。然后就是因为这样的一个在自我身上、在自己身上的人体实验。

【嘉宾】让我相信存在的元模型这个东西，By the way，元模型就是说我的输入是一个模型，以及可能还有些其他的，数据集是什么，优化器是什么，然后输出就是这个模型的训练曲线。所以我在今年年初两个月时间里面，基本上就是把我自己当成一个元模型在训练。训练到四五十天的时候，我突然grok，我突然懂了。然后是因为这样的一个，近似于苦行僧似的一种修行，让我意识到元模型是可能的。

【嘉宾】我觉得Motivation还是AI的物理学。就是说如果我能够去预测清楚接下来会发生什么，那相当于我脑子里其实是有一个世界模型，其实是有一个关于AI的世界模型，或者关于AI的物理学。因为物理学就是说，我拿来我的物理理论，我不用去做实验，我就能够通过simulation，通过计算，我就可以预测出来之后会发生什么。对，所以相当于是一种先知的能力，就是你只要能够预演之后会发生什么，你就一定是掌握了某种世界模型。

【嘉宾】但是呢，这个问题就是说，我没有办法把我的这种Grok写下来，因为so far，我的这些知识都还是以某种脑电波的形式存储在我的脑子里。那我下一步很自然的，我就要想，我要把这个东西外化，就是我要把自己给拷贝一份。我要做一个元模型，它能够取代我。就是因为我每天最多就做一个实验，把一个实验做得非常的仔细，这是人的bandwidth，这是人的带宽，最多做这个，最多做两个吧。但是一个模型，它其实可以一个batch，你就可以并行几千组东西。对，这个还是回到我之前说的，如果我日复一日把我自己当成元模型去训练，我可能要训练一千年，可能需要训练几千年。但是我活不了那么久，所以我要去加速这个过程。我要去做一个元模型，这个元模型它不像我一样需要睡觉，它不像我一样需要吃喝、会有情绪，它的任务就是去看各种各样的实验，然后去预测他们的结果。然后在我自己的人体实验上面，我发现四五十次就基本上能开始有Grok的迹象。那对于元模型来说，当然可能元模型没有我那么就是抽象能力那么强，所以它可能需要四五百次。但是可能无所谓，可能这个地方多消耗一点算力资源无所谓。所以这里想法主要还是说我想把自己给外化，我想把自己的脑子给外化。

【嘉宾】我觉得元模型是实现AGI的一条技术路径吧。一旦你有了元模型，它可以做很多事情，比如说你现在有100个想法，你不知道该是哪一个。

【嘉宾】那么元模型说的是，你把架构作为元模型的输入，这个元模型就能够预测这个模型它的性能是什么样子的。那么你现在就不需要做100次实验，你就只需要用元模型全跑100次，做100次预测，那这个是非常便宜的一个事情。当然最后我们还是要真的去做这个实验，但就是对于筛选想法这个事情，就是一个元模型能够帮助迭代的这个AI for AI的迭代的系统，更快的去迭代想法。就之前你如果没有这种好的直觉，你如果没有元模型做辅助，你可能需要比如说100个想法，你需要都尝试。但是现在的话，这个元模型它能够给你在你事前就去做一个排序，就能告诉你哪个想法比其他的想法是更promising的。然后这个地方的想法更多的还是说做AI的research，所以是一个AI for AI的一个东西。我觉得AI for AI可能有的时候有点buzz words，有的时候我也会管它叫做Auto Research，但是因为这个地方我们Auto的research是AI的research，然后我们这个地方的Auto也是用AI去做这个Auto，所以Auto Research它其实也就是一个AI for AI的概念。

【嘉宾】对，我们是预测next curve，我们的实验结果就是一个训练的曲线。

【嘉宾】对，我们会先从Demo做起，因为这个事情我觉得是一个3到5年比较长期的一个事情。对于我们元模型来说，我们的数据是模型，这个地方有点绕，因为我们这个元模型，它是一种关于模型的模型，或者说关于模型的世界模型，所以我们这个地方的训练数据是模型。所以我们是要训练这些模型，拿到这个模型的训练曲线，这样我们就获得了我们的一个data point。然后我们再生成另一个模型，而另一个模型它会有一条对应的训练曲线。然后有了这样的一个pair之后，模型和训练曲线的pair之后，我们去训练这个元模型，就是用这个监督的方式，就是我的输入是这个模型的时候，这个模型应该预测它的训练曲线，对，用这种监督的方式去训练我们的这个元模型。它贵的点，就是说我们也是需要挺多的计算资源的，但它不像大模型一样需要一个很大的集群，需要卡之间communication做得很好。因为我们这个地方，我们是要做大量的这种小模型，但是这个地方的我们小模型，不是说就是transformer的小模型，而是我们强调的是多样性，我们强调的是要让这个元模型见过很多，人看起来非常奇怪的架构，但或许就是这个架构，能够帮助我们去跳脱出这个transformer现在的这个local minimum。

【嘉宾】目标是发现下一个模型结构，这个是一个终极目标吧。最终我们是希望下一个transformer，不是人发现的，不是人拍脑来发现的，而是说通过我们这个元模型，这个元模型给我们预测出来的。

【嘉宾】对，中间目标还是就是我们刚刚聊到的去结构化research，然后去收集这种结构化的数据，然后训练一个我们自己的research的这个模型。

【嘉宾】元模型一个是一个模型。

【嘉宾】你需要去引入结构。但是当长期当你数据特别多的时候，你就不需要结构了。对。所以说我觉得在短期，因为研究的结构化数据还是偏少的，对，这种情况下我们需要去引入结构到我们的整个框架当中来。所以这个是短期，我觉得比较偏、更务实的一个事情。但是长期这个原模型它是个端到端的东西。我觉得这么说或许有点像，我们现在是要做一个世界模型，就是短期、中短期是要做一个世界模型，长期是要做一个VLA。我觉得可能有点和这个趋势反过来了，但是我觉得可能不重要。重要的是我们最重要做成VLA，至于中间的路径是什么，我觉得这个就看着办呗，就是边探索着边往前去拱吧。为什么短期是World Model，中间是VLA？World Model in the sense就是它有更多的结构，然后VLA in the sense就是它更端到端，对。

【嘉宾】是的，我可以这么说。可能1%的AI论文其实结构化做得不错。这个例子就是朱泽园，他们做Physics of LLMs，这个Physics of LLMs就是结构化比较好的。就是说我关注到了什么事情，我决定做下一件事情，它的这个做实验的所谓的chain of thought，就这个reasoning chain，推理链是非常清晰的。但是可能99%的paper吧，它可能就不会包含这么清晰的研究的思维链在里面。我感觉在很长的一段时间里面，大家把展现思维链当做一种耻辱。为什么？你要显示你很厉害，你就要让别人觉得不可捉摸，对，我直接把这个公式写下来，就是说这是我梦到的，这不是我推出来的，这是我梦到的，那这样别人觉得你最牛。然后当然我写paper，我觉得也是受那个Max Tegmark的影响。就是我们写paper，一个是很平铺直叙，第二个是也会把思维链写进来，但是毕竟这种会包含思维链的文章

【嘉宾】虽然不多，但它也不少，因为本来论文的技术量挺大的。第二方面是说我们会收集我们自己的一些数据。就我之前去讨论project的时候，会经常有一种感觉，就是我们的思维链其实并没有被很好的记录下来，而正是这些数据是我们做auto research所需要的。那之所以现在auto research还做得不好，其实可能跟架构、跟这个路线没有太多的关系，其实就是这个数据现在还没有保留下来。对，那我们第一步是首先我们要构造一个device，或者说一个software，这个是我们最近在做的一个东西，就是它能够更好的去采集我们整个思维链，采集的就是说话，比如开会讨论，这个是思维链。最后要做的这么智能，现在还就是说我在做下一个实验之前，我必须要强迫你去写一段话，去评价你之前干了什么，然后你得出什么结论，你才能进入下一个实验。是一个很流程化的系统，目前来说还是个偏流程化的系统。

【嘉宾】我觉得这个地方分几种，一种就是说paper是有大量的，但它质量不一定高；然后人的话就是说，这个是我下手的，因为我们还在构建这个采集系统，就我们还没开始采。但是我预计，比如说我一天采10条，20个学生加员工，可能每个人每天也能采10条，这一天就能采200条，然后两个月就能采1万条。我觉得就是差不多可能开始够用了，就是可以开始训练这个模型来蒸馏我们自己。

【嘉宾】它不是原模型，原模型是一个特别终极，我们可以把它当成一个北极星一样的目标。这个模型它就是去预测我的下一个动作是什么。就是我们这个数据收集器，其实它不仅是个收集器，它也是个环境。就相当于是我是在类似于一个我的世界科研版，我可以在我的世界里面做各种各样的操作，记录下来我的这些操作。之后会有一个next action prediction，就是它就会预测，如果是子民，就比如说我学生目前做了这些动作，然后卡在这个地方，它就可以调用子民model，如果是子民现在做，他会怎么去做，他就能够不需要我在场，就能够获得我的这个同样水平的这种反馈。但这样的话就是需要去训练一个子民model，然后每个人都要训一个model。

【嘉宾】或者说把所有人的东西混成一个model，就是要训那个model。对，当然这个也是我们在探索过程中不断的在pivot。因为就是一旦开始做一个事情之后，其实想法以及这个路线每周都在改，甚至每天都在改，甚至每个小时都在改。就只要你迭代了足够快，就比如说这个采访如果是上周发生的，我就不会讲这一趴，因为这一趴是我们这一周在迭代的事情。如果你下周在采访，可能我们这个东西就已经做出来，就已经开始收书，就已经开始有些初步的结果。

【嘉宾】还包括现在的模型公司，他们也会说自己在做AI for AI，或者说他们觉得就是AI能训练AI的时候，会是一个比较标志性的时刻。就是现在主流的绝大多数人做的还是说基于现有的coding agent。我不觉得说我的路线跟他们是矛盾的或者怎么样，我觉得是互补的。可能如果细分的话，可能有些人更偏就是说找到下一个架构。就比如说我的梦想是说用AI能找到下一个架构。我相对来说不那么care生产paper，因为我在博士期间我就是个paper machine，然后我也知道这些paper写出来其实真正有价值的可能就那么几个点。对，但是写paper也是有它的价值，但只不过就是paper是一个，我觉得是一个研究的一个副产物。第一性原理，就是研究的第一性原理是拓展自己的知识图谱，paper只不过是说当我的知识图谱足够大的时候，我一出了，就是我的脑子里装不下那么多东西，我必须要把它写出来，我必须要把它和我的同事去进行分享，不然我变不住。就是我觉得我很多时候写paper并不是说我真的需要一个paper毕业或者怎么样，我真的需要一个paper干嘛，而说它在我的脑子里，我就想把它给扔出来，我就想把它给dump出来。所以是有一些AI for AI的公司，他们会像是paper agent，但这个就不太是我们的目标。我们的目标还是说积累尽可能多的这个AI的物理学的insight，这些insight它不一定是paper，当然我们想也能写成paper，但就是说这些insight它能形成这个AI的物理学的知识库，能够帮助我们在未来系统和科学地帮助我们去设计更好的模型架构，这个是我们的目的。

【嘉宾】我是喜欢从我们所居住的这个宇宙角度来思考很多的问题，这是你尝试来解释AI。

【嘉宾】是的。在空间上看得更细，指的就是说我不仅仅是关注这个模型端到端的行为，我也会去关心它这个模型内部的某些神经元，然后它的内部表征会有什么样的一些特性。这个是空间上看得更细，就有点像是我们去做解剖，我们不仅仅是去看表面上是怎么样的，我们也去看它内部，它的这个工作方式、工作模式是什么样子的。这个是第一个，就是在空间上看得更细。在时间上看得更细呢，这个就是说我不仅仅只关心这个模型它最后一个时刻它的表现、它的这种性质，我也关心它是怎么样演化来的。这个其实在生物上面有一个对应，叫做“nothing in biology makes sense except in the light of evolution”，它说的就是如果你不从进化的角度来理解生物，其实在生物里面没有东西是可以理解的，就是是make sense的。也是黑盒，也是黑盒，就是因为生物也是黑盒，但是你从演化的角度来说，你至少能有一些理解吧。

【嘉宾】对。第三个呢，这个平行宇宙，我为什么这么叫吧，我觉得还是因为我的博士导师Max Tegmark，他是平行宇宙理论提出者之一。当然这个地方平行宇宙说得很玄学，其实就是控制实验。什么意思呢？就比如说我有两个培养皿，都有些细菌，然后这些细菌可能在不同的环境里面。那对于一个培养皿里面的细菌，它就觉得另一个培养皿那就是一个平行宇宙。这个对应到我们人的科学上面做实验，那其实就是去做一些控制实验。在一个环境里面我能训练出来这样的模型，这个环境可能指的就是比如说我的超参数该怎么调，调成了另一个超参数，我就能得到性质不一样的模型。这个其实是朱泽元他的Physics of LLM（我觉得你们很重要的一种方法论），就是他会去扫一个相图出来，就是Phase Diagram。这个相图其实也是物理学中比较常见的一个概念，相图说的就是物质它可能有不同的形态，它在不同的状态下可能有不同的相。同样的物质都是H2O，都是水，但它可能不同的压强、不同的温度，它可能就有不同的相。这个AI里面也是有很多的相的，不管是训练动力学还是什么，这个AI里面也是有非常多的相的。那我们很多时候会有一些know how，就是说什么trick它work了，什么trick不work，其实很多时候是针对这个相而言的，就是只有当你的实验是在这个相里面的时候，它才是work的。

【嘉宾】当它出了这个象，当它进入了别的象，它这个trick可能就不work了，那可能另一个trick才work。但我们现在之所以很混乱，是因为所有的人都在说我的trick work，但是没有人回答我的trick在什么时候work，我的模型、我的系统在什么象里面才work。所以这个其实也是science of AI或者physics of AI想要解决的问题。因为我们知道no free lunch theorem告诉我们，没有一个模型、没有一个trick能够在所有的数据、在所有的任务上都比其他的方法更好。physics of AI的任务就是去理清楚每一个trick、每个架构它的适用条件是什么，这个才是一种做科学的态度，不是说做出来一个东西就在那里去卖我们这个东西好，但是全然忽视掉了可能它好是有一些适用条件的。

【嘉宾】是的。就是我会比较警惕可解释性这个词，因为可解释性现在就是不同的人可能有不同的诠释吧。我们认为物理其实就是在解释我们的这个自然世界，那么是的，就是我在做可解释性，physics of AI是在做可解释性。但是我们的这个可解释要解释到什么程度？我们不一定要像Anthropic一样解释到neural level。当然我们其实二三年底、二四年初，其实做了大量的这种工作，去解释神经网络背后是在做什么算法，去理解一些neuron。我们自己意识到这样的一些故事其实有的时候没有那么robust，就是你可能换一个随机数种子，它这个故事就完全不对了。或者说我们解释的有点过于微观了，好处是说它非常的具体，坏处是说它不一定鲁棒。我觉得大体来说可以说是可解释性，但不一定就是我们要非得做到像Anthropic那种机制可解释性的那种level。

【嘉宾】我觉得这个地方有一个gap，就是说之所以AI能够帮助我们去做一些自然语言相关的事情

【嘉宾】是因为我们已经有大量的自然语言的语料，但是我们才创造AI几十年，我们其实并没有太多关于AI的语料。这个地方可能稍微有点confusing，就是说怎么建模型，这些我们都是知道的。但是关于模型，我们训练一个模型，拿到它的训练曲线，这样的一个映射关系目前还非常不清楚的。所以也就是说，连这样的一个语言，我们现在都还没有把它进行规模化。AI for X它能成功的前提是X得有大量的数据，但是AI for AI，根据我刚刚的逻辑，或者说AI for AI research，其实AI research它其实没有大量的数据，至少没有大量的这种结构化好的、这种高质量的数据。而结构化这个事情本身就需要physics of AI。

【嘉宾】对，这里可能稍微有点绕，而且我需要显式地去说明我的这个想法是挺非主流的。就是用AI for AI，绝大多数的想法是我直接用AI去提升AI就好了，但我说Stop，就中间其实还有一步，我们是先要做physics of AI，这个东西能够帮助我们去设计AI。但是人做physics of AI太慢了，古法科研做physics of AI太慢了，所以我需要用AI来帮助我们做physics of AI。所以我的AI for AI的全程应该是AI for physics of AI。有了AI的物理学，它能帮助我AI。

【嘉宾】这其实就是我一开始问你的，就是连接主义的过程中需要符号主义吗？

【嘉宾】是的。因为物理学相对来说，是更符号主义的。那如果AI能够自进化的话，它需要中间有一个符号主义。短期是需要的，就是这个短期我指的可能是100年以内，那更长期或许不需要。我觉得这个地方还是一个bitter lesson，更长期数据量大了就不需要了。更长期就是当AI research已经被结构化好了，已经有大量的AI research的数据了，就不需要了。但是像刚刚说的，我们现在连这个AI research怎么样最好地去结构化都不知道，就更别谈说这个数据量有多大了。所以在这种情况之下，我们需要很多人的先验，或者说这种symbolic的东西去做约束。

【嘉宾】Agent某种意义上，就是把这个连接主义又往符号主义往回拉了一点。就harness，所谓的harness，就是说你不能太自由了，我要给你一些约束。某种意义上，我觉得coding agent它其实是在说明这个符号主义把连接主义又往符号主义回拉了这样一点。但是我们做的这个autonomy这个事情，我们是希望比较低性的，从偏符号主义。为什么我要讲偏符号主义，或者我之前自己也捏造过一个词，叫做结构主义。

【嘉宾】就是我会认为看它就是一种结构主义。就是我为什么不讲符号主义，是因为太多符号主义的hater，就我一讲我们是符号主义，大家就说没意思，没意思，老古董。但是这个事情，我觉得符号主义跟连接主义，其实在历史上也是不断的在摇摆的。我们需要跳出这一级，对，这一波AI是连接主义非常的厉害，那或许下一波我们又应该是往符号主义回摆一点。其实像我刚刚说的，Anthropic已经是代表了这样的一种趋势。

【嘉宾】Anthropic做的模型的可解释性，他们现在能做到什么程度？Anthropic就是比较极端的、比较激进的，就是说我能理解单个neuron它在干嘛。可能单个neuron它是一个说脏话的neuron，那我把这个neuron给它shut off，那它就不会说脏话了。但像我刚刚说的，这种粒子其实非常的不稳健，就可能你在一个粒子上面找到了有这样的一个neuron，你可能换一个随机数种子，它在那个网络上面可能就没有这样的一个行为。

【嘉宾】Anthropic他们做的一系列工作，包括sparse autoencoder，包括transcoder，其实都是基于这样的想法，就是说我能够把模型内部的那些混合的表征、superposition的一些表征，给它伸到一个高维但是很sparse的东西。这样的话它能够把里面的一些原子的一些概念给它抽取出来。但是这个我个人觉得是有一些wishful thinking在里面的。我仍然很尊重他们，因为我二年底、二三年初我们做机制可解释性，其实也是同样的approach，所以我们知道这个东西里面有什么样的一些水分吧。

【嘉宾】包括他们可解释性team的，像Samuel Marks、Wes Gurnee，然后以及我之前在MIT带的一个本科生，最后都去Anthropic，也是最早从我们组做出来的。就比如Wes Gurnee去Anthropic做的那个怎么做加法、Claude怎么做加法的那个任务，其实也是我们组的一个paper后面的一个延伸。对，所以当我脱下长衫之后，我会觉得这些东西就都是很有趣的故事，但是what's beyond that，这个其实我也一直在思考。

【嘉宾】但是最近我其实又开始重新在思考机制可解释性这个事情，我觉得还是因为到了一个新的AI的这样的一个框架下，我突然又觉得机制可解释性没有那么飘渺了，我觉得这个跟我之前的对于AI的物理学的（思考）……

【嘉宾】判断是类似的，就是机制可解释性，其实有点像Biology of AI，就是AI的生物学。我之前也会觉得生物学我们发展了挺久的，医学我们发展了这么久，那AI的生物学、机制可解释性也是需要发展几百年的呀。Again就是回到了AI for AI的这个框架下来，我觉得之所以需要几百年、需要几千年，是因为我们没有办法自动化，那一旦我们能自动化了，这个进展其实是可以很快的。就是最近看到那个唐杰老师说，要投入万亿级别的资源到机制可解释性上。就如果半年前的我看到，我会觉得这是在干嘛，对，但是现在就是放到了这个AI for AI的这个框架下，我觉得机制可解释性它确实是一个好的目标。但之所以之前我觉得不promise，是因为它实在是太难了。那这个跟AI的物理学是一样的，就它是一个好的目标，但是因为它太难了，所以之前会觉得会很frustrated。但是现在有了这个auto research，就是至少我们在build的吧，就是现在还没有，但是有了这个auto research系统之后，我觉得这些之前看起来非常莫名其妙、非常遥远的、那些北极星的东西，其实是有可能能在三到五年之内达到的。

【嘉宾】我觉得是提出一个——在一个垂直的领域，它都不需要很通用，就是在一个垂直的领域，能够提出一个新的架构出来，不仅能够碾压现在已经有了的架构，而且能得到人的这个endorsement，就大家都说它这个架构很精妙。但或许也不需要，好用就行了，对，甚至不需要你看见，对。

【嘉宾】AI for AI的系统能在一个垂直的领域提出一个新的架构出来，然后这个新的架构能够去刷榜，而且这个刷榜不是说我就长1%的点，而是我能长到10%的点。

【嘉宾】我觉得这里所有的词汇都有一点模糊，我觉得是necessary的，但是还不是充分的。我会觉得还缺一个东西，就是我们刚刚那些是一直在聊的，就是对数据去做抽象。因为我觉得抽象很重要，因为人是有持续学习能力的，然后人有持续学习的能力是因为人会做抽象，但是现在的AI仍然不会做抽象。如果说它能做抽象，最多是因为我们的数据本身已经被抽象好了，比如说像自然语言。所以我会觉得就是要达到真正的AGI，除了AI for AI，还需要有一个做抽象的能力，然后做抽象的能力是做持续学习的能力的一个必要的能力。

【嘉宾】就取决于我们对AI for AI的定义，是说它需不需要具有持续学习的能力。就因为听起来你这个AI的智点带了，它足了才又讲，它就上天了。就是说我说需要持续学习的能力，可能是我对AI for AI的定义可能更务实一点，就是说它能够在一个垂直的领域，它能提出一个好的价格出来。为了达到这个目标，其实不需要解决持续学习的能力，但是要解决AGI，它是一定要解决持续学习的能力的。再有一种说法也是说，就是大模型的第一幕是Chatbot，第二幕是Coding Agent，第三幕就是AI for AI。所以说其实AI for AI可能也就是在这些模型公司的这些延长线上的。

【嘉宾】我觉得就是不同的东西。就是因为我的思路是从Physics of AI来的，然后这个思路其实在学术界其实也是非常先进的，相对来说比较早期的一个东西。但是我比就是学术界的那些人，就更加激进，就是我是相信AI是可以加速Physics of AI的这个事情的。从模型上的角度来说，是一个过于risky的一个路线，但这恰恰是我们的机会。就是说因为我相信这条路线，而且我们其实有很多小天才在我们的这个组和公司里面，我能把这些问题去做一些拆解，然后拆解完了之后，是这些很好的去把他们给进行完成，我们是有自己的一个非常快速的一个迭代的一个东西。我们在迭代，但是我们的这个东西可能一直到做出我们的GPT-3之前，可能大厂都觉得我们是在胡闹。对，所以我觉得某种意义上是一种基于不同的信仰，我们相信这个事情，我们就会让它发生，大厂绝大多数人，不相信这个事情，那就不会往这个方向投入资源。

【嘉宾】可以这么说，就是我的AI for AI，它就是一种Automated Physics of AI，就是自动化去做Physics of AI。就是我的这个AI for AI，Physics of AI的Physics到底要理解到哪一层，我们是不是真的要写出牛顿定律，就是牛顿公式？我觉得是不一定的，而且这个很可能也是需要几百年的时间。

【嘉宾】我觉得也是说

【嘉宾】在跟投资人交流的过程中，我们逐渐清晰了这个产品最后是什么样子的。因为原模型，不管是原模型还是Physics of AI，说了半天其实都是技术，那它最后这个技术背后的产品，我们最后要做的一个产品，它是一个Training Autopilot。如果说短期点，这是一个Training Autopilot，这个是什么意思呢？就是说我们现在并不是所有人都掌握着训练的能力的，但是未来所有人都可以去训练他自己的私有模型，这个私有模型也不一定是LM，但或许是LM。未来的用户，他只需要和我们的这个系统说，我的需求是什么样子的，然后我们的这个系统它就能够端到端地给你设计模型、训练模型、部署模型，然后交付给你，你就可以直接去用这个模型。很重要的是，这个用户说，我这里就100块钱，你要在这个经费允许的情况下，尽可能地deliver一个好模型。最终这样的一个系统，它要是能够做这样一个端到端的事情。那这个其实和现在的像Cursor、Cloud Code、Vibe Coding其实很像，只不过现在是说，这个对象是程序员，就是我要去做一个什么样的任务，你给我Code出来。但是未来的话，它会是一个更闭环的东西，我都不需要告诉你这个技术路线怎么去做，我不告诉你你要用Transformer，我不告诉你你要怎么去训练，我只告诉你我的需求，然后我就能够端到端地去给你去设计、训练、部署这个模型。其实也有投资人会问，大家为什么要训练自己的模型。

【嘉宾】是的，是的，人人都可以训练模型，然后能干什么。对，那这个地方的点就是说，现在大家不会训练自己的模型，是因为它的门槛还太高了。那之后有了能力之后，我们把性价比弄得足够高之后，其实大家都会有这个需求。就比如说我买了一个机械狗，让它来陪伴我，那可能我就是需要把我的一些数据，把我的一些语音的数据。

【嘉宾】把我的一些跟它对话的数据给存下来，帮助去训练，不管是微调还是怎么样，去训练这个机器狗，让这个机器狗能够让我更开心。比如说它不是只天天在那里汪汪汪地叫，它还能说些话来安慰我。那这样的一个事情，现在不会有人说为了做这样一个东西，我要自己去学怎么去训练东西。当然了，现在可能会有一些创业公司可能会做类似的想法。但是未来我们想的就是说，有了这个系统，我们不是自己做一家OpenAI，它是能够孵化各行各业、各个垂直领域的OpenAI。当我说垂直领域的时候，我已经是谈论的比Language更高一个层级了，就是说我们的这个原模型，当然它也不一定是原模型吧，就是说最终的这个终极的系统，它能够去设计出各个垂直领域的这种Transformer，就是可以这么讲。就如同是LM，它统一了LRP自然语言处理的各种任务一样。那我们现在造不同的模型，还是不同的任务，造世界模型的人造世界模型，造LM的人造LM，造一个Everything Science模型的人造Everything Science的模型，但是这些领域现在大体上还是不互通的。但是未来，有这样的一个vibe training的一个东西，现在还是vibe coding，未来会是vibe training，vibe training，未来会是vibe training，就是你把你的需求说清楚，它就能够给你端到端地去设计、训练、部署这个模型。那有了这个能力之后，好吧，我实话实说，我也没有想太清楚，就是有了这样的一个，就是每个用户可训的模型，能有什么样的需求。但是很多时候是这样的，技术便宜到一定程度的时候，有些需求它自然会涌现，只不过我们现在还没有到这个时间点，好像很难去想象这个事情。

【嘉宾】对，不仅人人可用，人人可训。当然我们需不需要人人可训，现在是一个大问号。

【嘉宾】我需要这么多聪明的脑子在我身边，或提供情绪价值，提供情绪价值，或提供智慧。我觉得是这样的，我觉得是这个聪明的脑子，它能produce一些东西，它能够生产出一些东西，这些东西它能够提供情绪价值。事实上聪明的脑子很多时候会让你很恼火，我觉得。

【嘉宾】如果我们能deliver那个vibe training autopilot，那就相当于是平权了，所有人都能够去训自己的模型。但是这个地方的问题还是需要钱，你现在训一个大模型都这么的贵，你要人人可训。我觉得这个地方也是当physics of AI理清了之后，训练的成本也是会下来，因为我们现在不是最优的一个recipe，很有可能还有很大的优化空间吧。

【嘉宾】好呀好呀。其实AI for AI在国内还是一个相对来说比较新鲜的概念，我觉得还挺有意思的。我从5月份开始去融资，融资几天发现Recursive to announce，然后国内就开始火起来了。目前来说其实还没有那么逐流，当然孙天翔是很早他们就开始在做了，然后最近去百度做大的模型。

【嘉宾】他们之前做的像Fires那个系统，就也是自动生产paper的一个系统，就是一个paper agent。我们AI院还有另外一位老师叫陈永超，他最近也是在做这个AI for AI，他的路线就也是更偏早期的路线，至少现在的路线更像是paper agent，能让AI自己去写AI research的一些文章。RSI那边我们其实也无从得知吧，但是从他们的博客你们能够窥到一些技术路线，我们大概猜测他们会强调这个auto research系统需要维持一个比较好的memory，就比如说，我昨天做了五次实验。

【嘉宾】我都是在调这个学习率，然后五次实验我全部失败了。那么我今天就会记住我昨天做过这些实验，那我今天就不会接着去调学习率。但是Again，就是说维持一个好的memory系统，但是你不理解他背后为什么学习率会失败，你之前的经验也不一定是对的。就是可能你之前学习率失败是因为A原因，但可能我第二天做实验的时候，我这个时候其实是B原因，所以这个时候调学习率可能反而是对的。

【嘉宾】是的，就是我们要强行地强迫自己把思维链写下来。

【嘉宾】一定是有的，如果没有的话，就是你问自己问得不够深。因为我自己的经验是这样的，就是我一开始也挺相信研究品味、研究直觉这回事。我其实现在对这个事情，我觉得研究品味、研究直觉其实是一个遮羞布。就是说因为我们有聪明到可以提出一个想法，但没有聪明到可以用语言说出我是怎么提出这个想法的，所以我们就把顿悟这个事情给它说成是所谓的品味，所谓的直觉，所谓的灵光一现。还有句话叫善战者无赫赫之功，就是说最牛逼的人，他提想法对他来说跟呼吸一样简单，他能够把别人觉得"这个太神奇了，他是怎么想到的"这些事情系统变成他的系统。而那些不是最顶级的人，他们也能提出一些很好的想法，但是他们可能并不知道自己是提出怎么提出这个想法的。我其实一直在有意识地训练自己，就是我不仅是要提出好的想法，我还要去追问我是怎么提出好的想法的，然后在这个过程中，其实是尝试把我的想法语言化。其实这个事情对我来说非常难，因为我不是一个

【嘉宾】烂语言沟通特别顺畅的一个人。我的思维模式可能更偏，就是Max Tegmark，就是我博士的老板，我们都是非常偏视觉的。偏视觉的意思就是说，我们会在脑子里面会有一个图像，我会特别想把它画出来，但是我美术又不行，所以这个就很尴尬。对，所以有的时候我只能够通过，我真的把这个东西做出来，把这东西展现在你的眼前，这个是我沟通的方式。所以我是觉得，思维链这个东西一定是或多或少先被说出来。

【嘉宾】当然还有一条路径，当我们的脑科学发展都足够完善了，以及我们没有一些道德的问题，就比如说我们去检测一个人的脑电波，我们可以用一些侵入式的方式去检测脑电波，或者我们有些更高级的方法不用侵入式，我们也能够检测到比较清晰的脑电波信号。到了那个时间点，我不需要用语言，我直接去测这个人的脑电波就行了。但是这个时候我需要这个人的脑电波，但是因为现在我们没有办法去检测这个人的脑电波，我们只能够去考问这个人，或者考问我们自己，就是我刚刚到底是怎么想出这个想法的。你如果说不出来，说明你还没有考问得太深。你只要考问得足够深，你总能说出点什么，但它不一定完全可以取代脑电波的价值，但是至少它能说出点什么。

【嘉宾】当天还是不行。

【嘉宾】我们这个六个月之内还是测试R&D，就是去做一些demo，然后以及就是说做一些产品的雏形。六个月之后，根据我们这六个月的一些成果，去决定这个之后到底要怎么去做。肯定是在一年这个时间节点肯定是会开始去产品化跟商业化的。但是比如六到十二个月这个我觉得，六到十二个月的R&D对于一个new lab来说是非常重要的，不能过早地去投入到一个其实不是那么好的一个方向，只是为了短期能够去交差，短期能够去做商业化，需要六到十二个月的探索，去找到一个更好的方向。

【嘉宾】它之所以我们起了一个新的名字给它，就是因为它既不是lab，也不是公司。它就是应该像我说的，你六到十二个月去按照一个lab的形式，按照一个research institute的方式去运转，一旦grok，一旦顿悟了，这个事情就应该按照公司的方式去运转，就是前OpenAI时代和后OpenAI时代的感受。

【嘉宾】现金流肯定是，我们会也是持续会募资的。我个人是觉得现在的路线已经相对来说比较清晰了，六到十二个月我觉得是能够画上一个逗号，然后开始去做产品。如果说你一年前问我这个事情，我可能觉得我们需要做三到五年的research and development。我觉得也是，我在不断的思考，我自己意识到这个原模型的可行性之后，我说我要快速的推进这个事情了。那像之前我确实也是挺犹豫的吧，就是因为我没有找到一条清晰的路线。

【嘉宾】我觉得auto research是最接近的。但是我觉得我们得创造一个新的词汇，专门给我们的路线起个名字。但是我们so far还没有太思考这方面的问题，我觉得未来是需要，就比如像你学这个东西，就是我们自己起的名字嘛。因为现在所有new labs，都是他说他形容他在做一个什么事情，那创业者和投资人脑子里就不是一回事。

【嘉宾】是的。

【嘉宾】已经，我觉得对于大语言模型，它收敛已经比较清晰了。但是新的机会是来自于，其实我们一开始也聊到，就是关于世界模型，然后关于auto research，这两条赛道我认为还处于相当早期。大语言模型可能辐射不到，但辐射不到的原因

【嘉宾】我觉得我也不是说Transformer hater，我觉得更多的还是说，Model那边其实我觉得更像是说，要找到一个更全新的架构，它能够更好地去抽象和找到这个物理世界真正的latent space。Auto research这边，我觉得更多的还是说，大语言模型没见过这种数据。所以第一步是首先要去结构化，然后第二步是去搜集这种结构化的research数据，这个是最重要的。那有了这些数据，其实大模型也能吃，其实它做的可能也不赖。当然了，这个原模型的路径，它是一种关于模型的模型。大模型也是因为没有见过关于模型的这种数据，没有见过太多关于模型的这种结构化数据，所以大模型也做不好。

【嘉宾】节奏非常快。

【嘉宾】基本上就是除了睡觉都是在工作吧。对，但是我觉得也是一种挺新的体验吧。一方面是你有了更多的资源，你认识了更多的人，你好像就是突然接触到了一个更大的世界。但另一方面，技术上的事情、研究上的事情，你还是得踏踏实实地去做，是一个不小的挑战吧。因为之前的话，就是说踏踏实实地做研究，但是现在的话，不仅是做当下的研究，你还要和很多的人去做交流。而且你还要去想，不仅去想当下的事情，你还要去想几年之后的事情，根据几年之后的目标去倒推，那我们这个路径到底该怎么去走。所以这个我觉得有点out of my distribution的东西，也是我在学习的事情。

【嘉宾】我都要，就是我现在都是我都要的状态。如果非要选一个，我觉得这个再看吧，做做看，做做看，对。

【嘉宾】对，我觉得还是取决于做的事情，它是一个是否需要早期去研究驱动的。就像auto research跟world model，我觉得至少需要六到十二个月研究驱动的时间，那这个时间是不能够被跳过的。那至于比如说六到十二个月之后，当我把我脑子里的这个东西给它弄出来，比如说弄成一个雏形，摆在眼前，然后之后比如说再引入一些有产品经验、有商业化经验的联合创始人进来，帮助去把这个东西的影响力打出来，而不仅仅是一个小而美的东西。但是我觉得还是需要，就是说六到十二个月的时间。

【嘉宾】是首先把这个原型打出来，所以理想状态是六到十二个月，这个研究探索的成果及某个产品，是的，对。

【嘉宾】只要有江河的地方，我都挺喜欢的，包括武汉，包括上海这边，就是在这个黄浦江边上。在MIT，就是在波士顿那边，就是查尔斯河，我喜欢美食，就去河边走走。

【嘉宾】人类简史吧。就是我其实就一直都比较nerd，就是不是很懂这些social science的事情。然后我有的时候会觉得这个事情明明不合理，但是为什么大家都相信这个事情。然后读了人类简史之后就知道，我们的这个社会其实就是故事驱动的，所以叙事非常重要，不仅仅是技术重要，这个背后的叙事也是非常重要。

【嘉宾】这个太常规的就不说，就比如说像Scaling Law这些文章。我觉得对我个人影响来说最大的就是GAN这篇文章了吧。因为它相当于是为我打开了这个AI设计的大门。

【嘉宾】可能就是我们刚刚一直讲的，就是AI for coding，下一个会是AI for research，但是是需要用AI for art的方式去做。