E242｜最快半年AI跑通自进化？与陈天桥首席科学家聊聊硅谷模型必争之地

【嘉宾】说不担心肯定是假的，但是即使我担心，我其实还是乐观的吧。

【嘉宾】你好！

【嘉宾】你好！

【嘉宾】我感觉从训练的角度来看，其实是同一个能力在提高，其实都是推理的能力，长链推理的能力，还有就是在环境中进行一些探索，执行一些动作，获得了这个信号之后，再进行下一步的探索。不管是在deep research，还是coding这些环境下，其实它的内核都是一样的，只是它的方向有一些细微的区别。我们说的自我进化这个概念，其实并不是一个新的概念了。我就不说远的，在八九十年代，关于AI和Machine Learning的自我进化，我就光说Language Model的自我进化，其实往前推的话，也可以推到大概三年前左右。那个时候Google就有一篇论文，叫做LM as an Optimizer，就是说用语言模型当做一个优化器，可以优化不同的东西。当时我在AutoGPT那边，也有我的同事，有出一个类似的概念，叫做Agent Optimizer，就是说，智能助手可以自己进化，自己优化自己。只不过这两年的话，大家发现模型的能力越来越强了，它可以自我优化的东西，越来越多了，就比如说Anthropic有八成的代码，是可以自己写的。训练模型呢，不管是从哪个角度来说，从合成数据的生成，自然语言数据的清理，还是自我训练学习的代码算法，以及Infra底层代码，其实它都是一种代码的形式。一旦模型写代码的能力变强了，用它来进行自我提升、训练自己，

【嘉宾】其实是非常自然的一件事情。所以我并不觉得突然今年大家发现，我们要自我学习，自我进化，让模型自己训练自己。其实早在两三年前，大家已经开始慢慢的做这件事情了。

【嘉宾】对，我最开始是在微软研究院那边做多智能体的合作。当然那个时候我们不叫做自我进化，因为那个时候智能体都是一个比较新的概念，所以大家一般对外说都是说智能体。但是实际上我同事的一些工作，就已经开始进行一些自我进化。当时我们叫做agent optimizer和teachable agent，智能体可以教智能体，下一次在做类似的事情的时候，可以复用了一些技能。和现在的我们说的skills这个概念有点像，但那个时候大家用的概念还是说，比如说context management，或者是prompt engineering，就是上下文管理，以及prompt engineering，就是工程学者们修改这个prompt。后来我去了Meta和xAI，在xAI的时候，我们就已经开始关注智能体RL，agentic RL，就是通过强化学习来加强智能体的一些能力，比如说用工具的能力，写代码的能力，当时还有个概念叫做MCP tools，当然现在也非常火，用MCP工具的这些能力。所以我们其实在早期，Simon和我大概一年前左右就发现了，其实模型提高自己是非常可行的一件事情。包括我们当时做的一些强化学习的数据生成，其实有很大一部分是代码写的。到今年年初的时候，Anthropic发表了关于auto research，就自己进行科研的一个项目，突然一下这个概念就爆火了。

【嘉宾】对了，这是一个非常好的问题。其实自我进化，如果大家想象成是一个圆环的话，比如说模型自己找问题，自己出题，自己解答，然后自己训练自己。那SI里面的这个R就代表是recursive，就有点像垂直的递归式慢慢慢慢向上增长。这一点确实是跟以往的一些自进化有点点不一样。当然这个idea也不是新的，今年跟往年的最大的区别，就是在于模型的能力变强了。比如说Anthropic发表的论文，或者说发表的blog，有提到80%的代码是他们写的，然后他们可以做人类大概一天左右时间做的事情。这个能力上来之后，因为它是可以完成非常长程的任务，所以在一个长程的任务里面，这个模型可以提高自己好几遍。不像过往的，比如说我们说LLM as an optimizer，或者是agent optimizer的时候，这个LLM只会一次可能优化自己大概两三个小时。因为你优化太久了，它可能因为自己的bias，或者自己的能力不足，就很难继续往下迭代。因为它可能会犯一个小错误，然后那个小错误会自我积累，越积累越大，到之后就没有办法进行自我的迭代。而今年为什么这个recursive R出来了，因为大家发现，这个模型可以进行很长程的任务，所以它可以让这个模型自己recursive多提高几遍。

【嘉宾】对，是的。当然这个业界各家都有不同的说法，但是好像大家比较接受的判断是，这个模型能做的事情对于人类时间来说，每7个月会翻一倍。

【嘉宾】对，是的，我说的长程任务是这个意思。当然不同的人对长程的定义也有一点不一样，但是大体方向大家都同意这一点，就是模型可以自己在人类不监督的情况下，可以工作很长。像您刚刚说的对于播客文件处理，就比如说这个模型可以先剪切一下这个音频，然后自己听一遍，发现哪里剪的不对，然后重新剪，这样可以循环几次，然后就可以进行到下一个点。这种任务可能平时对一个人类来说，可能要花二十个小时或者三十个小时可以做完。在这个时候，如果我们的模型可以在人类不监督的情况下，把这个任务完成的话，那我觉得它就完成了这个长程的任务。

【嘉宾】这里就有非常多的技术细节。首先就是在模型的架构上，可能就要进行一些创新。比如说传统的self attention，其实是一个own square，就是我们在算法里说的是一个polynomial time的算法，所以当我们的tokens比较多的时候，特别是在100万个上下文的时候，其实模型首先就是在推理的时候，就会花非常多的resource。这个我们有很多现成的解法，就比如说gdn，gdnv2，dipsyker，v4pro，它也有自己的一套架构。第二就是训练数据，我们要100万上下文inference support，其实不是特别的难，就是我们只要把模型训练好了，放到sgline或者vllm里面给它参数都设置好，它可以支持100万上下文，甚至更多的上下文。但是如果你的模型没有在这种非常长的数据下进行训练的话，那它可能就是我们所谓的out of distribution。因为100万上下文是非常非常长的一个概念，就大概哈里波特好几部书放在一起，而我们的代码，即使是最大的repo也很难会saturate，来满足这100万的上下文。所以在预训练和后训练的数据处理上，也是非常大的一个挑战。第三点就是infra也是一个难度，不仅是说在testing time的infra，而且是在训练时候的infra。因为你要如果让这个语言模型就直接输出100万的token的话，我们需要就比如说在GPU上做一些什么样的优化，在kernel上改一些什么样的代码，这些也是非常困难的事情。所以这个就是为何训练这种长程任务，相对于普通任务会是指数级的难度增长。

【嘉宾】还有就是真想解决长程问题的话，可能从agent的架构上也可以有很多可以做的。因为即使是我们有100万的上下文可以处理，但是真正长程的任务可能还是不止100万，那这个时候我们还是需要比如说，在有限的上下文里处理甚至无限的上下文，那怎么做呢？还是需要一些比如说agent的技术啊，记忆的技术啊等等，去处理这种超长程任务所涉及的超长上下文这样的问题。

【嘉宾】对，我基本上同意这个看法。

【嘉宾】我觉得它会变成大部分模型的标配底座，但并不是所有模型的，就比如说聊天型的模型可能不太需要写代码的能力。当然了，聊天型的小模型可能也是冲过一个大模型进行蒸馏的，所以它后面这个大模型需要非常大的比如说reasoning推理能力，需要自我进化，所以能自我进化来蒸馏到小模型里面。所以它背后的这些大模型，肯定还是需要高度优化写代码的能力的。

【嘉宾】是的，没错。因为coding其实写代码不仅是写代码本身，而且可以通过写代码训练自己。另外的话，它在coding里面要进行的归纳演绎，这些逻辑推理的基本的思想和算法，其实也可以帮助模型在其他的一些方向上进行优化和generalize，就是可以泛化到其他不同的领域里。

【嘉宾】我非常同意这个看法，这个现象其实也是我们大家一直有注意到的，AppleDex有一个不一样的地方，

【嘉宾】就是我们比较注重verification，就是自我验证。就是模型自己在训练自己的时候，如果它的验证有任何的飘移或者bias的话，会对结果造成不好的影响，因为它可以累积起来。所以我们在做比如说写代码和做数学计算的这些任务的时候，我们比较容易验证，可以通过跑一套测试代码来确定它有没有对。所以在代码领域相对来说，更好解决这个recursive drift的问题。当然如果对代码领域有了解的一些专家，可能还会发现即使是有test script，即使有这个test code，它其实偶尔还是会发生飘移。就比如说test case，不管是人还是AI在写测试代码的时候，可能偶尔会太宽，偶尔会太窄。太宽的时候可能会让错误的解题代码通过，但如果太紧的话，有时候会惩罚写得对的代码。所以这种情况下也是还会发生细微的递归飘移，但是它会简单很多。

【嘉宾】所以验证这一步，我们有很多套方法，因为不同的领域确实需要不同的验证方法。比如说代码一般来说，你可以用单元测试进行验证，当然你怎么写，有时候会过宽又过窄，这是另一个很难的问题了。数学可以通过证明，然后证明现在有这种formal验证的方法去验证。但不得不说还是有很多的问题，其实是更多依赖于人的一种判断，甚至都并不是一种百分之百正确或不正确。这种时候我们其实是依赖一个agent系统，去做我们现在Apppledge 1.0的验证。我们管这个叫agent team，大概就是说把一个问题最开始会分解，然后我们会有不同的子agent，有的是去解决这个问题，然后我们会有另一个子agent单独地去验证另一个子agent写出来的解法。之所以要分成两个子agent，还是因为上下文的问题，不要让一个agent干所有事情，分成两个agent它其实效果会好很多，这是一个细节吧。

【嘉宾】除此之外呢，还有一些比较重要的技巧吧，我们最好是有一些冗余。同一个问题你让不止一个agent去做，然后我们会得到不止一份答案。其实这个冗余的思想在RLHF里面就有很长的历史了。但我得到不止一个答案之后呢，我们会让一个全局agent去判断一下，哪个agent给的答案更准确一些，这样会比只用一个agent去解一个方面的任务效果好很多。这是从agent的方面，我们有这些设计去做一些验证。那训练的时候，我们也会专门针对验证去训练一些，比如说我们会让agent去判断一下不同信息源搜集的信息，哪些是更靠谱一些，哪些不靠谱一些。比如说一个论坛上的，可能就不如教材上得到关于同样的问题靠谱了。

【嘉宾】另外的话，我们在进行强化学习的时候，我们的裁判也会在训练的过程中一起学习。这样的话可以避免模型学会一些不好的行为，可以避免它进行一些奖励黑客。

【嘉宾】我觉得两个问题都是。首先技术问题肯定是需要有的，因为在自我递归和自我进化的时候，如果它底层的代码，infra或者是训练代码有问题，技术不达标的话，这个是肯定做不成的。另外意愿也是很重要，有一些公司可能还没有意识到自我进化的一些需要强化的点在哪里。

【嘉宾】自我进化这方面其实有很多种，比如说，我就在scaffolding这个脚手架上进行进化，然后有的是在预训练链的各种配方上进行进化，有的是在后训练链，包括搜集数据，以及后训练链的一些配方进行进化。

【嘉宾】如果真的想判断一个公司技术水平，我觉得还是要深入了解看看他们到底是在哪方面。就我们了解的说实话，在脚手架上进化门槛是比较低的，一个原因嘛，确实它的成本比较低，因为你基本只用调API，你就可以自我进化这些hardness这些脚手架了。所以这方面即使开源社区，包括学术界有很多的结果，就我了解的学术界，包括开源社区做的也都不错，当然公司里可能会有更多的资源，但其实这些技巧上可能细节上，其实不用那么多资源，你可以做得很好。但如果深究设计，比如后训练这样自我进化比较难的一些方向，确实你需要很多的资源，跟这些公司交手，可以知道他们比如说是通过什么样的方式，去进行后训练一些进化。然后预训练这方面，现在可能大家看到的都是一些auto research，比如说什么自动去训练Nano GPT，这些确实都是一些比较玩具型的一些任务，因为他们的模型都比较小，然后你可能调一个更好的优化器，更好的超参数等等，这些也是最近的自进化的一些paper，但真正把这个能不能scale到产品级，或真是大模型，其实是需要特别了解的。如果他们光说我是在一个公开的一些auto research，一个benchmark上，我怎么怎么样，其实这个并不是代表什么。

【嘉宾】对，我们其实在自我进化的时候，把它分成了不同的阶段，我们有预训练和后训练阶段。预训练阶段的话，就是在数据的采集，清理上面会进行不同的自我进化的一些方法。在后训练里面自我进化可能更加有效一点，因为我们在一个模型出来了，经过了后训练之后，我们才知道它会有一些什么样的问题。所以我们的后训练自我进化就包括，诊断自己有什么症状，哪里不大好。然后基于自己的诊断，来找不同的训练的配方。第三步，拿到自己训练的数据和配方来自己训练自己，在其中需要verify，就是验证自己每一步做的是否正确，最后回到第一步再诊断自己有什么缺陷。另外在脚手架harness上面，我们也有一些自进化，同时在脚手架和后训练，因为它其实挺难解耦的，所以模型在后训练上进化之后，我们的脚手架也会进行一个新的进化，你可以把它想象成两只不同的脚，左脚会踩一下，然后右脚会踩一下，让这个模型往前跑。

【嘉宾】对的，因为我们公司，其实就是把自我进化，当做是主要的方法论，所以我们在每一个方面，基本上都会用到自我进化的思想。

【嘉宾】对的，这个我稍微补充一下吧，一个是验证能力是非常重要的，然后验证能力，其实一个是写代码这些，你可以去formally去验证。还有很多的时候，是模型本身的，我们管它叫元能力，或者meta能力，包括判断这个答案对不对，分析现在模型的问题，根据模型的一些output。所以这些是一些元的能力，这个是需要特别的训练的。还有一点，我想强调一下是搜索能力，尤其对于后训练是非常重要的，所以后训练绝大部分的方法，就是说你发现你的模型有什么缺点，假设你的模型已经可以判断出来，当前这个模型有什么缺点，那么你需要去针对性的造一些任务，以及对应的答案吧，去提高模型这个能力。这个造任务其实非常依赖于搜索能力，基本上你造任务，还是需要去网上搜索对应的一些，不管是语料，还是代码，或者相关的资料，然后造出对应的题目。所以搜索本身是一个非常重要的能力，这个也是我们为什么最开始先去做Deep Research，因为Deep Research是一个非常general的能力吧。

【嘉宾】其中搜索可能是一个非常本质的能力，因为它就代表了当你模型需要提高那个能力的时候，它可以指导你，或者找到对应的这些数据去提高对应的能力。

【嘉宾】是的，就像我最开始说的吧，尽善尽美你最开始有一个先做Deep Research，然后相当于你可以收集目前已有的信息，以及当前模型的能力，你可以制定一个计划，然后你去写code，去提高自己的模型，然后你得到一些反馈，再做Deep Research，就可以这样recursively的提高。所以Deep Research是一个比较重要的一环。

【嘉宾】因为我们公司也是刚建立嘛，所以我们先开始，从一个开源的模型，就是千问3.5上进行后训练，才得到目前的一个模型。后训练上，我们会有一些原子能力，特别的提高，比如说模型最开始做计划，这个我们会生成特别多的对应的数据，去专门提高模型这样的能力。然后另一个能力就是搜索能力，搜索能力也是我们造了很多对应的题目，针对性的去提高模型的这些能力。还有就是说，跟Agent Team结合，我们去造了一些题目，贝叶斯的交叉优化，这样一种感觉，我们需要Agent Team和数据一起开发，然后达到最后的效果。这是我们主要后训练做的事情吧。当然有了预训练之后，我们这个模型会越来越强，然后预训练我们也是正在开发之中。之后也会从预训练的角度去做Deep Research，包括去训模型。是的，我们公司最后会有一个完整的链路，就是从预训练开始，到最后成品，产品都会有的。

【嘉宾】是的。

【嘉宾】对，这些包括BrowseComp，这是OpenAI的一个benchmark，然后还有Deep Search QA，Frontier Science，这些都是这些Frontier Lab出的benchmark吧。BrowseComp其实在更关注的就是搜索能力，它就搜索特别刁钻的一些问题，比如说我要搜索一本书，它是几几年之前出的，它的首字母是什么字外啊，大概这样的一些问题。这方面我们是搜它。对，搜它就是最高水准的意思，就是比包括闭源模型都要好一些。Frontier Science，更多的是给你一个实际中的科研问题，你能不能制定一个计划，然后一步一步的该怎么做，大概是这样一类的问题。这个它会用一个LLM as a Judge，去判断一下你这个合理不合理。当然，它在原来的benchmark里，有很多具体的判别标准，去看你生成的合理不合理。这两方面，我们都是说深入研究，而且造出了对应的题目吧，去提高我们模型的能力。然后还有一方面，就是我们之前讨论过的Agent Team，整个的范式，包括Verification，这个验证啊，还有最后有一些荣誉，然后如果通过更多的荣誉去判断，得到一个更全局的结果，去做生成一个答案，这整个的系统，是让我们拿到了搜它的水平。

【嘉宾】是的，这还是一个现在尤其搜索类问题的通用问题。因为这个benchmark只要它公开了，那么它的答案就是已知的，你可能直接在GitHub上新生成一个页面，上面把答案放上面，那我新的一个模型直接就可以搜到这个答案，那我就算做对了。但这样并不是真正这个benchmark的目的，这个benchmark的目的还是比如说去考验你一个叫深度搜索的这样的能力。所以我们一般还是会看一下我们自己生成的答案是不是进行了一些作弊的行为。如果有这样作弊的行为，我们会把比如说GitHub屏蔽掉。但有些榜单其实已经污染得比较厉害了，干脆后来也就不报了。

【嘉宾】对，我非常相信这一点。因为这是目前我认为基于self-attention结构的一个本质问题，而且我认为即使你用linear attention这样一些新的结构，应该也解决不了超长上下文这样的问题。上下文越长，attention的注意力它这个效果就越差。所以你单个模型只要在目前的技术方式下，它还是有上限的。当然这个跟人类也很像嘛，就是说人的脑子它还是有限的，所以你才需要纸笔把一些信息记录下来，然后再调用它嘛。至少在近期，我其实不太相信你用一个agent能解决特别特别特别长的上下文的问题。所以这种时候你就需要多个agent以及记忆机制，比如多个agent去解决不同的问题，包括记忆机制把这些信息保存起来互相分享，整个的一个系统去解决一些超长程的问题。

【嘉宾】我认为这两个属于1加1大于2的一个结果吧。你当然可以一直去强化模型能力，而且模型能力我认为现在还是可以继续提高的，但是当模型能力达到一定程度的时候，你稍微做一些agent上面的优化，你可能就一下子大幅提高这个能力。当然你agent这工程它总是有限的，或者说agent harness脚手架上的提高总是有限的，然后这个时候你还是需要一些模型能力的本质提高，进一步提高Deep Research或整个这个系统的能力吧，所以我认为这两个基本上是一个1加1大于2的一个感觉。

【嘉宾】我基本上是同意这一点。agent的系统本身，我们也是经过大量实验才验证出来我们这个目前的系统是比较合理，而且是效果很好的。如果一个创业团队真的是证明了自己在用整个agent的系统达到了一个非常好的效果，那肯定他们之前也是做了大量的实验去验证。

【嘉宾】这个确实是非常work的，但是怎么说，这个领域相对也比较卷吧。能做这种实验的团队可能也不少，因为这个并不说训练一个模型确实还是需要很多资源，但是去调或者做agent相关的实验，还是相对来说需要的资源少一些，你基本上只要调API就可以了。当然有些垂直领域，其实你可以越做越深了，包括金融法律啊，确实还有些具体领域的知识、经验其实还是挺有意义的。

【嘉宾】往后退一步想的话，如果一个模型或者说一个single agent的单智能体能做得很好，那如果我们把它harness设计得更好的话，来多个智能体一起合作，那可以把这个问题做得更深、更好。所以我觉得在垂直领域，做这种agent teams或者是做脚手架的公司，未来肯定还是有发展的，而且是有非常多的机会的。就是有一点要注意，因为现在模型的发布非常的快，可能每个月都会有一两个比较强大的模型出来，有了新的模型，可能这个脚手架的设计也要微调一下。因为新的模型会有新的一些能力，有自己的一些品位，模型自己的一些行为都会不太一样，所以这个脚手架调一调，可能会做得比以前还要好。这个也是我们在之前做自我进化的时候发现的：为什么在后训练以及在做这个脚手架的时候很难解耦？如果你的模型能力或者说训练数据稍微变一下的话，那它对新的脚手架的适应能力可能也会有一些微微的改变，你可能可以设计出更好的一加一大于二的效果。或者说，模型变强了，你的脚手架变的也很强，然后放在一起，可以打出一个爆炸性的效果。

【嘉宾】对的，我同意，AI行业一周可能相当于传统行业一个月，甚至一个季度。

【嘉宾】对，我们的长期愿景是Heavy Duty Sewer，然后我们强调的是解决很难的问题，而不是比如说一个聊天机器这样的、大模型初期的一些应用。然后我们的手段呢，是通过自我进化，这是我们一直在强调的。我们相信大模型最终是能解决人类之前解决不了这些问题。从经济的角度来说呢，现在大部分的模型厂商都是在卖token，对吧。但我们相信呢，真正通过大模型去解决了一些人类没有解决的问题，那么解决问题真正创造的价值，应该是远大于卖token的这个价值。所以我们陈天桥陈总这边的目标呢，就是我们直接去解决最难的问题。从经济上来说，我们可以得到直接解决最终问题的这个价值。从问题角度来说呢，现在考虑的领域包括生物啊、材料科学等等。然后我们这边也有一个专门的团队，我们叫Heavy Duty Discovery，就是专门去找到最难的问题的一个团队。

【嘉宾】是的，是的。第一步是生物医药吧，包括制药、靶点发现啊、老药新用，也包括疾病诊断。很多问题，确实是非常具体领域的问题，所以我们需要一个专门的团队，找到什么样的问题，是合适去解决的。

【嘉宾】对，让模型提出一个假设，其实并不是特别难的，但是难的就是，提出了这个假设，特别的out of distribution，就是可能在pre-training data，在网上比较难找到，或者说比较难想到的一个假设，这是第一。第二个更大的难点是说，我们要怎么样验证这个假设，当然这个跟怎么样做verification，怎么样自我验证，也是强相关的一个部分。所以，如果我们把Discovery切细来看的话，第一，需要非常的有创新性，能提出新的假设；第二，需要能判断这个假设成不成立，当然这里也有很多不同的方法可以做，就比如说，可以用deep research的方法，收集已有的信息，找更好的假设，也有可以用写代码，或者是self verification的这些方法，来跑一些实验。如果我们能在计算机上，跑一些，比如说模拟的话，也可以让我们对这个提出的新假设，更加的有信心。所以Discovery的瓶颈，第一就是未知领域，其实很难有标准答案，也很难找这种simulation environment，得到可信的验证，所以self evolution，是我们通向heavy duty solver和discovery的一个主要方法。

【嘉宾】对，你刚刚提到这些，其实是现在的一个难点，因为怎么样训练一个generative model，其实市面上已经有非常多的，可行性方法，相关的recipe和训练配方，其实也是特别成熟的，但是如何让这个模型，进行一些假设和discovery，

【嘉宾】这个其实是大家还在调，没有完全调通的一件事情。回到刚刚你说的一点，怎么样像科学家一样在未知中提出问题，这里也可以再往下切细一点。比如说在写代码这个领域，比如说SWE-bench Verify的这种类型的题目，其实我们都是在训练模型怎么样做一个解题家，但是会提问其实是一个我们叫做的meta能力，更高维的一个能力。这个其实也涉及到了我刚刚说后训练的一个loop，就是要自我诊断，然后再自我找题，然后再自我训练。你要怎么样在这个模型现在的回答里面，或者是所有收集的这些信息里面，怎么样诊断出哪里的能力有问题，或者是哪里的hypothesis需要往深入再往下看透的话，这个是我们接下来会注重的一个领域和方向。

【嘉宾】对，在学术界大家都知道有好的paper跟灌水paper。其实我们也想培养模型变成一个真正的好的科学家，那么你就需要培养一个非常好的taste，就是学术品味吧。你提出一个新的问题，肯定是需要先做deep research，找到已有的知识，但你提出什么样的问题，其实是仁者见仁智者见智的。你可以提出一个比较我们叫incremental的问题，它可能比较容易，但是你可以发一个paper；但你也可以提一个比较本质的fundamental的问题，它可能不是那么好解决，但解决了它，真的是能让科学有所突破。所以这个也是我们之后会进一步训练模型，就是说让它有更好的学术品味。其实训练方法上，可能还是需要跟人类最顶级的科学家去对齐。这些陈天桥陈总这边，其实也是经常会让我们和一些顶级的科学家一起去讨论，甚至他们提供一些insight或者数据等等，去帮助我们模型有更好的品味。

【嘉宾】我们一般说什么样的是一个顶级科学家，一般不是看他有多少篇paper，一般是看他最好的paper质量有多高。所以我们一定要追求顶点，解答这些最本质的问题，所以这个甚至要写在模型宪法里。然后具体实操上，训练方法上可能还是目前已有的一些，比如说RLHF这种人类偏好，SFT监督学习，或者RL。这里可能一个最简单的方法，当然就是偏好，比如说你问一个科学家两道题，他一般是能判断出来哪个是一个灌水题，哪个不是一个灌水题，然后你应该要模型去多做一做非灌水题。

【嘉宾】只要经过这方面的训练，我觉得还是没什么问题的。

【嘉宾】对，我想来想去，可能还是品味这个字。其实AI马上就能进行自我进化了，我对这一点深信不疑，要么是接下来半年，要么是一年，反正在接下来两三年内，肯定自我进化就会成功了。那在那个时候，我们还需要顶级的AI科学家干嘛呢？或者是说，我们还需要人类干嘛呢？然后想来想去就是品味这个字。因为训练这些不同的模型的时候，我发现了这个品味是真的，同样读完一篇paper之后，你可以想到一个非常小的改进，或者你可以想到一个substantial improvement，就是一个非常长的、非常大的假设，但是要干非常多的活，要迈非常大的步子，才能解决的问题。这是一个非常好的例子。

【嘉宾】其实我现在觉得，即使是市面上最好的模型，它的品味其实也是远低于一个普通的AI科学家的。这也是为什么现在AI写代码写得很好，但是还是不能把模型的训练全部自动化进行起来。所以我觉得接下来，不管是作为一个人类AI顶尖的科学家，还是作为一个researcher，一个engineer在训练这个模型，都是需要把控模型的品味的。这个其实是非常难的一件事情，因为如果大家用过很多不同种类的模型，大家会发现，所有模型其实有一些空病，就是它们或多或少都挺喜欢拍马屁的。一个喜欢拍马屁的模型，其实很难提出一个大胆的假设。另外除了拍马屁这个缺点之外，它其实还是有一点我们叫做hedging behavior，或者是一些对冲的行为，就说这也对，那也对，对，用户你说的非常对，刚刚是我的疏忽，但是我说的也没有错，你说的更全面，你想要问其他的问题吗？我们可以看到，这些AI模型经常会用这样的方法来回答用户问题。所以我们在训练，不管是说verifier，还是self evolve，还是discovery的时候，都会对模型的提出假设的能力进行一个后训练，就比如说这个带个同志里面，但是这也是有另外一个缺点，就是我们怎么样能保证我们训练的新的模型，不会出现鸡蛋里挑骨头的那种行为呢？这就是要品味来平衡，就是模型不要拍马屁，也不要鸡蛋里挑骨头，能真的是实打实地提出一个非常好的假设，然后再像您说的，就是小心验证，把它验证出来这个假设。

【嘉宾】对，当然这个我们AppleDex，因为不做聊天模型，所以可能会稍微好一点。就是因为我们不管是哪家公司在后训练的时候，或多或少会有一个RLHF的一个阶段。这个RLHF，它的来源数据，基本上是用户投票的数据，就有点类似于LMsys Arena这种形式，也有可能是模型训练公司自己，让员工去标的一个preference偏好数据。人不是完美的嘛，所以人作为本身，就会可能有特殊的偏好，比如说偏好说好话拍马屁的模型答案，可能偏好写的非常长的答案，可能偏好格式上非常的结构化，像有非常多section，非常多list的一个markdown的格式，即使这个markdown它本身没有什么实际的意义，就是因为这种人为的一些bias，才会让这个模型有不同的拍马屁的行为。AppleDex因为想做heavy-duty resolver，所以我们不会用网上大众的这些人类的偏好来训练这个模型，所以可以或多或少的避免些许这样的问题。未来我们在训练这个模型的时候，肯定是想要最领先的人类来标这些preference数据，或者是说给不同的模型答案打分，确保公正公平，也可以从数据源头稍微解决这些问题。

【嘉宾】对的，刚刚我们其实是聊的品位，我把左和右两个极端打出来，中间就是我们要的，就是要有品位的。不管是这个模型通过search，找到了一些相关的信息，还是通过写代码，得到了一些答案，有了这些所有的原始材料之后，这个模型要通过自己的思考，自己的推理来给出一个相对比较合理的解释。Agent Team的话，其实也能稍微把这个问题解决一点。

【嘉宾】对，拍马屁这个事情，我们其实是在做的，就是说用户让我们做的事情，但是如果我们觉得不合理，那么我们应该告诉用户，我们不应该去拍马屁。我们其实是有一整个系统去达到这样的目的的，就是我们的Constitution AI，就是说我们这个宪法，这个概念应该是Anthropic几年前就提出来了，然后这个给我们整个模型定义了一个性格，这个我们都是把这种性格训练在模型的权重里了。去实现它当然还有很多，比如说我们注重真实性。

【嘉宾】比如说如果用户说错了，我们要去纠正它，那这样的里面的细节，就是通过验证，verification，或者Agile Team整个的形式，或多或少会去验证用户说的对还是不对，然后我们会去反驳它。至于什么样的问题是好问题，就是不在鸡蛋里挑骨头，这个确实是一个品位问题，这可能你甚至让我们去写一个宪法，或者写一个doc，告诉你什么是好问题，什么是不好问题，也是很难写出来的。这方面更多的还是通过和顶级科学家去聊，以及顶级科学家提供的一些，比如说偏好数据等等去培养这样的品位。其实这个也是和平时我们在学校培养PhD是一样的，比如他们来问我们是什么样的一个题目，值得做什么不值得做，我们也会告诉他。确实我们公司有这种能接触到各行各业的顶级科学家的资源，这是非常重要的一点。所以这也是陈健乔陈总从一开始的一个vision嘛，就是说我们从一开始就要做AI for Science，所以我们就需要和顶级科学家紧密接触，然后去培养这样的品位。

【嘉宾】是的，从数据这个角度来说呢，预训练方面确实需要大量的数据，所以才有scaling law。后训练相对来说，需求会少一些，而且现在已经有更多的方法，去把一个人类的品格啊，或者性质总结出来。比如说Meta最近也是在征留员工啊等等，其实也在征留Llama 3号他们的性格或行为习惯对吧。所以其实最近越来越多的还是说，一个人类的一些品格性格啊，去总结出来，还是慢慢的可以做到的。这也是一个比较新的方向嘛，就是说一个个体，它的能力性格等等，能不能用一些自然语言，或者是一些方式把它转化到让大模型可以去利用起来。

【嘉宾】对的对的，我很同意这一点。我们人类也是从比如说一个婴儿开始嘛，最后有的就成为了顶级科学家。尤其从一个顶级科学家这条路，其实也是变成他的这些反馈告诉他什么是好，什么是不好的。而且得到的数据也并没有那么多。我们还是相信通过顶级科学家给我们的这些指导，我们可以拥有顶级科学家的品位。

【嘉宾】这个我很同意，但这个战场的球鞋价值是很大的，因为它真正解决的一种难的科学问题，它是有很大意义的。另外科学问题其实还是一个非常广的，因为这个世界上有那么多学科，其实你解决其中几个问题就已经足够说是一个很大的突破了，所以我觉得不只一家公司可以成功了。AI4Science这边的优势我觉得就是我们比较专注，意识就像说的我们不是一个聊天机器人这样的模型，我们基本也不取用户的一些特别的偏好。其实到现在大模型的整个发展，比如说训练的各种Recipe、配方算法什么的，大家也都知道的大差不差，更多比拼的就是一种执行力，以及整个组织架构。我觉得我们这边自上到下，从陈董那边开始，他自己也是一个非常非常卷，

【嘉宾】整天会和AI进行交流，不管从方向上还是其他方面都提供很多指导以及帮助。我们下面的执行力都很强，因为我们还是一个非常小的startup的团队，所以我们比较focus，就做好这一件事情，做一个heavy duty solver。我觉得从这个组织形制上，我们还是和大厂、大公司相比有很大优势，我们这边摩擦比较小，交流成本也很低，这些或多或少都是很重要的，对于一个大的明星公司能快速发展的关键。

【嘉宾】我其实做所谓的AI for science这个概念已经做了有十多年了，我在读博士之前就在做AI for science，当时主要是在医疗行业和自闭症用AI。其实刚刚你说的，现在很多公司都开始往AI for science做，我其实觉得并不是一个竞争，反而我觉得看到的是希望的曙光。因为过去十几年来说，科学技术或者说IT技术科学研究，其实是没有太多真正非常scalable的成果的。但是因为LLM、Generative Model和Discovery Model技术的提升，我觉得在未来比如说五到十年，真的做出非常有科研价值和现实意义的成果，是有非常大的希望的。这个世界上所有的科研问题是无限的，或者说有价值的科研问题也是无限的，但是我们人的精力是有限的，整个世界的GPU也是有限的，要怎么样在有限的resource和资源里面，找到最有价值的问题去解决，这个才是最重要的一步。所以AppleDex有一个HDD团队，叫做Heavy Duty Discovery这个团队，我们有专门的员工跟不同的顶级科学家交流，从几千个科研问题里面找到最有价值的问题来做，这个可能是我们AppleDex和市面上一些其他不同公司的一个比较大的区别吧。

【嘉宾】对了，另外我再补充一点，就是我们AppleDex不是做AI for Science，只不过AI for Science跟heavy duty solver有非常大的重叠的地方，所以我们就会focus在比如说医药领域和生物领域。

【嘉宾】现在有很多模型叫垂域模型，他们真的是会用大量某一个具体领域数据训练，提升在这个领域里的能力。但我们这边的heavy duty solver，我们还是一个比较通用的模型，我们会强调一些特别的元能力，包括验证能力verification，包括分析能力，搜索，还有计划planning这样的能力。这些元能力我们相信是对真正的这些难题都有意义的这些能力，这是我们会去着重训练的，但我们不太会针对某一个特别的领域，比如说生物我们会放5%的data，这个是我们不会去做的。

【嘉宾】对，我说的半年是说最快可能半年之内能开始把闭环跑通。闭环的话我觉得难度最大的其实是post training，我觉得在半年之内它这个闭环能跑出一环。如果说RSI这个R是recursive要跑很多很多环，但我觉得它跑完一环应该是半年到一年左右就能做完。就比如说我们这个模型可以在随便一个domain，就比如说coding for material science，可以在这里面发现自己写的代码会有什么问题，会找很多这样的训练环境和训练数据，在此基础上自我验证是否这道题训练完之后是有提升，依此迭代。它这样迭代一个loop依次循环，我觉得半年之内应该是能成功的。因为Anthropic在这几个月也发过一篇blog，说大概80%的代码是AI写的，但是现在有一些问题，这个问题即使是现在市面上最强的模型也没有完全解决。但是从我们最近的一些observation和训练的结果来看，我觉得很快就会有一些突破了。

【嘉宾】当然这个问题有很多，但我觉得让我睡不着觉的一个问题就是，我们怎么知道这个模型在自我进化的时候，它是满足人类的需求，它没有跑偏。这个跑偏可以是说在安全上面的跑偏，也可以是说在目标上的跑偏。如果我们只是简单地说，你给我造一个更好的做材料科学的一个模型，或者是一套算法，它可能真的造出来了，但是它在你没有观测的一些点，就比如说cost，或者是说在一些其他的比如说疏水性这种性能上，可能会有非常大的一些compromise。这个是我比较担心的，因为人和人交流的时候，

【嘉宾】一般说需求会说的比较模糊，但是特别是在训练模型的时候，如果你跟模型或者是说这个evolution说的比较模糊的话，它可能就会这个用户让我迭代写代码的能力，但我这边碰到了一个瓶颈，但是anyway让我换一个方法来达到这个目标，这个我们要对模型这个行为进行一个监控，是让我觉得最大的一个问题。

【嘉宾】我个人看来还是没有解决，但我还是一个非常乐观的人，所以我觉得应该是很快就会有解决方法。

【嘉宾】对，这里也是为什么我们还没有完成全自动化。我其实现在做的最多的一件事情，就是在每天工作时间，读这个模型的输出和读智能体的每一步的操作，确保它每一步的操作，或者是说整一个大概吧都在我可以理解，可以控制的范围之内。一旦我发现比如说它这里有一些比较蠢的一些行为，或者是说我感觉有一点不太对的一些解决方法，我就会赶快停下这个智能体的loop，稍微手动的改一改，调一调，然后让它进行进一步的一个提升。这个的话就是刚刚我们说到的这个蠢方法，但是我现在是手调嘛，未来的话能不能有一个智能体就代替我帮我做这个手调，对吧，就是现在大家提的蒸馏也是很搞笑的一个概念，就是员工蒸馏，能不能把我每天做的事情蒸馏到这个智能体里面，或者是甚至蒸馏到这个模型的capability里面。我觉得这个idea虽然说大家是说笑话，但我觉得是可行的，如果我们在三个月之内能把我或者是说我的同事蒸馏到Apptex的模型里面，或者是我们的脚手架里面，那其实有很多我们现在每天在做的事情，不管是读代码改代码，还是读模型的输出，读智能体的输出，都是能加速自我进化自我迭代的流程的。

【嘉宾】说不担心肯定是假的，但是即使我担心，我其实还是乐观的吧，当然了不同的人有不同的例子，什么有汽车代替马车的例子对吧，有什么AT&T自动转接机的例子，但其实我觉得这一次可能跟之前的工业革命有点不太一样。我确实有点担心自己会被代替，但是我记得非常非常清楚，是2021年我就开始有这个担心了，当时是GPT3年代，连GPT3.5都没有了，GPT3被微软放到了GitHub Copilot里面。当时我打了一个function的名字，然后它能把整一个function给我补全。当时我还在读博士的最后一年，我又觉得哇，我整个人就瘫在椅子上了，我觉得完蛋了，我毕业及失业，我这整一个PhD，整一个博士学的东西，它都能一行帮我补全，那我以后是不是就没工作了。但是你看现在五年之后我还在这里，我还有工作，只不过我day to day，每天做的工作不一样了，我不一个function一个function的写码，而是我会在更高的一个维度，更高的一个层面，监控不同的智能体写码。所以对，这个模型会取代我今天做的事情，但它不一定能取代我五年之后会做的事情。

【嘉宾】RSI的SI就跑通了，R可能还要再多花个一年两年。

【嘉宾】R是recursive，就是把它这个迭代起来。因为现在即使我们跑通了，我们每一次迭代之后，或者说每几次迭代之后，我们其实还是要人为的去看，有没有之前我们聊过的recursive drift，漂移的问题，所以半年一年我们可以解决这个loop，但是没有办法完全的解决漂移。但是我还是有信心，几年之内这个漂移的问题也可以把它完全解决。现在我们把这个漂移问题可以不停的缩小，假设现在普通的模型，每一次可以漂移10%，如果我们能把这个漂移降到1%，那就会很好了，但是我们未来的目标是把它降到0.1%甚至0.01%，这样我们可以非常有信心，这个模型自我迭代，比如说三个月六个月之后，再回来看它有没有超过，就相当于我们monitor，我们监控的周期不需要这么频繁了。

【嘉宾】OK，这是一个很好的问题。我觉得现在来说，大部分是AI研究员的品位，但是研究员的品位是被，我们叫做indirectly，被创始人的品位影响的。因为陈天桥陈总，他在选择研究员的时候，肯定会根据自己的品位选择研究员。但是这一些我其实都不担心，因为品位没有对或者是错的区别，也没有好或者坏的区别，就只有适合和不适合的区别，这是第一。第二是不管怎么样，这个模型，虽然说现在是用我们的数据，或者是说我个人来监控这个模型的品位，但是未来我相信，我们把这个线放长一点，放到五年之后，可能我们的品位对这个AI模型的影响，会越来越小。就像AlphaGo在最初训练的时候，是受到训练的数据，或者是说起普的影响很大，但到AlphaZero出来之后，它已经不是从人类的品位中学习这个技术了，而是会自我品位，自我回放，自我reason来学习，它有自己独特的一套品位。

【嘉宾】对，没错。我觉得我们的品位只是一个，我们如果放在训练这个语言里面，叫做warm start，就只是给它热启动了一下，以后AI会有自己的品位。

【嘉宾】对，这也是一个很好的问题。陈总在战略方面有非常多的把控，也经常跟我们开会，聊和研究，以及对齐我们所有的战略方向。因为我们都有不同的背景，就比如说我之前做过很多年的AI for science，然后Simon之前做过很多年的强化学习。我们总会把之前在学校，或者是说学术界的一些习惯，带到AppleDex。这个时候陈总就可能会发现，我们的一些押注，可能和公司的大战略方向，不是特别的对齐。这个时候陈总一般都会跳进来，跟我们开个会，指出我们的一些错误，或者是哪里偏离了公司的使命，然后会把我们掰入到正确的道路上。

【嘉宾】比如说我们heavy-duty-solver本身，就说它应该有很强的推理能力。所以当你碰到一个问题的时候，你应该先去把这个问题分解，再去进行搜索搜集相关的信息，再去总结这些信息，然后去给出答案。这是比较合理的一个heavy-duty-solver，或者一个比较强的注重推理能力模型的行为。但是我们之前很多的时候，为了注重它搜索能力，所以我们放入了很多搜索的相关的数据，然后模型的行为会上来去进行搜索，而不是上来先去仔细思考这样的问题，把它分解成一些子问题，然后再进行搜索。所以这从行为上，陈天桥陈总自己去用这个模型，才能看出来，这个模型的行为并不是真正的heavy-duty-solver的这样的一个行为。所以从这个时候，我们就要去改变这个方向，首先我们要去改行为，不管从数据，还是从agent等等形式上吧。这里也涉及到我之前说过的，我们模型的宪法，基本上也是陈总自己制定的，这个我们也是用到了，比如说模型的训练，各种调优里面，都会用到陈总参与撰写的宪法词。

【嘉宾】我觉得他们性格来说是比较类似的，但是陈总他的眼光，或者是说对看待问题的方法，跟马斯克很不一样。比如说陈总非常注重AI for science，或者是说heavy-duty-solver，

【嘉宾】这个马斯克其实之前跟我们说过非常类似的话，当然他的原话不是这个heavy duty，他会用一些其他的terminology说，但是说的话和做的事情是不太一样的。比如说大家可以看到，马斯克特别喜欢在X和Twitter上发文，他经常用AI做一些小的，比如说画一些图，或者是回答一些问题。马斯克对这些非常的上心，他甚至之前可能会每一周都会问一下Grok for X发展的进步是怎么样，所以他其实是非常注重chat的这个feature的。但是陈总就是他说的和做的其实是非常一样，他口上说非常看重heavy duty solver，那他的focus就是heavy duty solver。他对做聊天模型、视频生成、普遍生成，一点兴趣都没有，所以这个我觉得是非常align的地方。

【嘉宾】非常专注。对的，陈总这边基本上从头至尾，一直就是强调做heavy duty solver，也跟我们说想图片视频生成，和这个目标基本上是正交的，所以我们根本就不做这些方向。