Hello 大家好,我是小俊。
AI 业界有两个姚顺宇,一个从 OpenAI 跳槽到了腾讯,一个从 Anthropic 跳槽到了 Google Deep Mind。
前一位姚顺宇去年来过我们节目,那今天我们邀请了另外一位。
这类姚顺宇毕业于清华和斯坦福大学,曾经的研究方向包括费米系统、量子物理和高能物理。
毕业后从物理转占AI,2024 年加入 Anthropic。
2025 年跳槽到了 Google Deep Mind出任,研究科学家参与了 Claude 3.7 4.5 Gemini 3 等模型的开发过程。
那除了这些重点模型的开发之外,它有一些很有趣的观点,比如说AI的本质是简单的,预设认也是一种强化学习,不要明显老登,AI个人英雄主义的时代已经过去了,AI从业者最重要的特质是靠谱等等。
我们的节目录制于2026 年 3 月,距离我们这次节目录制完,世界又发生了许多意想不到的变化,比如说Mata对于Minus的收购被撤销,Cursor可能被SpecSafs收购,XAI将终止独立运营并入SpecSafs,并且更名为SpecSafsAI等等。
那如果我们的谈话内容有一定的制后性,还请大家能够多多包涵,因为AI的世界实在是变化太快也太出乎意料了。
那可能还要特别说明的一点是,技术细节会涉及到一些企业机密,有一些是嘉宾不方便分享的,所以也请大家能够多多包容,我们在最大的可能的范围内和大家一起来学习AI。
那接下来就是我对顺语的访谈,期待2026年,我们和AI共同进步。
Mata为一个公司来说,它能够实现这种就是比较Top Down的机制,是一个很独特的事。
这对于其他模型公司很难吗?
很难,比如说OPPA就干不了,就是Gemna也比较难,打公司和Startup它打发本来就不一样,因为Startup重要的是make that,就是我得赌一件事,我觉得大家现在就是每个人都是冲浪的人,本质上是一个浪,而不是你那个冲浪的人,因为AI这个事本来也不太需要脑子。
真的不太需要脑子。
需要什么?
我觉得这个行业就是最重要的特质,就是copy。
就是做事儿戏,然后对自己做的事儿负责任,这是最重要的特质。
桂谷不是有两个姚顺宇吗?
你要不要先给大家介绍一下你自己,然后给大家copy一下两个姚顺宇的区别?
可以,对,就是我叫姚顺宇,然后显然有一个跟我几乎同名的朋友,然后我们俩主要履历也有一些overlap,所以说可能看起来非常的难以区分,然后我以前是做学物理的,然后我本科的时候在清华那时候做音音态理论,然后后来去斯坦福做理论高能物理,然后和量子信息黑洞相关的一些方面,然后离开斯坦福之后去伯克利短暂的待了两个星期的Postdoc博后,然后就离职去了Anzopic,然后在Anzopic待了一年去年9月底10月初的时候加入了Gemini,然后如果大家非要区分的话,我觉得最大的区分就是那个顺与他一开始就是一直都是做CS,就是计算机相关的,然后我其实从某种意义上来说是个半道出家,我之前是做理论物理为主的,你们是不是好朋友?
你们好像大学就认识了,而且是一级的,对吧?
他是一个什么样的人,你是一个什么样的人,评价一下他,你也评价一下自己。
对对对,我们本科就认识,因为我们本科是一级的,然后在清华,但他一开始就是学计算机的嘛,所以他在那个摇班就是计算机科学实业班,然后我学物理,所以我在计科班,对,然后后来他去了普林,我去斯坦福,然后这可能也是另一个有点令人费解的点,就是好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方,然后觉得普林斯顿是学物理人该去的地方,但我俩然后反过来,所以说也可能产生了一些费解的事情,对。
然后我俩其实也还真的挺不一样,我觉得他是一个比我有趣的多的人,我觉得我从他身上也是,在过去也是能学习到了一些后很不一样的点,比如说他可能花了很多时间去思考,比如在AI方面,他花的时间去思考就是人和AI的交互呀,然后包括一些产品以上的事情,然后我觉得对我来说是一个很不一样的朋友,然后我也从他那儿学到了很多东西。
你们之前在硅谷的时候多久见一次面,你们现在是不是还频繁打电话,多频繁?
我们在硅谷的时候见面确实挺频繁的,可能每几个星期吧,但是好像见面主要是为了凑一块玩,玩啥?
就是真的就是纯玩,就是可能出去散散步,车车有的没的,然后可能有时候吃个饭打个牌之类的,对,然后他回去之后,其实我们也也是经常会打电话,最近是电话聊事儿了,好像就是前一两个星期,你怎么知道的,可能就是会过几个月,然后就开始回家,大家最近的情况吧,他是不是多次想把你拉过去?
可能有一个意思,但是我觉得不关键,你为什么不去?
我觉得对我自己来说,我没想清楚吧,我觉得多半是我自己的原因,然后我也没有去任何中国的地方,然后我觉得主要原因是因为,在去年的9月或者89月这个时候,我觉得那时候我离开了Sophic,然后离开之后决定要去哪儿的时候,最大的动机是,我想学一些不一样的东西,对我来说,我可能就没有去考虑,没有更着重的去考虑说,能够去领导一个项目,或者领导一个project之类的,我更多的是,那个时候更多的是,优先去学习这些东西,所以那个时候选择去了Germany,对,我把你们两个老被放在一起比较和讨论,对你来说是困扰更多,还是享受更多?
我没什么感觉,然后因为我这个人,也不太关注社交媒体,所以我其实真的没什么感觉。
因为那个顺语,他之前在去年的时候说,AI进入了the second half,进入了下半场,这个成为了一个非常有名的观点,你觉得今天的AI在一个什么样的时期,你能给他一个定义吗?
对,我觉得对我来说,我可能看的没有那么清楚,什么叫做上半场,什么叫做下半场,这个定义一直以来对我并不是特别清楚,对我来说,确实现在AI进入到了一个阶段,我觉得大家都已经开始不那么担心一件事,AI是不是能够做得到,而是担心这件事是不是被良好定义?
对,我觉得这是一个很大的区别,比如说,我觉得一年之前,就是可能去年年初的时候,那时候,我在哪里逃避,然后大家可能担心的事情还是说,哎,OpenAI这个reasoning做得这么强,有没有机会能够追上,然后有多大的机会能够超越他,大家还很担心这个事,我觉得现在就是在任何,至少在OpenAI和Ensobre这三家当中,我觉得没有哪一家,会真的担心自己追不上,然后我觉得可能现在对大家更难,那事情是想明白要去做什么,这个是一个,我觉得是一个,是一个bat,是一个赌,但是也是,我觉得也是一个很需要人的inside的事情,对,那这也意味着模型的能力被拉平了,对不对,它变得同质化,变得商品化,所以模型没有很大的区别,就是在好坏上没有很大的区别,但是它需要风化,我觉得从用户的实际体验上来说,这三家模型是能够感受到区别的,但是,难的一点是,过去这个区别在纸面上也能看出来,在纸面上是纸,纸面上是纸,就是比如说像公开的有很多这种班池码,这种测量的规范,然后比如说大家以前能够去看swee banche,对对对,能看swee banche,然后可能数学大家那时候会比,像简单一点的ami,am,然后难一点的像m,那个时候我感觉就是,你从纸面上就能看出来,哎,这个模型好像reasoning强一点,那个模型好像coding强一点,那个模型这个强一点,现在就是纸面上大家其实都比较相近,当然你去看那个纸面上的消息,比如看swee banche,你会发现哎,好像好的会比不好的可能高一个百分点,或者两个百分点,但其实大家都在80%附近,那个附近数字高一点低一点,其实是主要是noise,主要是造声,而不是信号,对,但是从另一方面来说,大家使用上确实还是能体现出区别的,我觉得就我个人了解到的信息而言,Cloud目前仍然是比较通用的这种工具使用类的,是agent表现最好的,然后在纯粹coding的方面,可能最近codex稍微追上了地点,把这个中间的概率变小了一点,然后jaminal可能在纯的reasoning,然后和一些比较日常的使用环境下,可能目前还是比较好的,然后在coding和agent上,还处于一个比较在接近的这个状态,对,这些能力,就是有意选择我优先发展哪个方向,还是说它就是好和坏的区别,就是它是能力问题还是意愿问题?
我觉得那其实是有意愿的成分在的,尤其在过去的情况下主要是意愿,就是当大家能从纸面上就看出区别的时候,那时候意愿肯定是占大多数的,因为可能像Cloud就一直更看重这种使用工具的能力,然后包括coding,那可能OPI有一段时间非常看重reasoning,对,当然现在开始看重coding了,那时候肯定是意愿会占大多数,因为你更有意愿的话,就意味着你能花更多的精力去构建合适的,即不是合适的infra,构建合适的数据,然后尤其数据它是一个,从某种意义上来说,很花时间很花精力的事情,对,所以说那个时候肯定是意愿专注到,但是到现在这个时候呢,我觉得两方面其实都有,因为其实,因为纸面都看起来差不多,然后其实甚至你就做一些更内部的测试,说这个数字也都变得差别没有那么大了,然后这时候更难的事情就是,你该怎么去定义的问题,定义你想要的行为,然后在这个事情没有定义那么清楚的时候,我现在很多差异其实来自于一些,其实是你想象不到的事,对,想象不到的是指的是?
我觉得,当然想象不到的事就是,你现在去问,其实我很难给你一个特别清楚的答案,可能过一段时间之后回过头,来看我才能给一个清楚的答案,但是我可以举一个,想象不到的例子吧,就是比如说,比如说退回,往回退可能一年两年,甚至三年的时候,那时候如果你比如说去网上,取这些预讯链的数据的话,你可能讯言一个模型,就会发现模型在写代码,那时候当然没有这种A占这个的写代码,它都是写一段代码,那时候你会发现模型的话写代码,会写得很好,但是可能那时候大家不知道为什么,但是这个里面意外的原因可能就是,你从网上随便去,如果不做任何的数据的筛选的话,自然的这个code的data的质量,就会比别的高一点,因为你去看网页也会发现,给tab的质量是显著比别的正常网页高。
在今日我们今天主题之前,我想先聊聊我们最近模型的一系列的静闻,就是你看最近大家都在讨论opencloud,你作为一线的研究员,你对这个新的产品形态是怎么看的,你周围有哪些讨论?
我觉得有趣的是,我感觉这个事情在页外的讨论,好像比页内的讨论更激烈。
页内没有人讨论?
页内有人讨论,但是我觉得对页内的人来说,他并不是一个特别令人惊讶的事。
我怎么说?
就是可能在公司内部,也有人已经做了类似的这种实验,或者这种demo,只是可能并没有作为一个产品,去很认真的宣发,然后把它打磨,然后发出去。
对,然后当然事实情况就是,你去看这个opencloud最早版本的github的那个code,也就从某种人家说,写的也不是特别的干净,但是我觉得他很重要的事,是他给大家展示了这种可能性,那可能展示这种可能性之后,未来想opencloud做自己也加入了,然后那可能就是这些模型的实验室,或者说一些大一辆创业公司,会很快跟上,然后把这东西打磨成一个真正可用的产品。
所以我理解,其实在opencloud发布之前,Google就已经有人在做这个事情了,直接还没有发布,因为大公司的流程比较长。
对,至少我个人所得到的印象是这样的,所看到的是这样,对。
所以这种类opencloud的这种产品型,他本身说明了什么,在今年初步的这个实验点上?
我觉得其实,我觉得基本上来说,其实并不能说明什么,就是说opencloud这个产品,当然它依赖于模型能做的很多事情,但是那些事情的能力,其实并不是到今年年初才准备充足。
我觉得可能在去年,就是像opus发布4.5,然后当然那时候opus,其实比opencloud和jambla3在tools能力上都要强一些。
所以我觉得在那个时间点,其实你做这个事,这个事就已经是可以展示出来的。
然后其实他,他一开始发布,也没有立即发布了之后,过一段时间才活起来。
所以说,我觉得可能,对我来说,技术上他并不是一个,并不是一个,就是说那么令人惊讶的事。
他是模型能力的自然一处?
对,对,对,我会这样觉得,但是我觉得他可能,一个对于大家的惊喜,是说以前可能大家都没有意识到,他让大家意识到的这件事可以做。
意识到什么?
就意识到了这个,你可以让模型做很,就是你可以控制很多不一样的模型,然后做很多不一样的事情,然后把这个事情汇总之后,做一个很长很长很长,老horizon的这种工作。
我觉得可能,以前大家并没有广泛的,对这个事产生共识,那这个事情,给大家展示了这样一种狠的性吗?
你看,从去年出火的是minus,今年出火的是opencloud,就是从minus的opencloud变化是什么?
是模型能力的变化,还是产品的变化?
这也是一个,我其实一直没理解的事,就是,minus和opencloud之间的,质的区别是什么?
是一个我其实自己没太看明白的事情,说实话,或者换句话说,可能opencloud这个事火了,但是如果你要回头问我,说为什么minus做不了这个事,我不明白minus为什么做不了,可能只是他没做,但是你看,不管是minus和opencloud,他们都选择了minus卖给了mita,opencloud卖给了openi,这个形象说明什么呢?
为什么他们都卖了?
我觉得,我自己的感受是一个东西,如果要长久的生存,还是需要考虑一些壁垒的?
壁垒是模型?
我觉得,至少目前来说,很多壁垒都是在模型测,但是未来会不会产生产品色的壁垒,我觉得是说不定的,因为大家,市场上就是这个都老生常谈的话,很多人就谈论这些什么,数据飞轮之类的事情,目前来说,我觉得没有哪一个场景,真正的形成了数据飞轮,甚至AI纯粹原生的应用场景,我觉得目前除了Agent Coding,就是写代码之外,没有哪个场景,是AI真正原生的场景,就变得非常成功,因为从某种意义上来说,Charlbot其实是搜索的一个延伸。
Charlbot是搜索延伸?
对。
他为什么不是独立于搜索的?
他是因为,因为你想大家其实和Charlbot最多的交互,是我有一个问题,就问这个Charlbot,然后这个其实是搜索本来干的事,但是他带来的比搜索要远强的一个事情,是他变得非常interactive,就是他有交互性,你可以追问,然后他甚至可以帮你总结出一些,通过他或许的一些信息,帮你把它压缩成,能缩成回答你的问题的那个信息,对,这个是以前搜索给不了你的,但他,当然就不是完全一样的需求,但是从,从需求,从大的需求上来说,是比较类似于搜索之前的需求。
Minus Open Cloud,我觉得都是现在最有名的壳,但是壳最后都卖给了模型,那是不是说明壳,还是难以逃脱模型的长型,这个逃印速度不够快,是不是?
我觉得,我觉得壳,在目前这个情况下,活海来有,有两种我,我大概能想象的方式,一种想象的方式,就是像你刚才说的,逃的足够快,就是我增长速度足够快,以至于在模型公司反应过来的时候,我其实已经占领了大量用户薪质,然后,在模型公司追你产品形态的时候,我又自己研发出了自己的模型,我觉得Cursor,就是试图在走这条路,那Cursor,其实在这种AI原生创举下,几乎是我能想到的创举公司,也增长得最快的,就算这样的公司,它现在也很有危机感,它有多有危机感?
反正我的感觉是,对Cursor来说,现在和Azorpic,已经进入了一个非常微妙的关系,就是,曾经他们是亲密无见的合作伙伴,Azorpic提供模型,Cursor提供产品,后来Azorpic自己有了可捞扣子,可捞扣子现在变得非常成功,然后Cursor现在又自己是多做自己的模型,所以Cursor在努力的训策的composer,所以说,我觉得,都不用说为了,其实现在就是他们已经处于一种比较性征的关系了,如果在竞争中输掉的话,我觉得是比较麻烦的,因为代码这个事情,Coding这个事情,其实,它本身是一种服务与专业用户的专业需求,是一种效率工具,效率工具很容易出现的一个场景,就是赢家通吃,我觉得这个是,不管对Cursor还是对Azorpic,还是对任何人做Coding的公司来说,可能都是他们比较担心的事,然后这是刚刚说的就是一条路,就是你长得够快,你在别人还没想吃你的时候,就疯狂长,等他想吃你说已经足够大,另一种方式就是,这市场足够的小,小到模型公司根本懒得去管,我觉得Made Journey就是这个例子,就是这个市场,小到可能,虽然你说咱们在努力吧,能不能做Made Journey那个事,可能花一些经历,花一些钱,花一些data,是能做到的,但是足够小,以至于,可能咱们就不是很会,在那时候,花时间了,看不上,对,我觉得那可能也是一种,活下去的方式,对,所以哪怕是Cursor,今天也没有逃异出,模型的,手掌型,有谁成功逃异了吗?
Made Journey,我觉得大的就,我目前还没看到,小的可能,没证明这个例子,当然,肯定有别的例子,只是我还没看到,小的我觉得会有例子,那Fuzz算吗?
我觉得,他们有机会,他们有机会,对,反正就不能做那种,通用的场景,我觉得,就是,我觉得这是Founder,要自己,要决定的一件事,就是,你要不要,抱着万分之一的,生存纪律,去赌一票大的,还是,抱着百分之一的,生存纪律,去先吃另一个小的,事情,如果是你,你会怎么选?
如果是我,我内心肯定是想,吃一票大的,但是我,真诚的想,是,我觉得,第一步是,不能一步等天的,所以如果是我,我会选择去吃一个,先吃一个小的,但是我会选择一个,有想象空间的小的,你说,他为什么要说,Open Cloud,Mata,为什么要说minus?
Google,为什么谁不说?
Google也说了,Google买了Windsurf的人,OK,Windsurf,OK,我不理解,什么叫你不理解?
说实话,就是,我不理解,我觉得,Mata,买minus这个事,我觉得对他们来说,最大的用处,就是,如果抛掉花了多少钱之外,最大的用处是,获得了一批,很好的,在亚洲的产品团队,在亚洲说明什么?
因为,我觉得,一方面就是,显然,大家都知道,中国的AI人才出国,还是很丰富的,虽然,可能目前,从纯技术上来说,中国的AI,还没有真的追上美国,但是,显然,有很多好的人,不管是,从纯技术上,还是从产品上,我觉得,可能中国的,本质上,人才是比美国要更好的,对,所以对他来说,我觉得,minus,成为了他在新加坡的一个,一个谋点,就是,他可以从那里吸引一些,比如说,从中国的,或者是,新加坡,或者东亚的人才,然后,我其实,没有特别看明白,这个产品本身,卖它来说,有多重要,或者换句话说,就是,为什么卖它,不能自己干这个产品?
但是,不管是minus,还是opencloud,它事实上,就是,单身于外面的团队,为什么不是,硅谷的这一帮,研究员,做出来的呢?
你没有反思过这个问题?
对,我觉得,对我来说,这样,这个问题其实,我觉得,一个,一个,公司,一旦变大了之后,它的负担也变大,一个,一个研究员,然后,我们可以,可以做些很,很,看起来很有趣,很有特点的产品,但是,我一旦把这个产品,去公开给公众,那,要负责的事情,是非常多的,第一,你这个产品,不可能说,一上线,然后,告诉所有,用户,你得,再去买一台电脑,干这个事,否则,它就有可能,会,或者你电脑上,所有的权限,然后,所以你产品的话,它是很多时间打磨,然后你要,确认,法律上,它没有,一些风险,然后,用户上,又不会损坏自己的品牌,然后,你如果,如果,它送出去了,你可能还要,给它,就是,比较固定的一些资源,去,去serve这个,这个模型,或者serve,这,这,这条产品的线,所以,这,这,我带马拉基又如何,你帮我来一起写吧,对吧,对,但是,我觉得不管是minus,还是opencloud,它其实指的一个方向,就是,可能这也是,2026年的某种趋势的可能性,你对2026年,怎么样,思考和预期的?
我觉得,其实有,太多的可能性,然后,对我来说,从,从模型能力上来说,我觉得,模型,就是,我有时候特别说这个口号,就是,我觉得,模型做到train with finite context,use as infinite context,就是,换句话说,就是,你用有限的这个,这个context lens,去训练它,但是,可以在使用的时候,用非常非常长,甚至接近一部线的context lens,我觉得,这件事,今年是,是有机会能够做,实现的,然后,这件事进实现之后,我觉得会,会解锁很多新的应用,也会,因为,就是,你有可能,可以让这个模型,跟你持续的交互,然后,持续的获得你的信息,然后,它在运行的过程中,会持续的,根据当前的场景,和你的绘画,可能把那些,它觉得不重要的,信息扔掉,然后,就成为,就是大家梦想中的个人助手,对,我觉得这个,从技术上来说,我觉得这件事,是会,今年是无论如何是会实现,但是当然,我觉得现在,大家,没有达成共识的,是技术上,显然是有很多技术路线,但是,现在,我觉得更多是,处于,在,尝试哪条路线,能够,跑通的,同时,可能,有好几条路线,都能跑通,那,我们到时候就要去,实验上,去测在,用户常用的,使用场景下,哪条路线的,效率是最高的,对,我觉得,现在,更多处于这个,而不是,说,站在这个,2026年的QE,作为一个,一线的研究员,你觉得,模型的,进步速度,在放缓吗?
我觉得,完全没有,我觉得,完全没有,它的速度,曲线,对比,二五年,二四年的,变化是什么?
这个,很难,很难量化的,说,因为就是,你得给一个标准,我才能量化的,告诉你,因为,如果你给的标准是,比如说,那这个事是,肯定会变慢的,因为,根据定义,这个玩尺码,最高就到100%,所以,你越接近那,肯定是,又跑得越慢,但是,这可能,并不代表,用户体验,这个模型的能力,总长变慢,因为可能,从,50%到60%,它可能,感觉,哎,好了一点,但很有可能,比如说,从70%,到75%,它反而,那也不一定,因为可能,过了,可能到80%,到90%,用户就发现,没有任何区别,甚至还变差,你说,完全没有变慢,你是基于什么标准?
我觉得,是基于,我个人作为一个,研究员的感觉,就是我觉得,我个人得到的感受,是,这个模型,学东西的,能力越来越强,以前可能,让模型学会,干一件事情,需要,动很多脑筋,但现在可能,不需要动那么多脑筋,最重要的事,看清楚,怎么去,构建合适的数据,当然数据,现在数据,就更夸发,指向环境,之类的,包括在内,然后,剩下的事情,好像,很多时候,是,是,顺其自然的了,对,学习能力变强,是为什么,模型的学习能力变强?
我觉得,可能一方面,原因可能会,很多风格,但我觉得,可能一方面,是因为,预宣了,其实,模型的预宣链,其实,在过去几个月里,还是变强了,我觉得,这个可能是一个,从某种意义上来说,比较有争议的事,因为,几个月以前,我觉得,就是,很多人,已经在讨论,预宣链的这个,Scaling Law,是不是已经到头了?
我的体验,是没有,而且,我的感觉,是在未来的,四个月,也没有看到,到头的迹象,对,我觉得,到头是为什么呢?
我觉得,嗯,我显然,不知道大家觉得,到头的原因是什么,因为我自己没解的到头,但是,我觉得,我的猜测是,一个人觉得,一个规律到头了,无非,以下,两种情况,一个情况是,他觉得这个,规律的,适用范围到头了,就可能,就是,就可能,从根本上讲,Scaling Law,还是无穷延展下去的,维持有可能是对的,但是,这是一种猜测,就是,这个人可能觉得,这个规律,适用范围到头了,一种可能是,这个人觉得,这个规律,其中有一个条件,不能满足了,比如说,他觉得,数据,就,已经撞上墙了,那我,完全没有把他延展下去了,这是另外一种可能性,但是,其实还有,第三种可能性,第三种可能性就是,其实,他这个工作,这个bug,他自己没发现,所以,他觉得到头了,对,我觉得,从我的观点,从我的观感上来说呢,我觉得,可能,绝大多数,撞到墙的人,是因为第三种,是因为有bug,是哪种bug?
我觉得,bug是有很多这种,可能性的,比如说,一种可能性是,你Scaling Law,做的时候,一些,科学的假设,没有做对,你说,Token Horizon,就是,每一个大小的模型,选什么样的,这个,期待的训练的数据量,然后怎么,这个数据量,这个数据是从哪里选,然后,有可能这些,比较科学的,选择没有选清楚,是一种可能性,但我觉得,还有种可能性,就是纯粹有个bug,这个,其实在业界,我觉得也不惊奇,很多时候,修好一个bug,带来的进展,是,很,很神奇的技巧的,对,然后,呃,大概还有另外的,的情况,我觉得,刚才给了这两种例子,反正是我,见到过,比较多的情况,但你们的bug怎么办?
你们怎么解决bug问题的?
我觉得,我感觉,这更像是一个信念的问题,因为,当你遇到一个bug,你觉得它不能解除,你就会说,这个到头了,当你遇到个bug,我觉得,这个肯定可以解决,那你就觉得,这还没有到头,因为肯定每个人都要遇到bug,对,我觉得,呃,这可能,真想说,就其中有一些,比较,比较信念性的东西,但,对我来说,更重要的一件事,是做事系统,就是,你,当你,一个,一个事情,和你预测的不一样的时候,你能不能,系统性的排除各种可能性,这个我觉得是,是一个很重要的事,这个是,我觉得,展卖和染头被做的比较好,就是,尤其在预讯来上吧,就是说,当,某一个,尺度上的行为,可能和你想象中不一样的时候,大家能够去,去设计合理的,我们所谓的ablation实验,合理的这种,实验能够看出来,测你的一些,想象中的,可能的因素,是不是真的因素?
我觉得这个,这个,作为你的系统性,才是,才是关键,对,你觉得,模型能力还能提高,那它的驱动力,数据算力算法,你觉得它的驱动力,主要来源于哪个?
我觉得其实,都有,但是,从某种意义上来说,数据和算力两个事,其实是,很强观点的一件事,数据和算力,对,因为,你算力上去了,自然就会吸掉更多的数据,对,数据上去了,你就自然吸掉更多的算力,对,然后,算法上来说,我觉得,算法作用往往是,有,有一个相辨的,就是,算法,有一个阶段是,你完全没有,搞清楚该怎么做,那个阶段就算法,会非常非常关键,因为你没有,完全没有搞清楚,怎么做的时候,你可能就完全,没有办法skill up,然后,可能就卡在那儿,但是在某一个点,你可能,发现了算法当中,最重要的一件事,那它可能一下就变成了,从完全不能做,变成了能做,然后之后,算法的提升,更多的是一种,就是它可能,从某人上来提高了,你计算的效率,或者使用数据的效率,对,然后,我觉得,这个,举例吧,就是比如说,从,原模型的,预讯来说,那可能,这个算法上的,这个跳的过程,就是发展出,就是发展出,传输我们这个事情,但传输我们发,发现之后,更多的都是,慢慢就是,平滑的,让它的效率,或者你,使用Data,或者使用算力的效率,对,所以现在的,驱动力是,算力和数据?
我觉得,在现在,比较清晰的,框架里面,主要的,驱动力是,算力和数据,清晰框架是指,比如说,预讯链,和后讯链,不管是,基于,强杀阶类的,后讯链,还是基于,supervised learning,就是监督学习的,后讯链,就是在这两个,就是比较清晰的,这种,这种paradigm下,确实,但是,不可否认,可能有别的方向,可能驱动力是算,你怎么意思?
举个简单例子,比如说,多么太生成,那个我觉得,可能就是一个,算法上来说,没有太想清楚的事,对,所以那个还是个,科学问题,还没有解决,对,但是语言,已经不是,科学问题了,自然语言的生成,我觉得目前,这条技术发案,撞到头之前,我觉得,在科学上,是比较清楚,但是工程上,还有很多,很多要做的事,嗯,你觉得预训链,还能提高多少,通过预训链,提升模型能力,还有多少,多长的路,可以走,可以预期到,人就是这样,就是,当你没有撞到头的时候,你其实不知道,这个路有多长,我能,我能看到的,就是,现在还没撞到头,但我也不知道,哪天会撞到头,如果真的让我,去估计一个时间线的话,就像刚才说,我觉得四个月,但是AI这个方向,没有人能预测,四个月之后的事,嗯,所以过去几个月,你在看预训链,和模型能力的时候,你还是很兴奋的,嗯,这是你周围的普遍的,心态和状态吗?
嗯,我觉得是的,我觉得是的,这是在Google一个小环境里面,还是说,在整个硅谷的环境里面?
我觉得很难说,在整个硅谷,因为硅谷是个太大的地方,可能做产品人对产品很兴奋,对吧,做产品来说,可能有份靠,嗯哼,但是,对做模型的人来说,可能就是我们会对,这种模型的进展,更兴奋一些,嗯,我觉得,呃,在对做模型的人来说,兴奋是一个共识吗?
在过去四个月?
我更认为是的,哦,我更认为是的,至少在我能接触到的范围内,我觉得在,阿扎伟和Google,大家,大家可能想的更多的是,我们,AI会不断的进展下去,很快我们就要被替代掉,替代掉之后,我们该干点啥,呵呵,而不是,模型撞到头了,该怎么办,呵呵,说到这个问题啊,为什么,呃,在过去几个月,coding的发展速度是最快的?
为什么是这个场景啊?
我觉得coding这个场景,首先,coding这个事儿,不只是,过去几个月发展最快,我觉得coding这个事儿,其实从,呃,从Cloud3.5new,外界有人关键,那个Cloud3.6,从那个之后,一直都处于高速发展的状态,嗯,然后我觉得,那个是去年初,还是前年底?
那个是,前年的10月份,前年10月份,对,嗯,应该10月份,有可能10月份,或者10月份,但是差不多那时候,从那个之后,我觉得一直都处于高速发展的状态,我觉得coding这个场景,有两个最大的优势,第一个优势,就是它的,它的reward signal,就是它的那个回馈的信号,是,很好定义的,因为,呃,比如说你去,比如说像,像software and nia这种task,有时候经常情况就是,我需要,写一个code,实现一个feature,一个特征,这个特征,需要的是,某些输入,会得到某些输出,这就是一个很容易能够,很容易能够测试的事情,所以它的回馈信号非常清晰,你,输入和这个输出,能够对,那就说明你的,实现还是成功吗?
不对,那就说明不成功,但这只是一个例子,就是,在这种和写扣的相关里面,有很多很多,或者这样是良好定义的回馈信号,然后,呃,另一个比较大优势是,coding,的数据,有一个,非常天然的基础,这个基础就是getup,getup上,汇聚了,过去,几个,几个大概几个,几十年,很多很多,优质的,传讯员所写下的,代码,然后,从那些代码出发,是可以构建出,非常非常非常多环境,我觉得,这两件事,从模型的角度上来说,是为什么,coding可以做得很好,当然,我觉得,从产品上来说,还有另外一方面的原因,就是,coding这个,这个产品的,使用需求,其实是,从模型下说,是比较,比较单一的,它不像,你去做一个,像社交软件,或者游戏,可能每一个人,都有不一样的品位,然后,你可能很难就是,能够,满足每一个人的需求,那可能就是,就是需要推荐策划,但是,coding这个事儿好,对,事情在于,优秀的程序员,写代码,其实,风格是比较类似的,什么风格,间接,单进,对,就是好的代码,是,不脏,是有一个,有一些共同的标准,比如说,像你说的,就是这个代码,间接,结构清楚,至于未来的开发,然后,有合理的抽象,当然,还有别的,然后,是有,有比较共识标准,对这件事儿,所以,这件事儿,从产品上来说,其实,让coding这个产品,变得更简单,那,你现在的工作,百分之多少,会用,call code,写代码,它能,帮你,提高工作多少倍,你问了一个,我差点会被开除的问题,我,Google不能用call code,好的,对,就是,对我来说,一个保守的估计,可能,百分之九十的call,是,模型产生的,但是,可能就是,我需要花很多时间,去,去看这个call的,是不是,写得合适,写得合理,是不是,真的是,我想让它写的,然后,我觉得,有了af辅助工具之后,可能,写call的这个事儿,最重要的地方,变成了,你怎么去,设计,你怎么去设计,你这个call的逻辑,哪一个,文件相关连,然后,需要做某一些,哪些事情,然后,你需要给这个模型,可能,给一些合理的context,比如说,比如说这个call的,你可以做一个reference,去看,对,真正去输出call的,我觉得,模型比人的能力强太多,所以说,对我来说,你要实际去,输,有多少行call的,是我自己手写的,有多少行call的,是模型写的,我觉得,保守估计,保守的,可能就是99,或者100,剩下10%,是他不能写,还是为什么,你没有让他写,保守估计90%,给我自己点面子,我觉得,他不能写,而我能写的部分,已经越来越少,越来越少,越来越少了,过去,可能是什么样的,是他不能写的,我觉得,很早的时候,就是,可能,在,一年半以前,那个时候,市面上,其实说白了,就是,只有cloud一家,能够,能够真的写,这种,这种软件工程的call的,那个时候,模型还是,还是能体会到,很多,很多,缺陷的,比如说,他有时候,可能写call的,就只关注一个,文件,他就,不会很关注那种,多个多个文件,直接的关系,然后,如果一个,比如说,一个class,他的定义,这个,直接的数里面,可能这个模型,就找不着,现在我觉得,这个事,已经,越来越少了,真的,越来越少了,作为一个researcher,你的,写程序的工作量,能够是,过去多少倍?
因为,从写call的角度来说,是比较弄,难量化这个事,但是如果说,从,比如说我,做实验,然后,实现一些idea的,效率了上来说,我觉得可能,比起,一年,二十,甚至五十倍的,加速,对,因为,现在模型真的,变得,就是,可以很离谱,就是你可以同时,开好几个,然后,你好几个idea,同时的去,去,甚至,也就是说,这个模型,可以帮你,监控一些实验,监控一些结果,之类的,所以说,还是,真的是一个,挺大的,效率提升,对,但是,这是为什么?
就是,因为,开发的速度变快了之后,就,越试越想试,有越来越多的,想法要去试,所以说,感觉,以前,你可能存在说,哎,你有一个东西,就是这个文件,以前没见过,你看,自己看,你,搞得不是很明白,那可能,你要去花时间,去找那个人,让你医院那个人,可能就几个小时之后,但现在就不是,你就看到这个文件,你不懂,拿去,可能五秒钟,就告诉你结果,你就接着干了,所以说,从工作时间上来说,我觉得好像,工作时间反而变长了,而且,工作的密度也变高了,好,Google已经不是,那个Google了什么,不是那个,可以养老的Google,不是那个,WalkerLife Balance的Google,我感觉,在占AI,这个领域,没有谁可以养老,呵呵,所以你现在,早几晚几啊?
我一般,可能早上九点钟,开始,然后晚上,我就早上九点钟,可能先起来,看一下邮件,然后看一看,我前天晚上实验,然后到公司,可能一般十点左右,然后,晚上,如果我一个人在,美国的时候,我可能就会待到,可能十点,十一点这样,然后,当然我如果我,我家人在,我老婆在的话,我可能就会早一点回家,但是在家反正也是干,所以我觉得,这个占AI,这个领域,没有谁是在躺着的,除非就是,你已经,完全对技术,没有兴趣了,对自己没有追求了,那你躺着,其实也没有人管你,但是我觉得,大家还是比较,self追问,就是还是自己想干,对,你觉得,其他的领域,会出现更多这样的,Cloud Code的时刻吗?
Coding之后,会在哪里爆发?
你问了一个好问题,我要是看清楚了,我可能已经出去创业了,对,但是,确实就是,除了Coding之外,我们已经能看到,就是对很多别的方向,已经产生大的影响,但只说那些方向,可能并不是,一个好的,这种市场上的方向,比如说,好多现在的,做,就是,基础科学研究,比如说,做数学,做理论物理,好多人,其实已经,就大量的,还使用AI工具,因为过去,你可能,像,我们做AI研究,其实很像,就是说,有些人,又,又不是很会写Code,光学明白,怎么,打开这个编音系,把Code跑起来,可能半天,已经过去了,现在就没有这个烦恼了,就是,你现在想试,五分钟之后,Code写完了,你就可以开始试了,对,然后,甚至,像Germany Deep Sync,发布之后,有很多,基础科学的研究人员,就把,这种,比如说,数学推导,数学证明,然后,甚至就是,这种文章,然后,规纳这些事,全都交给模型了,其实说,已经,我觉得,对除了Coding之外的,方向产生了影响,当然,就是,那些基础研究,可能很难,就是,变成一个,万众主目的事情,除非,你就真的发现了,一个,以前人都没发现了,很妙的理论,比如,AI产生了,AI三理论,这样,级别的东西,那可能会变成万众主目,但是,那个,我AI好神奇啊,它为什么,首先上来,做的都是人类,觉得最难的那部分工作,我觉得这是一个,特别好的问题,就是,我觉得,过去的,在我,在我人生的阶段里,大家往往会觉得,最,智力上有挑战的工作,对,反而是那些,比较理性的事情,比较客观的事情,比如说,数学,比如说,写代码,比如说,还有科学研究,对,就是,越是这些事儿,其实AI越容易做好,因为,你一旦想清楚,这些事儿怎么去评下,你就知道怎么训练,人为什么比较难呢?
你看人都是,智力分配,最高的那部分,做这些工作,对,但是,可能未来就不是这样了,未来会怎么样?
我觉得未来,未来其实,会发生了一个改变,就是,那些AI,就是有很多AI,没有那么容易做,但是,反而,是,人可能做得比较好,比如说,做产品经理,我说实话,觉得,做一个好的产品经理,是一个,我现在,想不明白,该怎么训练AI去做的事儿,这是为什么?
没有标准,没有标准,就是,没有刻度,什么叫做一个好的产品?
我,其实想不太明白,没有一个很客观的标准,你一定是,做出来之后,给人用了,你才知道它好,大家才会说它好,对,我觉得,那个,就是一个,回馈信号很不明确的事儿,那个,我就不知道,该怎么去训练AI做,对,程虚员,什么时候,会被彻底取代吗?
会有,会有这一天吗?
嗯,我觉得,这一天,会来,但是,它不会是,一瞬间的来,就不会是,程虚员都还在,过了一个晚上,第二天,程虚员全被开除了,不会是这样的,它一定会是,一个见面的过程,但是,大家现在,已经看到这个见面的过程,因为,有一些公司,已经开始,开始裁员了,对,我觉得,嗯,从某种意义上来说,AI是一个,从某种意义上来说,它实际上,是一个很好的东西,但是,从某种意义上来说,它可能也是一个很,很不幸的事儿,就是,AI是一个很,centralized technology,它会让,少部分人,大部分人,失去他们的,他们的,独特价值,对,所以说,我觉得对于,传统的软件,工程来说,呃,以,最后变成结果,可能就是,现在,千分之一的人,干了,过去所有人的工作,拿着,现在一百倍的工资,那你对程虚员有什么建议?
哎,我觉得,我觉得,可能,呃,接收新事物,对,我觉得,我觉得,未来程虚员,可能很重要,一件事,是怎么和AI,去有效的协作,嗯,做,比如说,有很多事情,是AI,可能做,做的不是那么好的事儿,比如说,怎么去,呃,合理的,设计一个,一个事情的实现方案,然后,怎么样设计,让它,可能跟,这个公司,未来的发展,比较契合,那这些东西,很具体的,就是,很具体的,就是,像过去,很多程虚员,做的工作是,你的经历,告诉你,实现这个,发,下周五之前给我,也这样的工作,未来,可能就不会,不会再存在了,那千分之一的程虚员,或是什么样的程虚员,他们的特质是什么?
首先,千分之一是个叙述,我真的不知道,会是千分之一,还是万分之一,还是十万分之一,也可能是百分之一,你不要那么悲观,呃,然后,我觉得,我觉得,未来好的程虚员,首先,他肯定是,从技术上来说,他一定是,会是非常强,因为如果你技术上弱,那没有什么道理,你还不能取代你,但技术强,可能不会是唯一,就不会是一个必要条件,他可能是一个充分条件,另一个事情,我觉得会很重要的,就是,你得能够,理解,你的这部分工作,在一个大的组织,或者一个大的公司里,该去怎么,怎么适配进去,这件事情,可能也是一个重要,然后,呃,当然还有可能别的,很多事情,比如说,这个人的规划能力,是不是足够强,他规划能力强的话,他肯定可以,同时,把这个大的,一个很复杂的事情,拆解很多,相对较小的事情,然后,交给不同的AI去做,但是,现在看,这三种能力,是重要的,可能AI还不能完全做,不代表,六个月之后,可能六个月之后,你过来问我,我发现最后一个事,AI已经能干了,那就只剩下两个事,再过这个月,可能剩下两个也能干了,那可能我就,我回答就会变得更悲观,所以说,没有人能预级六月之后发生什么,我只能说,从现在的观点来说,刚过去的那个春节,很多人关注另外一件事情,是Cdance,Cdance会让Google焦虑吗?
我觉得,其实,呃,有可能有,但是,这个焦虑的情绪,目前还没有传导到我这儿,可能让,呃,Google Dmine的负责,多么太深层的团队,会有一些压力,但是,呃,我,如果你要问我的话,我觉得,我可能不觉得,他们有什么,可焦虑的,就是,我觉得,并没有体现出,什么犯事上的改变,更多的是,我觉得自己在,呃,不管是,这个产品的效果,还是,可能在数据上,之类的,呃,这些细节,会做得非常非常好,我觉得,这些细节,过去在多么太深层,一直以来,都有比较强的优势,但是,我觉得,呃,知道我跟人没有体会到,它是一个,一个犯事上的变化,那可能,呃,就不足以说,让大家非常的焦虑吧,对,但是肯定是有压力,对,Cdance,它的产品能力,来自于模型能力,还是产品能力?
呃,我没在,自己也干过,所以我也不知道,具体的细节,你要让我猜,我觉得可能,模型还是占大头的,嗯,模型能力,的好来自于什么,来自于数,因为算吧,可能没有本质创新,我觉得算法,呃,首先就是,因为刚才多么太属于,咱们说的就是,课学问题,多么太的,生成属于课学问题,对,多么太生成,还属于一个比较课学问题,所以说,多么太理解解决了吗?
呃,比生成,肯定是要,更系统,有更系统的理解,但是,比起,肯定还是没有那么的,那范氏还没有那么固定,对,我觉得生成上,可能就是,呃,因为它是一个,还没有,范氏还没有固定的事,可能每家用的技术都会有一些,大了或者小的区别,然后,呃,现在,更多的只是,能看到说,效果上来说,可能,字节和谷歌D-Mind,属于,在效果上来说,做的比较好,嗯,所以它可能,也是来自于,细节做的更好,你如果要让我猜,我会猜数据,数据,你要让我猜,我会猜数据,但是,就是,我也没在字节干过,所以也是我硬猜的,嗯,哈哈,你怎么看,从谷歌去,字节的,我永恒呀?
我喝得很,呵呵呵,评价有,我觉得,我觉得,呃,我,我,我,我,我,我,我,我,我出了展 ama奶之后,嗯,看到的更多的是,永恒好的一面,就是,我觉得,它是,我,通过,偷偷去看它以前教过的大麻,以及它带过的,像我,我的感觉是,它是我见到了少数,嗯,乘携非常高,然后人也很,很 망,但是,还有很强的,技术能力,我觉得是非常少见,所以我觉得,我觉得,是还没到能够评价永辉的这个这个水平的但是要让我问我说的话我觉得永辉是非常强的你说站在2026年的这个QE的拍一张快照你就中美的模型能力差距是在放大还是所小差多远我觉得如果现在放眼中快照去看过去一年的发展趋势或者过去一年半的发展趋势吧显然这个中美之间的GaP是越边小但是最后这个GaP会不会完全迷和甚至中国超过去那我觉得是一个不清楚的问题我觉得对中国的AI的研究员来说研究机构来说也是一个机会然后我觉得一个很真实的事就是中国确实在实际的算力资源上来说是占很大劣势但是这个很大的劣势可能反而逼出了一些有趣的事比如说中国的卫星公司其实对distribution就征留别人很在好对最近达瑞不是点名了三家公司征留他对 我觉得其实可能是一个征留这个事存在是一个一个新招不宣的事实但是我觉得征留他也有不同的方式就是也有硬征和和聪明的争两种不一样的选择你要硬征硬征就是觉得最点载难的意思就是我从cloud里面取出一堆他生成的token然后强行在上面做训练这个如果干这样的事儿我就觉得所言山页上也不是很道德然后智力上来说也比较愚蠢因为干这个事儿的公司其实本质上来说他体现出来的一件事儿就是他其实都不知道自己想干嘛他能干的唯一件事就是超别然后让自己的模型数据上能看好看一点对 但本来上就说明他自己都不知道该干嘛这是硬征但是其实征留也有一些很有趣的科学问题比如说我是不是有种可能随便举个例子就是有没有可能是我自己生成数据的这个链条当中用到了别的模型作为辅助或者说我自己模型生成的答案用别的模型作为他的评价者这个其实是一个我觉得商业上来说比较灰色的地带但是从技术上来说其实很有意思因为你想其实从某种意义上来说可能中国的实验室成为了做multi-agent训练的先驱而且是真正的multi-agent因为它是个从不同家的模型里用这种比较聪明的方案把它们融会到一个训练系统里的话每家模型它可能是分布过的是分布很不一样它的语言的分布很不一样这个是真正的multi-agent它可能比起比如说我用好几个咱们来一块做是一个技术上更有趣的事所以说我觉得对我来说聪明的我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事但是技术上其实很有意思你这两种真分别说的是谁能不能后期把名字逼掉我首先没有在中国来不干过所以我不知道确切的事实但是我的感觉就是应该是应征了然后可能曾经应征过但是后来可能慢慢也在努力向软针的方向转化我觉得比较明显可能挣留比较少的是自己我觉得自己是我感觉到这个模型还是比较特点特点体现在哪里比如说这个模型你说它有多聪明呢我觉得豆包是肯定没有粘饱奶和可奥的聪明的但是首先比如说豆包的语音生成非常非常强这个很难吗在技术上确实豆包是做得最好的因为我发现我生活上的问题我只想问豆包用得很快但是其他模型为什么不优化这个产品功能呢我觉得还是跟它的幽默群体有关系在美国我觉得大家的这个想法更专注于怎么能够提高工作效率你生活没有一些困惑吗我生活中有首先我个人确实是一个生活上比较无聊的人所以我生活中没有很多有趣的困惑可以去问豆包我生活中更多的困惑都是技术上的困惑问咱们来这种聪明的模型就是最好的对我没有什么半夜去打豆包情感电台的需求不只是情感就是很多比如说你做饭你可能会遇到一个什么问题你可能其实需要一个需要有人告诉你但是你又没有不知道没有这样的人那些我觉得可能更多是数据上的问题然后可能更多的只说美国的公司现在主要的主要的优先级是在智能或者工作效率上未来有天会不会变成这些日常的事情我觉得是有可能的事实情况是你如果去问这种日常话题其实你能发现咱们的美代一代到另外一代会做得也越来越好随着我身边很多朋友包括我自己以前也是就是我以前在套位的时候可能写课的会去问客老的但我可能日常查个什么东西我就会去问咱们你用我豆瓣没有我其实只用过一两次我发现你们都不怎么用是不是有比试链有致力的比试链没有不至于我觉得首先就是就跟在中国人试图用美国的模型会有一些复杂的事我在美国用中国的模型其实也是挺复杂的第二就是也没这个动机尤其我觉得可能上伙中工作是工作休闲的时候就是找不一样的工作对我来说我的最好伙伴就是客老的海珍美乃但是可能对别人来说并不是这样所以可能也只是我个人的问题我自己用豆瓣的那一两次是因为有人给我展示豆瓣手机你怎么看豆瓣手机我觉得是一个很很很好的想法我个人觉得效果上来说其实做的也不错当然我不知道的是技术上来说它的优化做的有多好我觉得它实现一些任务的实施从效果上来说是没什么问题但我不知道它会有多大消耗如果这个消耗非常大那可能是一个技术上需要解决的问题因为你并不希望什么让你的模型去给你订了一张高铁票结果花的钱比高铁票还贵这个肯定是一个不可以接受的事所以说可能技术上来说我个人不清楚它有多成熟然后我觉得长平常来说对大家来说还是一个挺不能说惊讶但是让大家觉得挺兴奋的事然后我觉得可能苹果以前也想干这样的事只是苹果可能自家的模型一直不太行苹果好像不甚在于它的AI战略现在我觉得苹果一定是在AI战略的因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点但是自己的模型没赶上趟现在可能要通过和咱们来合作来试图做这样的事至于现在它是不是重视首先我也不知道你要让我猜我肯定觉得是重视但你要让我解释它为什么从外界来看没那么重视我的唯一猜测就是如果你外界来看就显得很重视还做不成那就显得很蠢晚尊对好不在意我们说一下豆瓣的模型你刚才说豆瓣的模型比较有特色你们具体一点一个是要语音做得很好这是第一点我觉得语音做得很好是我能感觉到最有特色的事就是我觉得语音这个效果可能是客气的说可能是全世界最好的之一不客气的说我觉得就是全世界最好的这很难吗我自己没做到那个力不过所以我也不知道是不是难但是我觉得可能是一个很费功夫的事不管从数据上还是各种优化上来说它是个产品的事还是个模型的事它一定会是模型的事它有可能也包含一些产品的部分但一定是一个模型的事然后我觉得这是一方面然后另一方面我自己感受就不多了因为我其实用的机会没那么多那可能就是更多的是来自于亲朋好友的反馈也就是说豆瓣的模型就是fun to talk就是了解它很有气但我觉得那个更多的是一些主观的反馈了我觉得它的那个一个是语音然后一个是它身上的很快也是一个很重要的因为我很多模型它都在给你展示思维链但是我就说那个生活上的所是我不想看它的思维链对这个事我觉得技术上并不难只是可能大家目前还没有花更多时间在这上面然后试试情况是如果你去尝试詹曼3.1和詹曼3的话你会发现詹曼3.1在完成的我按一个问题的时候已经会比以前快很多然后废话少很多了所以说我觉得这个不是一个在我看来不是一个记录上的难点它更多只是什么时候去重视去做这个事我觉得可能就是现在现在美国的这几家还都处于在努力吧智能的上线往前不断推进二字节呢当然它也肯定是在推进上线的但是我觉得它可能就是在用户的用话上也做得很不错最近还有一个话题就是中国的机器人红货在春晚上我不知道你对这个有没有什么观察看过一些表演也在亚马逊上搜过一些价格确实很惊讶它居然这么便宜买了吗没卖我买了也没什么用但是确实我以前会我不知道我以前脑海里觉得这种人性机器人然后当然就软件层面其实没什么但主要是硬件我觉得硬件想做的这么成熟可能怎么也得是个什么大级百万维金啊这样的还有一个好样的我去看了一下价格比这要便宜很多我觉得这还是体现出中国在硬件这个产业链上还是很有优势但是我并不知道它作为一个它作为一个机器人硬件来说我觉得确实是非常非常强然后从软件上来说没太看明白我觉得机器人的模型也是一个目前非共识比较大的事情怎么说就是说它我觉得机器人的模型可能更多的处于Future Engineering的时代就是你有一个给定的环境给定的场景你去优化这个场景大家是知道怎么做的但是做2L做强化学习做强化学习构建合适的虚拟环境还是虚拟的这种数据然后你去做训练是可以提高的但是它没有很强的泛化性我觉得这个是有没有泛化性其实是很多AI方向它的一个分水里就是一个确定的场景一个很单一的场景能不能做好这个事不是最近这几年才解决的十几年前就能干就是像语言也是语言在这个基于传双目这种类似架构之前的时代里并不是说完全做不了那时候你也可以训练也很强谋形去做翻译你可以训练也很强谋形去做语言分析但是你不能做的事是我可以水平的提高所有的能力这个我觉得是一份水然后我觉得蓝鬼之谋在传双目和GPT之后跨过了那样一个阶段跨过了一个就是可以水平的提高所有能力然后你可能在一个点上来训练它会把这样能力出向的放好到所有相关的事情上但是机械人我觉得没到两个阶段更多的还是在那个阶段之前就是我有一个单一的场景单一的事情然后我能够为这个事情去做优化所以你怎么看规定的这些机械人团队还包括GEM的内部也有很多机械人的人你会怎么看那个方向有点这算什么只是你的子方向还是你们的平行方向还是什么我觉得过去是一个挺平行的方向但是现在机械人我觉得大家也在尝试就是能不能利用语言模型作为一个基底模型然后在那个上面去训练这种类似比如像VLA这种类似的特别是多文态模型对然后所以现在来说就是和变成了和语言模型这个这条线比较相关的一条线然后我觉得我个人的感觉是他们未来会变得很重要但是目前还没有找到自己的路但是他们做的事真的很有意思我非常推荐大家去看看机械人的实验室比做了语言模型的实验室要有趣的多做了语言模型的实验室感觉就是正常的办公室但机械人他们是真的就是会有人去操控这个机械人采集各种数据然后去看这个机械人在什么在货架里去取不原样的货品之类干什么的事情最后是很有意思的一件事你去的是哪家我去我在詹曼尔自己的实验室不是詹曼就是那个Google Dreamline的自己的实验室去看过然后还有Dana我一起看过他们是个叠衣服的机器对他们就是可能场景更单一了一点就是我叠衣服是叠机器的人可能做一些别的谈就比如说倒个水之类的这样你直观感觉机器人进展相当于带原模型的一年还没有到GPTE的时刻对不对一定没到我觉得一定是没到对就是相当于大家还没有想明白怎么去skill up我觉得对我来说不管机器人还是多么太生成都没到这个点那接下来进入今天的主题我们还是对你非常的感兴趣然后聊一聊你是怎么从一个学务里的人进入AI的世界的你从小在哪儿长大你是怎么长大的我出生在宁夏然后一个很小很小的城市叫大户口看就是你这困惑的表情你说明了这个城市有多小这个城市过去的存在是因为一个煤矿对因为史坦锦一个煤矿然后有了这样一个城市对所以我一在那出生但是我小学的时候跟我父母一块去到上海然后所以我小学的后半段和初中高中是在上海然后我上本科就去了北京就是刚才说说的没想就是上本科在北京然后博士在美国对你从小都成绩很好是吗你是物理竞赛宝宋然后在清华和斯尔兹读的是理论物理对我不是物理竞赛宝宋的我觉得我想说挺菜的首先我读的初中和小学都是无名之辈我觉得我大师读的初中好像就是竞赛不是一个你该考虑的事就处于这样一种这么一个初中理那个叫上南中学东校又是一个大家听了很困惑一脸一头雾水的学校好既然都说到这人的小学是哪个小学小学叫啥来着我的康泰克迈的这种能力太强了我已经不记得叫什么了其实可以然后对就是那个初中就是一个班里面一个小环境还是有一些想要好好感受的同学的但是总体来说那个初中我觉得是比较躺平的状态对然后我觉得就是可能还学习还可以还可以是什么还可以就是当时的状态就是上海高中有所谓的那时候有所谓的四校有什么上海中学然后华尔交达和负担的附属中学对然后当时的状态就是能上这四个学校但上不了这个四个学校里最好的班但是我当时特别想搞竞赛因为以前都没搞过竞赛你初中还是搞竞赛我初中没搞我初中没搞过竞赛你没搞过竞赛为什么想搞竞赛因为没搞过所以想搞怎么植入了这概念我这个人的个性就是总是爱干一些自己不太会的事对然后当时没搞过竞赛但是知道有这么回事所以觉得义务教育不是义务教育就是上大学之前得干一把所以但是成绩也没好到那个份上所以去四校最好那四个学校是进不了搞竞赛那个班的我当时就发现有一个稍微差点的学校那个学校就是革制中学稍微差一点的学校但是那个学校有一个竞赛班然后我感觉这个这个竞赛班按照现在的话说就是Underdog厉害用当时的话说我感觉就是光脚的不怕穿鞋的我觉得可以一搞所以就其实当时那个那时候上海还有就是所谓的退休生的制度就是你可以在考试前就去和某一学校签约然后你就提前下预订一个学校的名额然后就直接去他们那然后就很自然去了然后去搞了竞赛搞中所以你其实是在上海四校的普通班里面和这个革制中学的竞赛班里面义务反顾的选择革制中学的竞赛班当然我也不能我不能说我做选择的时候这个上了最好的四个高中是那么板上定阶这些事虽然后来的分确实够了但是没中考但是当时就觉得就算能上我也应该去一个当地到个地方赌一把为什么因为想干这个事你想干竞赛的目的是什么我觉得当时最主要的事是想体验我觉得没干过一定要搞去干一下为什么一定要干一下这个第一就是觉得他确实难就是确实有一种对难的新闻感就是确实至少当时没搞的时候当然给我的印象就是感觉这个事比你不搞竞赛学的那些东西要有挑战性的多了你觉得干这个事人确实强不干你也就只是这个平庸石头里最光滑的那一个所以我当然觉得要干所以就去干当然干了之后也实际上带了一些好处我后来回想起来如果当时没去搞竞赛可能就进不了新华了你是有加分还是什么当时其实竞赛的保送生制度已经比较锐减就只有进国家集训队才能保送我那高中反正我觉得我当时没进国家集训队这个水平的所以就别说了但是我在考高三竞赛之前英差洋错的去清华参加了一个夏令营然后英差洋错的在夏令营的最后一天听说了他们在搞自武招生但是主要是面向北京的学生我就疯狂给招生办的老师发短信说我要跟他们一块考他答应了然后他就答应了我们去考你们还是你就是答应了我们高中一块去的那几个人去考上海去夏令营的那几个高中同学去考你有什么理由说服他你来发短信我已经忘了一个短信具体怎么说了但这个短信大概说的意思就是你给北京的同学考为什么不给上海的考大家难道不去理直气壮你当然觉得他们开后门是吗我也不是觉得他们开后门就是觉得人家有这个机会凭什么不给我们大家都在一条线上竞争就是你们当时同学然后所以就发了这个信息然后人家就真正我们去考了几个人我去不小心了可能有上海去那个考场里可能有七八个人的样子是你发那个短信的可能别的高中有别的学业发但我们高中是我发的就是都是上海高中去北京参加夏令营的同学参加夏令营的同学然后就让你考然后就签了这么好说话对所以我从那件事得到的人生最重要的道理就是胆子有大你不争取是永远得不到的争取了也有可能得不到但不争取就绝对得不到你当时发那个短信的时候坦特吗你当时还高中我已经不记得了当然觉得自己这是个很大胆的事吗还是还好我当时满脑想的都是现在就得争取再不争取明天就争取不到就当天就发了就是我在听说的那一天就赶紧去疯狂发乱信疯狂发给谁发发给《青华招生万岸》老师就发给了一个人还是多个人我记得了 应该是一个老师他很快回了吗我觉得《青华招生万岸》就算夜色了我不知道他们自己有没有讨论了但是反正最后是说了是 同意那就一起考试了所以我为什么我感觉我一直对《青华招生万岸》还是挺有感情的我感觉这个学校是愿意给大家提供机会给大家提供评论机会的你那个考试考怎么样我当时出来的时候觉得考挺崩的因为有半道题没做出来但是我后来发现别人没做出来更多就果然就招了对你们那一波上海同学进了几个好像两个《自古招生》是减分还是什么是降到一本线降到一本线然后你高考考好吗后来高考果然没考到《青华招生万岸》的分但是就是除了《青北之外》的学校都能上对所以为什么网上都写你是保送的我觉得就是大家不在那个没在那几年上过学的人很难理解金属那几年到底发生了什么因为在我的两届之前还是拿了省一等奖就能保送的拿了省一等奖就能保送就能保送的你们那时候呢我们那时候就是拿了省一等奖进了省队然后再代表省队去考国家的比赛然后进了国家集训队才能保送我是进了省队去考了国家比赛但我没考进国家集训队对所以说我那届我是没有保送生饼民恶的你搞金菜搞得好吗我觉得挺菜的就是难道不是没有干到最好就是很菜吗然后我显然没有干到最好所以就是很菜你家里人对你搞金菜这个事情是什么态度我觉得我爸妈最好的一点就是他们不太管我他们可能曾经也是都管过我后来发现管不住怎么管不住就是我也不听他们的我觉得可能大多数中国家庭都是孩子和父母商量已经算是很好的了我一般都是通知通知到啥通知哦我去自主招生了然后包括中高考田志愿也是我爸妈甚至可能都没见过我之前但他们表辅我是吗他们我觉得就是当你没有办法理解别人在干什么的时候别只是我画脚就是最好我觉得我爸妈这个道理懂得很好那你是表叛逆是吗我觉得我是因为我觉得我个性是我很care我想做的事如果这件事我自己想明白了要去做你就别拦我然后我也一定会尽最大努力做到最好但如果这个事我不想干比我干也没用我也不会干你的胜负欲强吗挺强的但我觉得我更多的是在跟自己跟自己较劲不是不太愿意和别人较劲当然就是如果正好是我觉得这事很重要你也觉得这事很重要那我肯定是要干得比你好好那你到了清华就更省了去学了量子物理为啥对我当时做那个宁愿态理论然后为什么选这个专业阴差阳错现在回过头来说当然能编造出一些听起来很合理的理由但是摸着良心回到当初我觉得就是阴差阳错就是当时我们在计课班然后计课班有一个非常好的传统就是首先计课班他虽然在物理系但他不限制学生干什么所以计课班实际上三分之二的学生都不会做物理然后对于那种你为什么会进这个班当时清华的物理系全都是计课班现在可能不是反正当时是然后他另外一个好的传统是他鼓励学生在实践中学习所以他鼓励学生尽早的去进到科研的实验室里去然后去和在科研中学习然后我当然想很想做理论然后他会觉得这个难吗是吧感觉就是你的男友一种着迷可能也是一种病之后可以再讲讲这个病带来的不良后果是然后对然后我想搞理论然后当时计课班或者我们学校班有一个更小一点班然后那个老师就推荐说高等研究院是个很好的地方清华高等研究院就是杨德宁先生创立的研究院是个很好的地方然后我就去那找老师然后正好有一个那时候还很年轻的老师叫王忠是我本科的老师那时候他也没几个学生然后我呀就聊我当然啥也不懂但他还是挺贪心还给我了给了我一些这个paper让我去读然后读我就跟他讨论后来又发现你太理论尤其当时做的那个方案就是跟透布局员体然后这些这些比较相关的方向其实是一个很适合本科生上手的方向就是他需要的背景知识不太多他只需要你可能动最最基本的就是你得会量子力学会统计力学会过去物理也就是其实非常非常容易学的基础但是他可能很考验你对这些知识理解的深度所以对本科生上来说其实是一个特别好的方向就是你能够很快的上手去做一些实际的项目然后我们就一块做了一些工作其中有可能在开放量子T系里面的工作现在看来还是一个挺重要的工作然后从某种意义上来说我觉得现在回头来看做那个工作做那段时间的科研其实和现在做的特别特别像就是他更多的是你有一个想法你有一个理解然后你在那个阶段就是你可以做一个数值的实验去验证你这个想法和理解是不是对的你发现AI其实也是这样AI是你有一个想法你有一个理解你去设计一些实验验证你的理解是不是对的然后你设计一些模型上的训练的这个处理来把你的想法实施出来对 虽然其实这两个是很像的你能不能讲讲你这个非恶密系统的研究可以讲我尽量说人话但是也有可能实际上说了鬼话所以要是不想听的人可以跳过画一下竞竞调画一下竞竞调当然可以在竞竞调上设置两个戳对 然后对非恶密系统是这样就说量子力学一个最基本的假设是一个孤立系统它的演化被腰症养化所描述腰症养化是个鬼话 对不起腰症养化的意思就是它是一个线性的过程然后这个线性过程它可以被一个算子叫做哈密顿量来描述哈密顿量从某种意义上来说它有点像这个体系的能量但不完全是 就是有点类似于所以它决定了这个体系随着时间的演化然后如果是一个孤立系统这个哈密顿量会是一个恶密的矩阵恶密的矩阵就是你转制一下然后做一下功额它和原来是一样但是真实的系统绝大多数都不是孤立系统例如说你我作为人肯定要和外界有信息交互 有物质的交互材料也不一样就是你一块材料放在那除非你抽特别的被镇空的你总得和趁力有交互你得和外界环境有交换所以真实的体系绝大多数时候都不是孤立系统然后孤立系统它就不会被一个腰症的过程去描述然后它所对应的哈密顿量也不会是一个恶密的哈密顿量就是这个非恶密这个死的来源它本质上是为了研究开放量子系统就和外界有交换的量子系统它的行为然后当时发现一个很困惑的事是我们一开始是试图研究开放量子系统里的一些透泼现象然后就发现手算出来的理论的结果和数值死活也对不上然后更确切的说就是手算结果是假设了这个体系是一个周期的编辑条件比如说它在一个环上或者在一个轮胎的表面上然后数值的话就会因为就和实际的情况比较类似就会算一个开放边界的就是一个方块材料上的行为就发现这两个结果死活也对不上然后就试图理解这个事后来就发现大家过去用来描述恶密系统的一个基本的饭式就是所谓的布罗河波就假设物体的本成态都是一些波的线性组合正确一些波这种波的线性组合这个假设其实在非恶密系统里面会break down就是会变成错的实际情况就是后来我们就发现在非恶密系统里其实它的能量的本状态都会有可能会聚集到体系的一边边去然后我们就系统的建立了这套描述的方法然后就是建了一套体系去描述一个开放边界的非恶密系统它的本状态该怎么去描述竟然而描述它的一些随时间演化和一些动力学所以这个是当时这份工作然后后来就有很多因为它其实是一个饭式上的更新所以后来就有很多follow up的工作但是后来其实我换方向了所以就没有太在这个方向继续做了你为什么不严任它做很难抓住一次饭式的变化呢 是不是很难抓住一次饭式的变化 是的这就是人性的弱点就是我感觉我总爱挑战一些自己不会的事尤其当时就我不知道我当时的感觉是在那个方向可能那个工作从再过几年回头来看就会是这个方向最重要的工作后面你再去做一些工作可能确实会让你更有名获得更多的引用写更多好的机开的文章 找了一个好的教职但是感觉作为一个科学生来说就没那么令人激动了所以我当时就想换个东西做换一个自己不太会的东西做所以就读过这时候就换了一个方向去做高能理论高能理论 对 高能理论物理所以你本科和博士也是不一样的 是吗也是不一样的还不是从物理跳到AI其实你本科和博士看起来都是物理其实方向也已经发生了很大的变化对 是两个 几乎没有任何联系的方向你这个很神奇还包括你选精赛去那个格置中学很神奇这是你的什么人性我觉得就是说难听了就是爱折磨自己说好听的是挑战自己被折磨开心吗我觉得如果为了被折磨而被折磨那这个人就是有心理疾病但是如果一个人是为了学习更多的东西丰富自己的精力和能力而被折磨我觉得是值得的你本科那个老师 王忠老师也是个underdog 是吧算吗不算人家做的挺好的什么可以这样出来在那个时候你刚刚来说还是很年轻吗没有 她很年轻但是我对她的印象一直都是她是一个很sharp的人就是很能看问题试图理解问题理解很清楚的人确实可能不像很多老师那样是很有名气在社会上或者很光彩多目只要那时候不是现在已经很有名气了那时候还没有那么有名气但是我觉得从能力上来说我觉得她是很强的然后其实她一开始是她读博社的时候是和那个首承老师张首承老师学习所以说能被首承老师挑战的人基本都不会太差她对于你博社换方向说过什么吗没说过什么我觉得她是一个不爱干涉别人的人我不知道她内心是怎么想的但是我觉得她是一个不爱干涉别人的人量子物理整个是一个什么样的世界观她跟我觉得最大的区别就是我觉得和景点物理有很多不一样的地方但是我觉得他们俩是一个对应的感觉是吧景点物理和量子物理她俩是一个在不同能量和时间或者空间尺度下的理论就是说本质上我们这世界都是量子的当然我们现在也不知道比更小的直播大会什么就更像是让有很多不一样的想法比如说旋转是一个想法然后可能其他想法就是权量自己也是个想法之类的但那些都没有办法验证被验证的小尺度上的有效理论就是量子物理最小的尺寸对就是被实验上能够验证的最小尺寸的有效理论就是量子当然这里面包括量子力学和量子炒的然后景点物理是当你看所看的这个空间尺度和比较大的时候这个量子物理会慢慢退化成了景点物理所以说它更多的是在不同尺度下的不同的有效理论这个事其实在物理上是一个很深刻的想法就是所谓的重重化群重重化群说的事就是说在描述一个体系的理论在不同的能量尺度下可能看起来是完全不一样对然后哪怕他们可能从根源上来说都是一个大一同女的当然现在没有什么真正的大一同女的不是如果存在的话他们哪怕在根源上同一个根但是他们在不同尺度上可能看起来也是完全不一样然后所以景点物理和量子物理更多是两个不同尺度下的描述讲到量子物理有几个词好像是相关的比如说蝴蝶效应比如说量子纠缠能不能讲讲这些我觉得这个可能是大家能听得懂的然后我也不懂物理大家不要骂我我也不懂量子物理对我觉得量子纠缠确实是一个大家比较二叔能详的量子物理比较独特的事情然后它就是很简单的就是说我有两个例子比如说它属于一个纠缠态然后我可能他们实际上相隔很远但实际上我可能对其中一个做一些测量或者围绕它也会影响到另外一个的状态这个是真实存在的这是真实存在的什么样的会有量子纠缠什么样两个物体有很多实际的情况就是实际上当你足够看得足够细足够微观的时候绝大多数的例子可能都处于纠缠态但实际上来说你可以比如说制造一个自选和另外一个自选你先把它俩靠在一块然后把它探收到一个纠缠态上然后你可以把其中一个拉得很远它俩就成了一个距离很远的纠缠态然后甚至好像我记得几年以前还有人专门去做一个细菌和一个什么东西然后置配在一个量子纠缠态里什么叫置配在一个量子纠缠态里这个是可以人为操作的这是一个可以人为操作的时候为什么怎么操作一般来说就是通过一些测量和演化算浮的作用能够把它置配到这个状态上但是这里面难的其实是实验上怎么实现过过程就是你可以想象就是说你做一些量子测量和一些所谓的量子门的操作其实是比较难的因为又回到刚才的问题就是每一个体系它其实都不是孤立的你可能这两个自选你觉得我这么置配一下他就觉得到结果常态了吗那我再把它拉开不就完了但是实际的问题是这两个粒子其实活在我们这个世界里会不断有别的粒子状态一下或者外面的这两个绕动态一下它一下就状态就没有所以难的是怎么具体实验上去实施这个过程对然后纠缠的另外一个粒子可能更好说的那样我其实应该提那个粒子就是确定个猫确定个的猫那就是一个更好说的那样的粒子就是说它的状态其实是叠加了某一个放射源发出粒子和猫死了这是一个状态另外状态是放射源没有发出粒子猫活着这两个东西都叠加状态其实比如说你去测量一下放射源发现放射源放出粒子你就撞猫死了不管是猫还是放射源离多远对其实这是纠缠但是狐狸效应是另外一个的事然后狐狸效应这个事狐狸效应就是耳熟能相的部分其实反而是经典物理其实大家经典物理听听到的狐狸效应就是那个著名粒子就是什么可能南美洲一个蝴蝶铺愣一下翅膀半个月之后什么北美洲挂了一个台风但是它从更数学的表述来说它就是说在时间骑士的时候你如果做一个很小的扰动然后去测量这个扰动产生的影响在未来有多大你会发现这个扰动的变化是指数级变大的这是它数学上对经典蝴蝶效应的一个描述但是之前大家比较费解的一件事就是这个事情在量子体系里怎么可能存在原量体系刚刚说的就孤立量体系是一个腰正眼实际上是一个很线性的过程所以说从某种意义上来说就是你如果一个状态就是一个实量和另外一个实量开始的时候佳角不太大那经过一些演化之后这个佳角应该不会变然后所以怎么会存在这种就是初始状态变得离得很差别很小在未来变得就是指数级变大的好像在量子力学上看是不太可能实现的事但刚刚又说其实我们的世界是在微观是量子然后在红光就变成经典了那它俩一脉相承的怎么可能这有没有这是大家都理解的事当然后来大家就有一些更好的理解就是说其实你讨论量子里面的红光效应时候不应该讨论两个太之间的变化而是应该讨论一些所谓的Local Observable就是局域的观测量的变化那个其实是对应了经典物理的你的看到的那些变化那你读了四年的量子物理以后你当时在想什么你觉得物理对你的帮助是什么在你大四要毕业的时候我觉得本科期间读物理最大的帮助就是第一 想问题要想清楚就是读书不在于读的多而在于读的深你读的多不代表你能够发现新的东西但如果你对一件事有和别人不一样的见解那个才是对这个社会来说更有价值的事这一件然后另外一件事就是别太相信理论别太相信纯理论因为都说了这个结论因为当时那个事发现的主要原因还是因为能做数值就是一开始是因为数值和理论对不上才仔细地研究那个问题然后发现了这个事那你博士为什么去读了高能物理也是一个理论这也就回到了刚才这个话题就是总爱挑战很难的事有时候也是会带来一些不好的结果的什么不好的结果比如我就感觉我觉得我这个博士就是对我自己来说学到了很多东西成长很大但是于这个世界来说没有产生什么贡献就是高能理论这个方案就是足够难非常非常难然后但是不好的事情在于它其实不是特别可以验证没有什么客观的评价标志因为高能理论已经发展到了就是实验完全追不上的这个阶段实验完全追不上你在理论讨论的那些不管是能量尺度还是还是这种微观的尺度对所以说它是怎么进步的它的进步依赖于什么如果不是实验一个进步的来源是来自于数学上的自洽的性比如说你提出一个框架来描述这些事情但你能和现有的已经被验证的更低能标下的理论想自洽就比如说你研究闲论那可能自然大家问的问题就是闲论能不能在低能情况下回到两场论就要回到今天的物理那这个自洽线是一个判定方法我觉得这个是很合理的就是很科学的一件事当然也有一些不科学的因素就是当这个领域完全没有实验没有客观标准的时候肯定不会只有一个框架出现肯定不会只有一个自洽的框架出现这个时候谁做的好谁做的不好其实就依赖于领域那一些老灯的主观判断你是被谁伤害了什么我也没有被谁伤害只是我在领域当时越长就越觉得这件事蠢就是人这一辈子也没多长为什么要把自己的时间浪费在伺候老灯身上对所以感觉是花了五年学了很多知识买了一个大教训这个教训是这个大教训就是要做实验就是要做有比较客观评价标准的事或者从另一个角度来说就是要做对这个世界能够产生影响的事所以其实你本科还是比较顺利的对吧在量子物理这个研究领域很快你很快就有了非常好的学术成果而且是饭食机的变化但是你很快觉得没有心力了所以你想照博士去挑战一个更难的事情然后在博士期间其实是比较落寞的这要从结果来说是这样的外界看不出来外界看都是非常光新的铝点博士在Stanford对我觉得从实际的科研产出来说我觉得没有人会说我博士今天文章不好但是摸着良心说对这个世界有多大的影响我觉得几乎没有影响几乎没有影响所以对我自己来说我自己很不满意的但是我觉得确实也没有不满意到说我会担心有人说我在昏日子确实也没在昏日子就是你还是能达到所有的外界标准的对这怎么做到呢就是我觉得还真的是很多世界冷暖自知对吧对是的我觉得达到外界标准会达到一个小的圈子的评价标准是像训练模型一样就是一旦有了这么一个小的圈子你知道他们的评价评价标准之后做得好是很容易的但是就是其实你哪怕不认可这个标准是可以达到的但是你还是知道你是不认可的因为有时候你哪怕不认可你达到了我也可以蒙蔽自己就继续往前走但我后来就发现我蒙蔽不了自己骗不了自己是哪一年发现的我觉得可能从博士最后的两年吧就会有这样的感觉但是那时候确实也没有想好没有想清楚如果不做这个该去做什么那可能就花一些时间去了解一些不一样的方向比如说一开始我可能更多是去了解是量子计算或者量子信息这样的方向然后拿了postdoc offer就是博后的offer之后感觉这个事更紧急了因为离开在学校里的时候你还可以一个学生的心态离开学校之后就是自己的career你得给自己找一条路那当时就是觉得可能量子计算和ar是两条我觉得给年轻人给小灯机会比较多的对所以你博士后的方向是啥博后没有方向其实就是理论物理这个方向博后是一个很独立的职位就是你自己想干啥干啥他更多的是从某种意义上说要想搞慈善好 谁搞慈善就是有一些可能不管是在意科研的国家组织还是个人组织他可以给学校捐一笔钱或者给学校批一笔钱学校用这笔钱来招一些伯之后在一个系列里面就做他的研究然后把自己的研究广泛来告诉我系列的别的人我觉得他更多的是一种一种社会的氛围的这种工作然后所以其实没什么限制就是你其实想干什么去干什么但是我其实也没做多长时间的博后我实际可能到我可以待了两三个月但官方来说就只待了两个星期官方来说是什么就是我其实在入职之前已经去哪儿因为我反正人就在外面去我觉得入职之前就去哪儿但是我入职之后其实只待了两个星期就辞职了这两个星期发生了什么这两星期啥也没发生我本来都不准备入职的但是博克力人就是太好就是没事就是等事情定了再说能来多久就得来多久你告诉他们你其实在跟Enthropic谈对我告诉他们其实我觉得我可能会去做AI了我要不就别入职了但是博克力不是不止博克力我觉得就是湾区这两个学校的老师都人很好就他很照顾你他就觉得你还没有完全谈定那还是先把现在的工作先拿着你觉得物理对你后来做AI有什么帮助吗我觉得硬实力量其实没什么帮助就是存工具性的技能上来说其实从物理到AI的转化是非常少的但是我觉得可能非要问的话我觉得可能主要的不能说能力就是性格可能是可能做物理人会更想跑根问题更想理解一个事然后更想做事很系统因为我们习惯了这种很系统性的不管是做实验的方式还是做理论的方式所以我觉得这个可能是一个比较好的地方但是我也不觉得这个事是做物理人独特的就是为什么做计算机的人没有这个特性我觉得我认识很多做计算机的人也有这个特性很多做学化学的人有这个特性学生物也有这个特性所以我也不觉得他是做物理独特的但事实上就是可能比较有趣就是这个领域里面确实有很多尤其就是原模型这种比较large scale的这种AI确实有很多物理出身的人然后做得很成功尤其是从这个公司又很多人在描述这一代AI的时候都会说是黑核你能用科学的角度来理解一下这个黑核吗就人工智能的运作员我觉得这世界上所有东西都是黑核就是哪怕像物理这种大家觉得很理解的东西其实也并不是真的有一个从它微观的行为一路演化到了宏观体现的这种理解像不管是刚刚说的large scale还是large scale其实都是描述那个能标下的行为本质上这个系统还是一个黑核你还是不知道它最微观的地方是什么样的东西去AI也是一样黑核不黑核其实都是一个相对的事我们确实对原模型没有理解到神经科学手术刀级别就是不是说我理解这个行为能理解到说这个行为是由于哪一个牛扰哪一个人工神经员的哪一个计划产生了这个行为不会有这个没有到这个层面理解除非就是在一些很稀疏很小的网络里面就是像照片有这个所谓的intelability去可解释信团队他们可能会做一些类似的工作但是在实际能够使用的原模型里都没有达到这样的理解但是也不代表我完全没有理解比如SkinLaw它就是一个描述了那个尺度下模型随着模型大小和数据是怎么在purposity就是这个指标下变得越来越好所以你说是完全没有理解吗那如果说SkinLaw不算是理解的一个小部分的话那是不是我们也说我们其实对这个世界也完全不理解这个世界也是一个完全黑核所以SkinLaw是一种科学规律它是一种经验规律经验规律但是经验规律和科学规律它之间的界线是很模糊的比如说我们回头去看这种热力学的各种不一样的定律第一定律第二定律克拉伯隆方程中来发扫这些东西在当年被发现的时候也都是经验规律但是只是说后来随着时间的发展我们慢慢知道了它的微观机制那它可能变成了一个科学规律我觉得可能像SkinLaw或者类似的这样的东西它目前肯定还是很经验的但是未来当技术它变得比较固定然后大家开始越来越多的理解它微观的过程的时候会不会变成一个科学规律如果这个定义是存在的话我觉得是有可能的能不能用科学的表达来解释一下所谓的智能永限首先这个话就不太科学所以自然也没有办法用科学的话来表达一个不科学的事智能永限吗我觉得智能永限对我来说它更多的是一种主观的感觉而不是一种科观现象当很多人说智能永限的时候他脑袋想的可能是以前的原本性智能做某一个方向的事比如只能翻译只能做分析只能做什么但现在模型好像可以做所有的事但是这个事我觉得像是对我来说它更多的是一个技术上的永限而不是一个行为上的永限说是我们通过研究发现了该怎么去做这种大规模的训练然后能够水平的提升所有的能力我觉得这个是一个更本质的事至于智能永限这个事其实我觉得每个人可能心理的定义都不太一样你的定义是对我来说就是没定义对我来说唯一之的区别就是有没有发现发生一个技补上的改变使得我们可以做skill up可以水平的提升所有的能力这个对我来说是一个良好定义的事你最后是在量子计算和AI之间选择了AI这个是怎么发生的变化对我觉得还是花了一些时间去了解两个方向的瓶颈在哪我觉得好处是他们都给年轻人机会好处是都有机会但是量子计算对于来说好像是离你的主线跟近一些在那个时候对不对这就是为什么要去了解一下细节因为了解细节之后算不是的是反过来的因为量子计算我觉得它现在的主要瓶颈其实在实验上并不是你怎么去设计那些算法或者设计那些算字更多的是你怎么在实验上实现它那个事反而是我不擅长反而是和我过去很多我有兴趣的事其实是很比较不相关的然后反而跟我相关的事更多想AI就是刚刚说的AI写的更多的是你有一个想法然后你可以用一些数值去验证这个数值在AI里面可能就是训练一个模型或者怎么样然后这个反而和做物理很像它甚至是就是为什么我之前一直把这个和十八世纪的物理学做比较就是它热力学对 更像那个时代的物理就是那个时代理论和实验不分家没有什么理论物理学家实验物理学家你就是搞物理就是搞物理你自己可以做实验然后也可以做理论的推测AI就有点像那时代所以其实从理论物理跨越到实验物理的距离比你直接跨到AI要远要远其实要远而且从兴趣上来说也更远你不喜欢实验物理我觉得你全都实验我觉得确实不是我的兴趣所在虽然我不自己不愿意做但是我确实很有兴趣知道别人实验做的怎么样AI不用做实验吗用但是它是更多摄像素质对它不太像就是你实验史去搭一个光学品材然后什么你还我觉得实验真的是一个就可能因为是我不懂我没有达到那个境界所以有些事在我看来挺玄妙的比如说就是大家都知道这个光学品材怎么搭但有的人就能给你搭出来有的人就是耗了六年都没搭出来这个是动手能力我就是没搞明白我有时候觉得这是很有点玄妙所以还是数值数值实验进行很多对对我来说做数值实验或者像AI就是训练模型然后研究各种不一样的技巧看某些细节这些事对我来说反而是是我能想明白它为什么要这么干但是在搭台在这个事上我就是一头霧水你做过是吧我当然就是大家可能都做过基本的就独立的肯定都做过基本的实验培训但是更多就是有很多做实验的朋友然后不管去看他们的实验室然后看他们怎么做实验还是跟他们聊这些怎么设计实验我就感觉很多事我其实不太能够理解但是他们确实有的人就是做得好有的人做的就是不好所以你说现在从事AI研究像17世纪热力学研究其实在表达虽然大家没有办法很清晰的从科学上去解释和理解这个事情但是它并不会阻止它发展对它更像是在为什么比较那个时代热力学就是那个时代大家其实不理解什么是热的微观理论大家不知道热是什么东西就像现在不能理解就像现在大家不能理解这个Language Model里面哪一个举证员是在干什么其实大家也不理解但是不妨碍你有一些好的经验定律比如热力学的各种定律和现在的各种skating law所以说从这个角度来说是从这个方向的角度来说是这个图面上来说它是类似然后从研究人员的角度来说就是刚才说的另外一问题就是它里面和实验器不太分家对那你是怎么去面试anthropicanthropic的历程是怎么展开的我觉得其实主要还是因为有前同事在anthropic前同事对anthropic其实有很多作物理书生尤其是作理的物理书生的人为什么呀他们从人的选择上为什么会选择这一拨人我觉得当然就是很多很多人可能会找一些原因说作物理人擅长这个但是就我个人的视角来看我觉得主要的原因还是connection就是联系就是因为anthropic的创始团队里面创始团队里面其实有三四个比较技术的人然后其中有两个现在还很在技术一线领导的人他们两个都是作物理书生的然后他们可能招的一些人也是作物理书生的所以就这样一直延续一下但其实到了现在这个间就在我之后其实也几乎没怎么再招完全没有AI背景的人了所以说也是一个我觉得也是一个时代的产物对然后我反正是当时我决定去做AI了所以我就伸出去联系一些地方然后你只找了啊dralpic吗没有我还找了open i和纪点就google demy但google demy因为他那时候速度太慢了所以就没有出现在考虑的范围内速度太慢了是指他们面试的速度慢显然后来咱们俩这个事就获得了长足的提升后来动手就非常快然后dralpic就是open i呢open i也联系了但是open i可能没有找到特别合适的是合人然后dralpic是因为我当时联系了后来就是我的第一任那个manager我第一任经理然后他以前也是做这个理论物理的然后他当时就说我们在查试做强化学习查试做这种大规模强化学习有很多科学问题要去理解那个时候24年9月89月的时候那个时候其实强化学习还没有现在这么成熟那时候大多数人其实都不知道怎么做因为O1其实还没发布的那时候O1只是快发了对就是只是只是大家都知道有但是大家都还没看到结果但是dralpic当时其实不知道怎么做的当时是大体上知道但是有很多细节需要仔细去研究然后所以他就跟我说有这么一个事你要不要来面试一下然后我觉得他觉得可能是一个好的机会你当时怎么认知强化学习没认知你大概知道principal对我大概知道这个流程但我其实不太知道具体的这种工业级的别的圆墨性是怎么训练的只能知道就是像学术节是怎么训练的对然后所以其实现在谈的那时候的认知其实在我现在看来就是没有认知对然后更多的还是我倒是觉得这个事是一个不确定的事然后是一个好的机会所以我就去干了当然也有些准备和面试过程对怎么准备的聊啥我当时跟谁面的后来我一些同事当时面的然后面试期也不太难反正对但是对我来说我也我当时也不知道怎么准备然后我就去把我能找到的那些课自己能学的学了一遍然后能做的作业做了一遍然后自己手措了一套就是那个Android Capacity他有一个有一个著名的那个项目叫叫拿到GPT也叫什么反正就是他有一个可以在一个GoogleColab Notebook就能训论一个很小的GPT模型然后我就手措了一下那个然后就去面了对然后很快拿到的Offer然后就对然后就拿到Offer然后你第一方就是大规模的强化学习也当时其实是有两个组来两个组的Manager来跟我聊一个是做evaluation一个是模型评测然后另外也可以是做强化学习然后我是选择了强化学习你当时选择强化学习是因为他更加的不明了对嗯对然后那时候其实Android也不像现在是一个大公司那时候公司其实也很像多少人我去的时候我们的那个大的team才只有10个人做不是10个人或者11个人大team叫什么叫Horizon对然后那个时候那个大team也就这个大team的平行team有什么那个大team其实后来几乎就是强化学习的方法面面都在这个team对但那时候整个大组就是一个强化学习整个大组首先这个创业公司你也很难说这个组的目标是什么因为他可能曾经也有过很多不一样的目标但只是那个阶段可能主要的目标是做强化学习对他也有做更更数据的组更做环境和infra和几乎说10个组也有更做这种research和算法的组然后我去的那个组是比较偏research和算法的组嗯那时候啊多少人啊那个时候可能七八百的样子总共七八百对 整个的公司七八百你一进去对这家公司的印象是什么呢我觉得我觉得我对养消费的印象其实还是挺挺 consistent就是我觉得进去之后我觉得公司的印象就是执行力非常强就是他其实是一个比较淘汰的公司对然后所以很多事情决定了之后就会全力去做然后公司其实员工之间的的氛围也很好就大家都呃不会藏在叶子然后尤其刚去的时候很小嘛所以就是大家也都认识所以就氛围很好然后呃我觉得如果是做只是做语言模型相关的事的话其实现在回头来看那是一个非常非常好的学习机会就是你能够接触到这个模型训练的方方面面然后都能找到对你的人去问对那个时候的anthropic已经有了现在我们都知道他那个非常坚定的battle有的这个battle来自于哪里为什么会有这个battle呃我我不知道他完全的来源在哪儿我自己能看到的一个显然的来源就是前一代模型Cloud3放了之后嗯推特上那时候可能还没叫X呢推特上有很多人在讨论说那个Cloud3还写code比GV4强哦那个年代GV4还是一个和大家概谱很大的模型所以能有一件重要的事比GV4强就很厉害了所以是试出来的我觉得至少是其中一个原因嗯就是是是很快的对这个市场做了反馈对这也是我觉得这个公司很强的一点就是他exclusion执行率很执行率非常非常强一旦给他一个信号让他觉得是很reasonable这公司该做的事那就会铺上去他没有那些呃大组织内容用于嗯为什么他的coding会比GV4要好不能说是有原因的是有原因是有原因的但是是个随机的原因不是一个我我这么选择所以有了这个结果的原因是一个纯技术原因但是确实我不我不能确定一开始是随机适找的还是故意选择的你要让我猜我肯定会觉得是随机适找的哦纯技术的原因对是有某个人做了某个事情嗯是确实有某一个团队做了某个事情对是自上而下的还是机架而上的我觉得最开始可能是自下而上的但是后来就变成那个自上而下的事哦就是就是要快速捕捉到一些市场就是内部和市场的信号对我觉得这个是然后要赶快要铺上去对我觉得这是很非常非常强的一点对它非常非常的reactive反应非常快它执行就来自于哪里来自于导扰这个人来自于它的某种特质我感觉就是买操配作为一个公司来说它它能够实际这种就是比较Top Down的机制是一个很独特的事为什么因为实际Top Down其实有有一个很难的点你做技术的决策人必须也得是公司本身的决策人首先就是你技术上得能服众下面的研究员才会你才能够就是幸福下面的研究员去做这个事另一方面就是你得是公司的决策人你得能为这个公司负这个责任按照为有这个条件就是说它的技术上的leader的领导人其实是公司的口风的是你指的是谁不是Daro就是JewelJewel Kaplan和Sam然后像他们俩就是公司口风的他们自己做这个决定那是人家的公司所以他有权利做的是Top Down的事那Daro作为CEO他会CES很弄吗我不知道他们决策层的讨论里面OK大家有起到了什么样的作用我只能说技术里的人是有决定权的只能说对我当时的工作来说我接触的最多就是Jewel可是这对于瞎模型公司很难吗很难比如说Open AI就干不了一俩在的时候难得不行吗一俩在的时候有可能可以但是一俩后来一方面我也不知道因为什么原因失去了这个做决策的能力然后就走了其他公司呢瞎公司我觉得都比较难就是真的也比较难但是我觉得展览就是另外一套打法不太一样就是说我觉得就是打公司和start-up打法本来就不一样因为start-up重要的是make that就是我得赌一件事我如果想要赌就意味着有风险所以就意味着我能够去很快的做一些决策然后很强力的推进一些决策那可能在这种情况下超不到我觉得是一个很有优势的事所以我觉得从组织上来说是比优派更有优势但是作为大公司来说可能就是另外一套想法因为大公司的想法可能是我不仅能尽量减少做赌的成分而是我能在方方面面都有储备然后任何一个事成了我都能跟上然后如果有事我自己做成了我可能还能理先这可能大公司应该所以说在Germany很传统的就很bottom up的组织就是公司从面可能有一些比较良好定义的框架来来看你的工作是好是坏来引导你做一些公司需要的事但是本质上还是你自己来决定自己做的事所以你觉得anthropic能make bath是因为它的独特的文化组织和文化对这个听起来其实应该是其他公司也能做的但是却非常奇怪的发现其他公司很难做而anthropic可以做到对我觉得还是需要技术的或者公司的leader有公信力这个其实挺难的我觉得你说的还不是CEO有公信力是技术的一号位有公信力对对我来说我觉得技术的一号位有公信力很重要但是与此同时CEO可能没有成为一个阻力对这个难吗这个我觉得就得看你这个口方定的这个team有没有足够的互相信任嗯这个也很关键我觉得anthropic这点也是在start out被很强的就是它口方定team没有一个人离开公司他们如果你看他们过去距离那就是那是一群真正一起打过仗的人就过去他们源自于他们都是以前oq i的一群对然后像他们甚至好多人都是在一系列关键的文章上的合注者因为你像Skin and Law这个paper是Jerard Kaplan然后San然后当然还有W然后还有一些可能Tom Brown也在吧我不太记得Tom Brown在不在然后CBD3的paper就是Tom Brown在然后Bandline在然后Jerard和San也都在W也都在所以他们是一块爬过站好的人嗯我觉得互相之间的信任还是很关键有很多的公司可能就是干着干着连这个小集体都团结不住了那你怎么能指望这个大公司能团结住呢你再说我不能爱是吧啊你加入Undroppy公司正在做的最重要的项目是什么你参与到那个大项目里面了吗对就是为了能做大尺度的强化学习然后能够用它来提高coding的能力这个就是当时最重要的事然后我们当时做这个组当时的研究重心就是这个事这个组为什么后来就慢慢变大然后变得越来越重要的原因然后最终带来的结果就是就是大家一块吹了这个3.7Claude 3.7这个模型对你说内部叫有一个3.6这个是不是内部叫就是外界的Cloud 3.5其实有两个版本一个可能是6月的版本另外一个10月的版本然后你也可以看出暗消费这个公司曾经也是没啥产品能力的居然管两个模型叫一个名字所以后来外面人为了区分管那个3.5后面那个版本叫3.6所以暗消费跟随着外面的这个习惯就叫3.6了管这个再新的模型叫做3.7所以就是你去看实际的这个公司的产品时间像其实3.53.5new3.7怎么会有一个3.5new这个是怎么想的我只能说那个时候的暗消费可能真的是没有什么产品上的想法所以你第一个项目是3.7还是3.53.7还是3.5new3.5new其实我几乎没参与因为它还是3.5new就已经看到了coding的迹象是吗你刚才刚开始的3.5new的时候已经看出暗消费的模型在Azure coding会比别的模型强了这个是为什么所以你进去的时候刚刚好就是他们有他们知道这件事情就是管理才也知道这个迹象然后他们要make bath的时候你这个运气很好我觉得我觉得我进去的时候是大家肯定已经看到这个事能做成且重要但是不太清楚怎么去把它做成然后我去的时候是跟大家一起去研究怎么把它做成所以方法是大尺度的强化学习对 这是从大的角度来说是就是有很多技术细节是需要去研究的这是没有什么弄号有好多NDA的内容吗有很多NDA社会写的这不详细的吗其实原则上来说原则上来说员工是不能在在指期间和离职之后透露任何跟公司内部相关的信息的当然实际上来说就是大家可能心里都有一个度就是说如果这个技术没有公开的话但是我觉得虽然我不能公开去谈但是我觉得把简单的事做得比谁都干净是最关键的什么叫干净你刚才用过这个词对 就是我觉得有很多花利胡哨的技巧比如说做强化学习最简单的Augorithm就是Politic Brilliant但是不代表这是唯一的Augorithm它还有别的算法比如说各种复杂的这种搜索算法之类的东西但是是不是这些复杂性是必须的然后这些复杂性可能给你带来的一些一些也非甚至也就是效率上的提升它可能给你带来一些比如说基建infra上的困难那你怎么去吹道夫这些事这些事其实做研究需要去理解的就是怎么去balance这种不同的因素然后选择最好的那一号最稳定的那条路对然后我觉得很多的农号其实都是在这些细节里面怎么去处理这方方面的细节里面对那那个时候怎么来描述coding很重要呢我觉得它认为是大原模型的一个分支一个重要的分支还是什么呢我觉得每个人可能想法不一样对我来说对我来说它重要的原因有二一个原因就是一个原因就是说coding本身也是做原模型研究的一部分如果你能够把coding做得很好那可能会让你的研究效率有范围的提升就形成一个研究上的费轮了这是一方面的原因对我来说另一方面的原因是因为coding其实是模型使用工具和环境交互的一个很好的抽象首先这个抽象刚刚已经说过的就是这个抽象的好复杂就是回归信号清晰然后然后数据充分然后其实你是很很难在别的场景下找到能同时有这两个特质的使用工具的场景所以对我来说这是一个好抽象在这里面做的一些研究可能是对更通用的那些使用工具和环境交互的能力的一些有用的有用的lesson有用的课那时候Cursor是什么状态那时候Cursor还是一个纯产品公司我觉得从某种意义上来说好像在我去演奏这个之前的那段时间里Cloud和Cursor都属于比较underdog的状态然后3号在3.5new就是3.6外界的3.6这一代的时候首先是这个模型能力上去然后Cursor又发现这个模型真的能够做了这种A占这个coding的工具它也是一颗对但是这个颗发挥的模型一下子让公众体会到了不是公众公众设计就是软件工程的圈子体会到了这事好像是真的是效率工具了所以后来就是这个一下子就起来了在那个时候Dropi就意识到Cursor是未来的清晨对手那就不知道GavinW3.7是怎么做出来的这个是一个分水灵对于Dropi来说是一个分水灵式的模型我觉得对于Dropi的后训练来说是一个分水灵就是在3.7之前后训练都是处于一个比较比较小规模然后可能就是修修补补模型的这种状态大家不重视后训练是吗也不是不重视就是一开始其实很长时间大家都没有搞明白后训练该怎么skill up但是在那个阶段不管是Open EdgeOrphe还是包括像中国的Deep Seek大家意识到了这个事该怎么去skill up该怎么skill up就是你得找到合适的环境这个环境它的回馈信号足够的清晰然后这个环境本身也是一个很强的数据源然后在这个上面其实能让这个训练非常稳定这个事就能做成对 我记得那个时候其实大家都不知道Open Edge保密项目是什么就知道它的草莓叫Strawberry然后大家觉得会带来一个新的范图就是后训那个强化学习但是更多的就不知道了对 其实其实我觉得我去Strawberry的时候大家已经比较清楚这个事大概该怎么做就是大概的这个方向是怎么做然后当时后来随着我对这个领域知道越来越多之后我最发现其实那个时刻其实Open Edge做的方式和Strawberry其实还是差别挺大的这么说具体这种算法和使用数据的方式其实是不太一样的虽然都叫侯循玄和强化学习虽然都要领但是当然我觉得那些不是本质区别就是大的方向来说他们是同一个就是找一些这种很回馈信号非常清楚非常客观然后数据本身又比较干净然后对于模型来说是可学习的然后在上面做稳定的强化学习心理大的方向来说都是这个方向但具体实现其实是差别比较大但后来事实也证明就是具体实现其实每家方向都不一样但是都能做成而且当时Open Edge的目标也不是coding当时我了解到的趋势是说预讯链作为第一个方式已经金矿快挖完了所以我们现在开启第二个金矿就是后续了个想法学习然后来让skinelaw继续对我觉得很长时间Open Edge都是这个想法我不知道他们现在想法有没有变我觉得对我来说我的想法尽力过摇摆在孙软青那个时代我其实觉得我当时也抱着这个预讯链已经快 Party is over这种感觉然后就在你要入职的时候刚入职然后当时在做这种参加鞋相关的这种实验的时候我当时也曾经抱过这个想法但是后来随着了解优优深入我就觉得发现就是其实还有做的空间然后预讯链预讯链skinelaw这个事它也不是告诉你你要一直变大它其实本身上是一个很系统的框架能够告诉你做什么样的事是更有效的对然后所以后来就发现其实还有很多做事然后事实情况是后来孙软青的预讯链也一直在不断的进展我发现自己卡了很久他现在有重视预讯链了吗他应该已经重视预讯链停久了最近可能刚刚有点进展所以预讯链和后讯链作为两个范氏都没有达到他的那个平台期我觉得都没有但是你说要去预测到达多少这个做不到对我觉得到达平台期有有两种两种可能性这种可能性是技术本身到达就是你明明还有想让魔星要干的事但是这俩技术就死活潇不会了另一种可能性是你想干的事到平台期了我就现在就负责我们现在知道了有一个插Bot你可以叫他干这个然后又有一个Coding你可以叫他干这个后面就不知道了就不知道该交点他啥好就是说魔星还是一个非常聪明的小孩你其实可以交他很多东西但是我们人类作为老师现在还不知道下一个东西该教什么或者说该怎么去合理的教他用现在的一些范氏说到3.7还有什么东号这是几个月做出来的最后00总总从开始训练到发布可能花了四五个月的样子对就是从你刚进去就是从开始大家为了这个事做研究那可能花了两三个月然后后来开始训练到训练结束中间科哥办办很多事情要处理然后有很多新的据补说是据补说是真的很重要很花时间然后又可能花了可能两个月这样子你在举用做的重要的工作是什么我觉得我也没什么重要的我觉得我对我个人的贡献我觉得我个人对任何一个模型的贡献我的成熟都是我觉得我自己对那个事没那么重要我觉得我更多的是我很幸运有机会在那个时候加入了一个重要的项目做了一些事因为从某种意义上来说我觉得AI现在最近这几年这个事本身是一个不可阻挡的事它不在于你这个人去干或者不干你不干也有别人一样能干出来了所以我觉得在这个时代其实所有给个人贴金的事其实都有点炒作的嫌疑但是确实我觉得对我来说我是很幸运能在那个阶段加入了一个重要的事学习了一些知识好的那你在幸运的在那个阶段在Altropic这家公司的大尺度强化学习的这个团队里做了什么我觉得3.7那时候可能主要做的还是就是在Array做Agentic Coding这件事这件事怎么把它screw off怎么去准备各样就是怎么去置备各种各样的环境和data然后包括算法上会遇到什么样的问题当时主要的研究都在这部分现在来看没啥特别有用的tips我觉得说技术的tips其实这个事是一个大家一方面很愿意听公司又不让你说但实际又没啥用的事为什么因为很多算法设计其实并不鼓励独立算法它是非常强的依赖运营的技术设施举个简单例子就是有些公司大家经常讨论一个问题就是说在强好学习时候这个sample就是给你产生这些这些trace这些token的那个机器和trainer用来实际训练这个模型然后改变这个模型权重的这个机器这样的机器可能会有不一样但是不一样有一些原因是因为数值上的不一样有一些原因是因为使用了一部的训练架构所以说它自然就是从根本上来说就不一样那你不同公司可能这个不一样程度是不一样所以你算法上设计也会不一样有些公司它可能这个这两个difference这两个区别非常非常大那你算法可能最大的部分就是在于怎么控制这个然后怎么让这个训练稳定可能对于训练的这个实际的效果之类的权重就会稍微小一点但有可能有了公司它的技术设施现在设施就特别特别好这两个差别没那么大那可能就可以花更多精力在这个训练效果上所以说很多种小的tabstabs是其实是没什么用的就很多node其实是没什么用我是因为我确实也发现了就是很多别的lab就不是在这三家lab里面可能很想知道I shall be怎么做这个或者在外怎么做那个但其实我有时候不愿意回答一个主要原因是因为我觉得本质上我回答这个问题也是在误导他就是现代的AI训练是一个大系统你其实要把要了解这个方式是个系统的方方面面才能有一个全局的认识什么事是因为什么而变得有用而不是说这个事本身有用从3.7到4.5又发生什么呢这个预选联合后院都有对然后当然就是一个就是sql-up上做的更多了然后data不管是data还是训练的这个算力都更大的赤度了但是我觉得从饭市上来说就没有没有特别大的改变到你离开anthropic的时候他已经多少人了接近两千人了吧扩了一倍多所以你在anthropic时期更好使他最具列转变的一个事情我可能就踩在了他还是个小公司的尾巴其实我觉得进去之后过了可能三四个月这个公司就已经开始人一下就变多了文化有变化吗还是经历一些比较混沌的阶段吧然后尤其可能就是在我离开的那段快离开的那段时间我觉得文化上还是经历了一些一些混沌因为从外面来了一些人然后可能根本把他的文化有些冲突对然后之前的文化是我觉得之前就是很简单对就很简单他更像是一个小作坊大家都是朋友然后大家都知道对方在干嘛然后也没有人特别特别会就是做过多的这种个人宣传还是怎么就是做一些没有用的事也没有人做没有用的事大家都是有很多事要处理然后公司那时候可能紧迫感也更强一些吧然后后来可能就这样人多了这样的文化感觉会受到一些冲击对带来的什么风气我觉得确实有一些人我个人不是很喜欢当然你不代表他们真的不好就是我个人不是很喜欢就是可能我不太喜欢在这个领域里面说很多话的人就是那个我觉得idea is cheap想法是便宜的很多想法其实很显然所有人都知道难的是怎么把实现怎么把它变成一个一个小的可实现的步骤把它做出来我觉得我不太喜欢那些一天中很多时间花在在slack就是slack是美国用的一个办公的这种软件然后在slack上花很多时间在那讲一些大道理我觉得就是没啥用你后来为什么突然离职了你是完成了什么階段性的工作吗当时酝酿了多久我觉得可能酝酿了一两个月一个多月吧一个月多一点我觉得一个方面是我其实不是太特别认同大家有反华这个事我觉得他作为一个公司的CEO就他个人来说他做什么样的观点我觉得都无所谓但是作为一个公司的CEO来说我觉得把这个观点推到这么极端的地步是一个非常情绪化的体现然后这是一个一个比较小的原因当然大的方面有很多公司刚才说的公司的文化上有些冲击然后包括我自己可能也想去学习一些不一样的事情就说艾遭贝尔他毕竟非常的专注然后你可能做如果你想想做和原卧性相关的方方面面然后做这种使用工具这种agenture然后coding这种事那在艾遭贝尔其实很好能学到很多东西但是艾遭贝尔有很多不做的事比如说艾遭贝完全没有人做这种动物财生成你想学没地学然后艾遭贝尔可能也没有花太多的精力在这种更底层的工程的技术设施上对所以可能想学习更多的东西也是我当时厉害的一个动力对访华战百分多少比例因为艾遭贝尔有个个人原因我在公开场合说40%但是这个数字反正就是听听就好这个数字就是告诉你它不是主要原因但它确实是一个很大的原因对就没有控股不是个控股原因对不是个控股原因但是是一个Majority Holder的原因嗯你这个选择也很神奇因为大多数人在一个他还是一个underdog的时候加入会更有感情然后会愿意陪公司走更长时间但你反而跳去了google因为很多研究原因一进去google他会觉得google给的scope不够所以他会反而想跳去像xzi或者anthropic这样的更小一点的组织你这个行动好像也是反的对我觉得其实取决你自己想要的是什么如果你很想要的是我有一个很明确的像你说的很明确的scope然后这个事和我的最后的产品的模型息息相关我一定要把我其中的一个想法送到这个模型里去那可能google是一个很差的地方因为毕竟有那么多的研究员有那么多已经成熟的组织做这件事情是很有很有很复杂的这个过程但是我觉得Germany很如果你想要的是你有研究的自由有探索的自由然后想去能从更广泛的人里学习我觉得这个世界上可能找不到第二个比Germany更强的地方所以所以就是我觉得本身还是取决你要自己想要的是什么但是我觉得很多人离职不管从哪离职换到另外一家之后可能会觉得不开心的主要原因是因为没想明白自己想要的是什么比如说你要是到了google你可能该是如果你刚开始想的是要有研究自由然后学更多的动机是学习然后你去了之后我发现还是想要有产品impact那你可能就会很难受你不追求impact吗你在你也可说现在这个as是一个非常大的系统然后是一个很大量的人写作的一个东西你在里面追求什么我觉得分阶段就是我觉得在安苏贝也经历了太多这个和产品息息相关的事之后我可能也想给自己换个脑子去学习一些不一样的东西但是你是有没有哪一天我可能又换回这个脑子又想去产生一些产品的影响也没有可能产品影响力怎么量化这个内部都很清晰是吗不好量化就是我觉得因为发论文的时候它还是有一座这种作者主导作者现在现在呢其实没有办法量化实际情况就是没有办法量化这也是为什么我觉得在这个时代其实谈每一个个人个体的影响是一个很很虚无商量的事情我觉得本质上还是这个组织做了这样一件事或者这个世界需要这样所以产生产品影响力是个主观感受在模型测质上是这样在模型测质上对然后当然实际上我觉得可以信息谈的是说你自己做过哪些具体的技术的贡献然后它在技术上产生的效果这个是可以客观的去谈论的但是比较主观的事是你说这个效果在最后的产品里占了多下的笔众这个没有人能说清楚对而且3.7上你的描述一下吗我觉得你觉得什么样的技术性的工作对模型是产生一下主要还是跟也真的coding的环境有关的工作然后也有一些算法上算法上主要是怎么让这个训练变得更就更稳定说实话就是但是我觉得算法上肯定是有一些提升但是也没有达到特别理想的效果说实话比之前的算法肯定是要好的对但是我觉得也不是我个人的贡献我觉得也是大家集体的贡献对我每次问你你都会说这是集体的贡献不是一个个人英雄主义的时代对我觉得跟英雄主义对于拦鬼之猫的来说可能过去了什么时候是就是在transformer那个时刻对就是在那个技术还没到screw up那个点之前那找到了那个技术的人可能是一个英雄或者找到那个技术的一个小团体可能是个英雄找到那个技术之后可能很长的一段时间从模型测来说都是我觉得更多的是集体主义就是这个集体能不能一起工作能不能为了一个目标一起花自己的时间花自己的精力这个是最重要的事而不是每一个个人提供了什么样的东西说集体主义的原因是因为其实能力是来自于AI是吗说集体主义的原因是因为我觉得AI这个方向本质上是简单就是没有哪个我觉得没有哪个除了可能挑遍了一下那个idea可能是得有一些很深刻的动静在之后的那个过程中很多想法其实是非常tribute就是非常愚蠢就是谁都能想谁都能干只是你预计好撞到那个机会就干了而已包括你在描述Enterpix做coding好像他也是某种随机型但是你要抓住他对但是我觉得做coding可能还比做模型册的这些记录上的东西可能还更稍微有点公私英雄主义就是说你能不能足够快的做这件事那确实还是一个人很强但如果今天没有Enterpix做可能别的工作写作我觉得是必然的事所以他都是ar在永限能力我觉得其实看你能不能抓住那个能力不管是公司还是个艇对我觉得就是在这个可用的原模型大致的原模型出现之前那个时候很多事情是一个非必然就是有没有一个人能够发明一个一个原模型能够大致不做训练然后以及GDP这个饭食能不能被发现出来但是有很多不确定性但是比如那个时候你说如果没有Google不训练那可能传播方面就不会被发现可能要过很多很多年才会另外一个有钱又有人的组织发现那可能就是一个很大的影响但是进入那个阶段之后尤其到现在已经反过来就是你任何一个组织想要停止AI进展是做不到的所以AZOPAZOP很担心AZOP那AZOP有没有这个能力阻止AI发展它没有你阻止发展你不停止发展别人会发展你的话语权还会变小对其实现在其实更多是这样一种状态这个世界在推着我们的前进而不是我们在推着这个世界前进感觉未来我们会更加难以阻止AI我觉得已经阻止不了就是我觉得试图去阻止AI里的一件事发生可能本身就不是一种正确的想法刚才聊到因为刚才聊到AZOPAZOP其中一个很重要的动因是所谓AI安全我觉得它在AI安全前的事这样摄像完还创立的时候动因对现在跟它有什么关系现在的关系比较复杂就是说一个自然的问题是大家可能会问一个做AI安全的公司为什么现在开始训前页模型了Android的解释是说我首先得拥有一个最前页的模型我才有话语权来推进我的AI安全所以说它其实一直以来的想法是说我要做这个摄像最好的模型大家不得不听我的来推进我的安全政策但其实从我个人角度来说我觉得这个想法是非常幼稚这个事现在看来它是不会发现不会发生更有可能发生大家都有很好的前页模型而你没有办法阻止这个任何事发生对觉得可能对于这个事来说现在更多关注更多该想的事是如果你真的想避免AI带来一些危机什么才是一个更自动化的事对举一个自动化的例子比如说核武器核武器也是一个可以大家觉得可能有毁灭世界力量的事但核武器最后最终受到控制的方法就是Multiparty Control这是这样大家有很多个有核武器的国家他们互相都有毁灭对方的能力所以通过这样一种制衡才稳定住我觉得你要阻止AI干一些不好的事可能最终是需要一种类似的机制来实现而不是既希望说一家公司制定一个法律而干一件事对而且还自己制定他也只能管得了自己对你刚才也提到有个可解释性团队什么这个他的可解释性到达哪一步了在一些比较简单然后比较稀松的的的神经网络里面他们能够做一些有趣的研究比如说看看某一个输出了或者输入的的文字或者图片他的他内在的表示是长成什么样子然后你可能把那个表示什么反一下之后他会能输出一个什么样的东西做一下这样的研究你刚才还提到一个观点就是AI本质是简单的你这个能瞄述一下这句话这是一个结论对我觉得这甚至不是一个结论这是我的一个statement这是我的一个成熟他可对可错然后我对这个这是你的观点对我对这个成熟的的解释是他我觉得他本质上简单的点在于他能做实验就是他和比如说本质上的男的东西比如说物理他的区别在于那个东西你没有那个能标下的实验数据你就是理解不了那个能标下的理论但是AI不被这个所谓的目前你理解不了没关系我也可以往前发展而且就是我现在事实就是能够做任何我能想到的实验只是可能说我需要一些时间去把这个计算量提上来或者把这个技术测试准备好但是没有什么本质上的困难对所以我一直说就是觉得AI就是没有给人感觉它碰壁的原因就是首先很多东西你都能试其次现在不是说大家已经想空了脑袋没有什么想法可以试了更多的情况下是有太多的想法得一个个试花时间对感觉真好渺小在这个实验面前是的所以说很快可能AI就会开始自己做实验了很快就多快四个月内我觉得未来的六到十二个月AI就会自己做实验我觉得其实当然就是这话不太良好定义对不起我说了一个很模糊的话AI自己提高自己或者自己来加快自己的发展过程这件事其实已经在发生了对吧像我们刚才最早说了过他已经开始帮我们能够去实现一些一些我们想要的东西然后加快我们实验的速度但是我觉得未来六到十二对不起他目前还做不到的事情是什么是说他能不能从头到尾的把一件AI研究的事做完就比如说他不仅能写这个code他还能跑这个实验跑这个实验还能看到这个结果看到这个结果还能分析这个结果分析这个结果知道他哪儿做的不对然后提出新的假设设计新的代码跑新的实验这个这条链条目前还没有完整但我觉得这条链条可能是下一步会慢慢变完整的事基于你的各种原因在你离开决定离开Altar Pignac你对这家公司未来的预期是什么我觉得我离开的时候我对这公司其实挺悲观的但后来显然是我故度悲观了为什么悲观我当时悲观的原因是因为我觉得我当时离开Ansobi说Ansobi其实主要的收入来源都是API就是卖Token然后这个差生意是差生意因为这个生意只有对一个公司的好生意就是Google因为这个生意最后就是得打价格战就是一般出来就是要打价格战打价格战你没有完整的这个链条是没有什么太多优势但是后来Ansobi显然在产品方面我觉得确实有很多巧思做了很多好的事往下是考考课的也变得越来越好用了然后考考工作然后和各种各样的这种和工作和效率相关的事情都慢慢汇聚起来了所以感觉它现在反而变得比我当时觉得你要问我你要问我但是就不会真的死就是说哪个会先变得没那么重要我当时会觉得可能是Ansobi会先变得没那么重要但是后来首先Google揍了一拳然后Ansobi自己就上道了所以现在看来好像Ansobi更占优势一些你后悔过没有不太后悔我觉得对我个人来说我个人的动机还是想要去换一个地方提高自己对于想做的这件事来说这个选择没有什么错误对你也提到Andropic的产品有很多巧思特别是今年就是像Cowork这些这个来自于哪里我觉得我没看到Cowork的发展过程所以我不知道然后Cloud Code我觉得人产品可能还真是有一些个人英雄主义的机会是研究员还是产品主义就是我觉得Cowork Code几乎至少这个事的开端吧是他自己想要做这个事提高自己或者同事的工作效率最后变成了一个对所有人都很重要的事Various是一个什么样的人我跟他没有太多的个人接触我更多的是看到他的工作在公司的时候他是个研究员对但他主要是在产品那边所以Andropic是专门产品部门的以前没有分得那么开后来又有单独的对Andropic感觉是很懂AI的产品对我觉得这就是为什么刚开始说的时候觉得产品经理可能还是目前挺难被AI期待的好的产品经理而且他好像不是上一代那种产品经理他不是那种feature的摆放什么的他好像是知道怎么跟AI产品经理对我觉得上一代产品经理可能但也不全是也有些就是交互方式级别的变化但每次交互方式级别变化其实就带来很大的产品比如说就是可能这个抖音就是一个交互方式级别改变的产品那他一下就带来了很大的打开了新的方向然后我觉得可能Cloud Code也是一个这样级别的产品Cloud Code我不知道口网是谁做的我已经离开了那说说你到了Google DeepMind以后的工作吧工作重心发生变化没有还是发生了一些变化的然后我反正我自己主要在展外就是做ML Coding然后和一些比较老Horizon的事这两个事其实刚才都大概提了一嘴就是ML Coding其实他主要就是想要实现刚刚说的这个完整的AI自己研究自己的这个立场那当然这个过程当中有很多实际的问题也有很多实际的细节要去解决就是我觉得大的方向上来说大家其实是比较有共识是该怎么去做但是还是回到细节就是细节上有很多要处理比如说怎么去选取合适的data怎么样去选取合适的回馈信号以及他又带来新的既不设施的挑战然后然后现在就是要把这些事情要慢慢模清清楚然后像老Horizon就是刚才说的另外一点就是说想要能够实现说这模型能够在还能够够好true with finitebut use as an infinite你我觉得想要把这个训练的程度一直一直一直变长可能并不是单个这个训练的这个这个这个预断的程度一直变长可能并不是一个很现实的方案但是很现实的事是你如何在有限的comtags下去做更长的工作其实你其实是想人其实就是这个样子人的comtags其实很多很多你现在问我昨天晚上吃什么我是一点想不起来你可能想起来我是一点想不起来因为什么因为他对我现在的场景是不关键就是我现在知道昨天晚上吃什么又能怎么样所以我选择把它忘掉因为本质上comtags是很短但它能够选择性的遗忘然后它选择性的对去retrieve就是去把这些重要的跟当今场景相关的信息再抓回来对所以说我觉得那个可能也是一个对我来说很有趣的这种方向这两件事其实是有点相关有点互补的为什么就是这两个事其实都在模型使用工具和环境以及不同的模型不同的人交互的在这个范畴内在这个范畴内大家过去完成的那个节点就是一摘这个口点就是又是工具又和环境环境就是这个区议机或者你自己的电脑运做交互然后这个事其实它横向就会长出不同的使用场景那作为retrieve其实就是横向这个场景另外一个场景这个场景它其实不仅横向上是一个新场景它在纵向上也让这个事情的尺度变得更长因为你可能完成一个代码的补权这类的事很快的事但你做一个完整的AI研究或者做一个这种计算机科学的研究那是一个很长的过程所以说它其实就是像一个T字形一样就是横向也有延长然后纵向也有延长对浪豪了咱是不是还是一个科学问题有科学问题也有工程问题我觉得它科学问题更多的是怎么把不同的方案尝试一下以更科学的方式尝试之后来找到一条最后我们要走的走的这个方案这有哪些方式我可能不太说太细的但粗的来说有一些方案是从pre-trained的角度从虚拟训练的角度来说有一些方案就是类似于这种吸出的sparse-attention这个比如说dpc也有一些工作然后学界有很多工作然后从后训练的角度也有后训练的方案比如说像外界比如说你每天用什么cursor这些他们就是很强大的context management管理这个context能力比如说他可以让这个模型去选择我把这个中间某一段觉得不重要就扔掉了然后那点重要就存在某个文件里然后再取回来这两种大的来说这两种但是都有人在研究当然它具体的实施细节是不止我刚刚说的这些例子刚刚说的这些例子就是比较公开的例子具体实施细节当然就没有公司还有自己的小秘密我觉得其实最终也都会大家都会互相知道然后我个人是比较花更多时间在后训练的这部分在方案上因为我自己本来就没有花正式的工作时间在预训练上预训练对我来说更多是一个兴趣我想学习的事但我自己其实没有在那上面做太多的工作然后另一方面是我觉得后训练的这个方案其实更符合我自己对这个事的理解我对这个事的理解就是刚才一直在说的那件事就说能不能用短的康泰克训练但是它能做长康泰克的事预训练那些方案其实本账还是需要你有长康泰克的训练它需要数据的有对所以说它不太符合我对这个问题的哲学对所以你现在看可以吗用短的去训练长的我觉得可以是一定可以但是我们不清楚哪个方案最有效詹曼达的长文本做得很好好像为什么有些技巧有一些让我很惊讶的技巧这是预训练的事是吧长文本做得很好一定是两边都有的但是我只是说对我来说预训练那边的技巧还是挺让我惊讶的对我们做的没有詹曼达好在长文本上但是也有说法也不一样有些人也说詹曼达3这一代长文本反而变差了一点之类的对Again你加入詹曼达的时候感觉大家对詹曼达预期不高我对詹曼达当时预期已经挺高的了你那是几年几月我是去年的9月底那个是詹曼达放詹曼达3之前你对他的预期高其他人呢我觉得业内的人当时对詹曼达都还是印象不错的之前一直觉得Google很有危机在OpenL的冲击之下我觉得大家的感知可能在詹曼达2.5这一代产生了变化因为2.5是一个明显就能看出来Google快上道了当然之前就是詹曼达的1.5也有一些就是小的事情某一个去旅途方面做的已经算很强很明显他已经不是很过后但是2.5是真的一代就是我觉得开始有人开始用的模型我自己其实也用我2.5用的挺多的你是看到2.5去的詹曼达我去詹曼达跟着没关系主要还是我知道詹曼达他大概是一个什么样的论就是有很多人在做不一样的研究然后我也知道一些人其实做的研究很意思然后很多詹曼达工程师我觉得技术是非常非常非常强的我觉得我是从他们身上学到了非常非常多对我来说那是原因但是我觉得从大家的感知上来说可能我觉得业内的人在看到詹曼达2.5之后就可能就已经意识到我说的詹曼达是要赶上来了那就你来说不是你加入了詹曼达的一个信号不是我加入了他的一个信号那你为什么加入詹曼达那就是刚才说主要是因为我那是想做的事其实我想要去有但你知道詹曼达人强对吧对那个是因为他们来来找我的时候肯定也会让我去去和他们的人去聊从聊的过程中其实是能够能看出来状态怎么样是他们来找你的对但是我觉得最后就变成双向奔赴了所以当时欧巴尔不是选择吗如果你想从杜拉皮克利之人对 欧巴尔也是当时的选项欧巴尔当时应该还是比詹曼达从势能上要强吧在那个时候不过那个时候是不是各种内部的内斗开始出现了我觉得就是opi确实也是我当时的一个选项然后当然还包括像xia之类的然后我觉得opi最后没有去的一个转业原因还是我对他的文化至少当时来看我对他的文化是有比较大的担心的我觉得用粗话来说就是感觉他是做事的他是做事的他是做事的人没有詹曼达多更没有暗消费度这个我很care所以一种文化和人的亲近感让你去了詹曼达然后你又感受了刀3的那个转折点是吗詹曼达3应该对他来说是一个很大的转折的一个士气是吗我觉得从实际的效果来说我觉得是两件事让詹曼达产生了一个大的转折就变成了一个市场里举毒区亲众们的player的玩家是纳纳伯达和詹曼达两件事连着我觉得如果只有詹曼达可能也不会有现在这么好的效果因为当你的施战率连10%都不到的时候你这个模型好一点坏一点其实等他传播出去就是太慢了但是纳纳伯达做到一件事首先市场上这件事很爆很爆款然后大量的人去下载了詹曼的app然后詹曼达又紧接着放把这个部分留下来了所以现在他变成了一个举毒亲众的玩家觉得可能就是没有詹曼达这么一拳其实opi的位置很爽就在施战率已经高到你其实模型上干点啥对他来说可能影响都没那么大甚至说实话我觉得就是真正普通人用模型的时候对于模型的这个这个模型的感知其实很弱很弱的绝大多数人甚至不用O系列模型绝大多数人都都用普通的GPC的对所以说我觉得对于詹曼达来说这个一个纳纳伯达把量打下来然后詹曼达咱又把人留下来是一个很关键的事他有事实上抢走多少拆之bt的用户我不知道现在具体的比例但是我的感觉是詹曼达可能施展会在20%左右但是我确实没有仔细去检查过现在的数据这是从事后归因来看这两个因素共同促成的詹曼达今天对于Opening的冲击但你从内部视角肯定能更前置的知道为什么发生了什么Google会有这样的变化对我觉得我觉得首先就是Google的这个技术储备一直是够人够人一直是够的然后组织上来说后来变得越来越清晰就是有一个更好的框架来让大家一起干这个事所以说可能会慢慢有些惊感对我觉得从某种意义上来说我作为一个局外人从某种意义上来说我觉得Opening还是救了Google一命就是因为大家以前一直都担心说这个聊天机器人会不会完全把搜索取代掉对如果这个事真的发生了Google其实很难受对吧但是好在就是Opening先把这个事做然后让Google意识到了这个事很重要但是它又没有把这个事做到底没有把这个事做到极致又完全没有完全把搜索干掉可能就吃掉了一些份结果让Google自己把聊天机器人也追上来了那现在难受就是它了你要万一其实有一个公司假如说在一个虚构世界有一个公司不仅做了拆的报的而且还一路高跟往前越走也好真的把你一把就把你搜索吃掉了完全没有给你反击的机会那就很难受了那拆报没有吃掉搜索是因为Opening干得不好还是为什么呢还是因为这个形态干不掉搜索我觉得两方面其实都有就是说首先目前的拆报中的交互方式其实不会完全吃掉搜索因为它比搜索的强势刚刚最早说过它比搜索的强势是说它有很强的交互性你可以追问然后你可以它可以帮你把一些很复杂的信息去浓缩这是很强的地方所以这部分使用使用场景它确实会把搜索的人抢掉但是搜索里还有一些非常愚蠢的场景就是你有一个特别简单的事你根本不想浪费这个时间在聊天机器人我就是我就搜买大米我就一搜买就完了我还非得去问拆GDP我还得问哪个好然后他还在那赚钱赚半天然后给你一个零钱再一点再跑到网也再去买没有那个必要所以说从事实的使用上来说它目前的形态并不足以把搜索完全吃掉对然后当然从那个角度上来说它可能在聊天机器人这个世界上也没有做到灯风造极就它还真的让别人让Google把它给赶上了那就是它自己的现在还不算赶上吧在产品上我觉得在产品上不算赶上但是在模型上已经是赶上了但是投资人投OpenAn他们会说他们下注的时候是认清楚OpenAn其实是一个产品公司的时候它的互生盒其实是产品和品牌那从今天来看的话似乎Google还没有在这件事在产品上能够不能是超游OpenAn吧赶上OpenAn的对 就是我觉得这其实反正这都是我作为一个局外人观察者的视角来说你今天是点评家观察者的角度来说我觉得Google传统上在产品就是有点慢是一直都不讲慢然后所以你说OpenAn会不会在产品上有优势我觉得是有可能的对 然后Google特别擅长的一件事是什么是找到一个具为简单的产品形态大家都长一个样它就疯狂给你卷技术你就卷不过它对我觉得那个事是Google擅长的因为搜索引擎就是这样的一个事搜索就是这个典型就是大家都是一个框一个键但它就是比你搜得快搜得比你准你拿下一点办法也没有嗯所以这个为什么就是感觉就是一直以来Google都处于一个做得很好华尔街都不太认可的状态大家总觉得这公司比例到底在哪也没有什么产品的小丝也没有是刘鹤的机制但他就活到了现在所以他记住好原因是什么我觉得还是人好吗我觉得还是氛围吧就是说是一个是一个特别重视以前就特别重视工程师后来就是特别重视研究的这样一个氛围所以他很适合那种通过技术能力一出的产品能力的产品如果从这个角度来看的话那你觉得O4i的位置是稳固的吗现在我觉得像谁的位置都不稳固对 我觉得就是AI的形态还有还有很长的路要走没有到什么终局之战这个地方的感觉感觉国内已经有点这意思了对 我不理解为什么不理解我很费劫国内觉得我们在争夺一个super appsuper app就是此消彼长的我觉得condition聊天机器人这个事就是super app那可能可以争夺一下但是问题是你这个形态是不是super app的形态会不会别人就是哪天出了一个完全不一样的形态然后你的功能变成了那个东西的一个字极这是很有可能的是吗我觉得没有什么我觉得我看不出什么不可能为啥插报不是那个终局形态但是这么多年我们也就看到这个了对 就是都是一个对话康我觉得在这个事上我确实没有什么没有什么理性或者量化的标准来说明更多的是你觉得这个事很蠢就是这个模型明明有那么多的能力但居然用的方法是插的Bot不太make sense所以需要一个产品经理来解放一下模型的能力人类到现在只通过插Bot去跟AI沟通让你觉得很蠢是吧很蠢那应该用什么去跟AI沟通没想明白要想明白我就干了你没有告诉我Google内部到底发生了什么变化然后有了外界看到的和模型的能力突废猛进对 就是刚才说我觉得组织上更清楚了然后组织上一旦清楚的话组织变化了吗对 尤其像预讯来的现在变得非常非常清楚就是谁负责什么事情然后每一个店每一个这个节点上谁是负责人这些事情都很清楚以前是混沌的吗以前这早时候很乱我没有最早时候在那待过就是同事根据同事或者我以前认识人的表述以前还是更混乱一些的对然后现在就是早运运运也是变得非常非常清楚然后加上这个Google一直有的这种就是比较强的技术背景然后它的做事比较系统所以我觉得预讯联在Google是一个非常非常可控的事可预测的事你能够你能知道下一代不会查然后可能你还会知道它会有多好对通过Dropik这种自上而下的管理它也不错那Google是这种自下而上它依然是自下而上的什么它比以前肯定要更自上而下了比起最早的时候但是它比朝北来说还是更自下上了一些就是好像不同的文化都可以是吗对就是对模型的训练对就是我觉得大公司有大公司来打算Stars Top有Stars Top是打算所以大公司是你刚才也说它是一个不一样的趋势它是一个不一样的方法Google是什么方法我觉得Google更多的说是像这种比较确定性的事比如像预讯链已经是一个比较确定性的发现事了那可能Google就会更像把它做成一个工程项目然后Google的工程管理能有很强所以说它就能把它做好什么叫工程项目工程项目的意思就是你其实是其实是非常非常非常逃不到的一个组织很清楚我们下一阶段要做的是什么事情然后去做这个事情中间需要有哪几个节点被处理掉然后哪怕是做研究也是说就是有一个很清晰的空架告诉你怎么去去验证你的结果是好是坏以外6点的结果是好是坏所以这个是Google很强的事情在过去的任何的一个大的工程项目上所以说比如说预讯链其实我觉得就是现在进入到GoogleGoogle的舒适区里了然后后讯链当然就是有更多的不确定性那可能后讯链现在说还是更Bottom up一点就是大家可以跟我拐盘的势对你说Prentron你也是一种RL为什么这么说就是我觉得就是你很难从纯技术的角度说水Train预讯链和或者说这个监督学习SFT和RL的本质区别是什么因为预讯链和SFT当然预讯链和SFT也没啥区别就是你无非就是把你拿到的那些数据当成你的光Truth然后你就把那个当成你的Expert把那个当成你的专家书书然后你朝那个专家书书的分布上靠强化学习可能就是更宽广的那个级别一个级他就是说我首先就是这个这个本来书书的东西也不是一个给定的专家是我自己产生的那些东西然后我里面有好的结果然后好的结果我晚上靠不好的结果要演绎它之类的这样东西所以说从网络运营上来说普春寧和SFT是强化学习的一个字但是呢这两件事确实在现在这个时代是有区别的我觉得对我来说它的最大区别在数据上就是普春寧的数据更多的还是要Distribution 搞好就是分布足够的广或者足够符合你想要覆盖住的那些范围但是数据的质量并不需要非常非常高但是后续来就反过来就说它分布上来说可能要远窄但是它在有的那些数据质量上会要求非常高对所以我觉得目前来说对我来说它俩最本质区别还是在数据分布上的区别而不是在算法或者训练范图上的区别那像不同的Lab它是怎么分这组的与训练和后训练有不同吗还是都一样Strawberry和Google比较类似两个都是就是预训练是预训练一个组然后后训练是后训练一个组OPPA可能比较混沌最早的时候一开始的时候它是分三个组就是它有预训练然后它还有强化学习就是Strawberry 草莓组然后它还有一个Pose 圣经组然后我没在这儿干过但我的理解是它的Pose 圣经组其实是它的L组就是Strawberry和它的Pose 圣经其实是别的公司的Pose 圣经和产品然后它可能是一种不一样的方式给它切了它把后训练当产品做就是它的一部分后训练其实是和产品是在做产品它是名字没改过来的完全是因为绝大多数公司的产品其实不太逊模型它更多的是把这个需要的这个模型特质告诉训练模型的团队但是它好像就是它的Pose 圣经从模型中来说自己又是产品但自己又能训模型这是不是它对于产品的理解就是需要训练模型的人来做产品对 有可能有可能是一件好事但是它后来也组织变化很多次我现在也不知道他们组织成啥样你们最近发来几个模型然后我看到你也都参与其中我觉得可能只能说是有幸参与感觉都是集体工作为什么现在都变成明星人物然后每次都被拎出来单独写一下我不明白我觉得其实不太好每次看到之后我都感觉明天该怎么去办公室见同事会有意样吗 在办公室这还好我觉得同事可能可能还是人比较好就是他们可能还不是特别看重这些事但说实话我是觉得我参与过的任何一个项目不管是在Google还是在网上没有我都会罚上都一样会罚上效果也不会变差我觉得大家现在就是每个人都是冲浪的人本质上是一个浪而不是你那个冲浪的人浪是AI吗对 就是AI这个事情本身是这个浪它会往前走不管你冲不冲这个浪这个浪都会拍到爱上只是说有人可能就冲了这个浪有人就可能晚了一点没改上那个浪尖你有幸的参与了这两个工作的什么主要可能就是一些有一些算法上设计的小的细节然后又会一块讨论然后有一些数据上的东西但是数据上的东西我觉得可能对之后的工作会影响更大一些这几个模型有方式变化吗我觉得没有哪个没有哪个变化大到了从不知道怎么做小环球系到大石头小环球系那个级别的变化没有哪个变化大到这个地步肯定都是会有一些小小的变化这几个小小的变化你们讲一讲这几个新的模型不能讲好不信 对不起最近我感觉模型已经发麻了国内一堆模型国外也是很多模型L.P.I.你们国内GLM自己Deepseek一直期待还没发提名你们给大家画画重点我觉得从某人来说都没那么值得关注大家在争什么现在感觉群魔乱斗我觉得有一些真的事情其实现在看来现在在这个时代现在在这个时代已经没那么重要了就是因为过去带来的惯性是大家会争各个版尺码的第一名证明自己模型的基本能力很强这个事情其实到现在已经到了就是公众关注的那些版尺码都有点打满了就是你想最早大家关注这个SwitchSwitch大家都打落80多幸亏没有人超过83因为最近OPI刚放一个姿势说超过83这题目都是不良好定义的幸亏没人超过谁超过谁可能干了反正然后大家以前就是打完Amin打AMO打完AMO打什么想不想2KGI这些版尺码然后2KGI我们占了3之前大家可能最高的都我忘了那时候可能10G这样子然后大家就忘了登天呐然后占了3给变成30多然后Cloud 4.07.54.6变成60多然后占了3Deep Sync一下打到80多所以这个也大嘛所以现在就是感觉光靠打这种公众认知的模型能力其实已经没啥太大的意思了然后所以从这个角度来说我其实本身就是本身就是没有什么太多的种变虽然大家发得很快发得快也说明其实这道题对大家所有人来说都比较简单了大家都知道弄好了没有什么秘密的意见对还是说还是那个冲浪理论也还是这个浪在往前走大家下一个可能在寻找的目标是什么下一个范围时期的变化是什么还会有吗我觉得我刚才自己聊的那两个事是我觉得ML Coding和Lang Horizon对然后这两个是我觉得是我觉得是一个可能没有到范围时期变化但是我觉得是对于Google来说会很有价值的事情因为首先ML Coding是因为Google首先自己是一个AI Research大户然后他自己又是AI Research是最全站的就是他不仅有这些训练模型这些这些部分他还有射击硬件的部分从硬件接到模型的部分这一整套东西如果能被加速会或者说被更好的管理那可能对这个公司来说是很有价值的Lang Horizon就不说了就所有人都知道就所有人都觉得很重要对所以说我觉得那个可能是对我来说不能说是范围时级别的绝对是不到范围时级别的但是是一个我觉得在未来几个月之内能够能够看到复光的事然后我觉得范围时级可能就还是那些更非确定性的东西就是什么动漫台山城那个我觉得可能会有一个英雄吧或者会有一个英雄集体吧然后对像那种可能会有一些还有聊比较多的Continual Learning世界模型呢我觉得Continual Learning和这种Lang Horizon刚刚说Lang Horizon没有本质的区别因为就是大家以前觉得这两事差别很大是因为Continual Learning会改变模型的一些权重然后你做这种比如像开放开源的大家做很多这种contest management是不会改变变模型权重的但其实你想这两事没有本质区别因为contest里那些词自己的KB不也是一种权重吗所以说你觉得这两个方案最后谁能更有用在长久来说更就更有用我觉得是不清楚的但是他们本质上都是为了做刚才Lang Horizon这种类型的事情然后世界模型一万个人又一万个世界模型啥意思就是定义不清新就是首先我不知道什么叫做一个世界模型其实就是每个人在说他们做的世界模型可能也在说不一样的事比如说咱们俩做的世界模型就和比如说像李飞飞他们做的世界模型就不是一个事对描述一下区别是我不是特别了解像外面像李飞飞他们这些Labs做的事情到底是怎么样的但是展开的世界模型更多的是一种是一种Anti-end的这种级别训练他想要的结果是说我比如说视频生成是大家能够给定一个描述然后上上一个视频但他想要的大家结果是我不仅能够生成一个视频我是能够生成一个场景什么叫一个场景场景就是说我生成了这个这个时刻的状态然后我还可以再给他一个一个condition一个条件这个条件是我在这个放在下做了一样什么样的什么动作然后他下一个时刻状态会变成我上一个时刻状态和动作的还是然后他是Anti-end去训练这样的能力所以说这个可能是一种发展然后我首先也不知道大家最后想要的到底是什么结果然后我也不知道大家对自己世界模型的定义到底是什么所以我觉得更多还是一种探索的刚才我们一直没有聊到一个组织社XAIA我们刚才聊了Enthropic 聊了OpenAI 聊了DivineXAIA呢XAIA我是了不明白作为电瓶加白书他们怎么最近这么动荡我觉得他们一直都挺动荡但为什么最近这么动荡我也不知道然后我其实我跟XAIA接触的没有那么多然后我接触的一些人现在也走了其实我也不知道他们发生了啥对了刚才说Enthropic的时候你说技术的也好为能能被MacBus是非常重要的那在Google这样的也好为是谁这个英雄是谁我觉得英雄在可能在不同的阶段也是不一样的人但英雄的背后都有一个人就是Serge就是Google的那个口方的对其实我觉得最终很多很多大的决定可能不是由他来决定怎么做但是最后拍那个板得他来拍现在也是Diamonds呢我觉得可能更多的第一线出现在是口锐就是D-CTO然后他现在也是Google的SVPDiamonds在负责什么我觉得Diamonds可能管了更多那种就是偏Science的事情就比如说那个药物的design isomorphic lab那些事情Gemina他管的不多这样从我的视角来说我看到的更多的人是口锐OK但是有可能就是那公司那个管理层的事其实有可能很多是我看不到的部分我又不清楚你刚才提到AI怎么是一个系统吗你对于怎么系统性的做AI有什么认知吗现在经过了你这两年的工作有几方面吧一方面是从整个系统来说它需要一种比较科学的态度就是你要清楚的像Skin out就是你要清楚的理解自己做了什么样的预设然后我再做一个改变的时候其实有哪些因素是它相关联的哪些因素是不相关联的然后这是从组织情况下来说从人的情况下来说其实需要人很reliable就是需要很负责任的人其实每一个系统就每一个评价的方价都是很容易被hacked的因为你总可以做一些事让你的指标看起来很好看但是一个可一个值得信赖或者踏实的人其实会想自己做的这件事如果效果好的话是不是真的比如在大的手中效果好是不是我中间露的那些因素对所以说其实其实把视作系统听起来是一句话但真正做起来是很复杂的事就是有很多细节有很多阻力会因为它其实违背人性因为每个人个人的人性可能都是为了让我自己做的东西能够提前得更好但是对一个公司或者一个组织来说最有利的事是把整个公司的系统系统性做得非常扎实非常严谨这个能不能举点例子好像有点抽象对 它确实有点抽象所以这也是你说没有那么多的个人英雄主义的一个表现对人要变成一个更可信可靠的一个它是一个系统的组建我可以举一个可能也是比较鬼幻的例子就是比如说做乔海学习你可能可以做一个算法出来效果比别人好但是可能最更关键的问题是你要去问比如说在真正的大的使务下我是不是能够保持稳定性是一样好的然后以及我比别人的东西效果好是不是因为我用了不一样的data以及我是不是用了更多的trainin的flop是不是用了更多的sampling的flop然后我具体在真的这个生产这个最后这个大的跑跑到这个properation run里面到底哪个才是我的限制因素然后我该开训哪个指标这个些可能都是需要连对员自己对于这个系统怎么运作有一个好的理解然后以及对公司负责人才能做到对否则就是你很容易做到一件事就是你可能比如说你在考虑trainin的时候是比别人好的但你考虑trainin加sampling是比别人差了你总可以选择你只是trainin但这就很糟糕对所以这个就是继续要你个人负责人又需要说组织所建立的体系里能够能尽量的发现这些有意的或者不意的这种边界的事情但是你作为个体的话你不知道怎么样是对全局最好的其实是需要我觉得如果一个研究员做不到对全局去考虑的话这就不是一考的研究员在现在这个时代就是我觉得这个核你就是在学术界做的racet是很不一样的事学术界做racet本质上是一个人吃饱全家不愁的状态就是我为我的项目负责对吧我为我的可宠复兴负责但是在一个公司里你其实更多的时候我得为这个公司的负责对这是两种完全不一样的心态那你这种自觉性从哪儿来的不知道我觉得我可能就是拉不下脸拉不下脸对你对一个公司府的认识你和这个公司的契约的一部分其实我觉得没什么道理不这么做这么做是没有原因的所以个人英雄主义会破坏这种整体性我觉得如果只是为了跟人英雄主义而做事的话很有可能是会破坏整体性的当然实际可能你能力很强然后你真的成了一个英雄那也是有可能因为你也经历了两个组织你觉得什么样的组织更能够激发智能在这个时代我觉得其实这是一个很很有争议的事就说因为刚才也聊了就是不同组织可能有些比较自上而下有些比较自下而上一个自然的问题说比如说这两种组织哪个更能够激发创新过去的观点就是自下而上是激发创新比较条件因为就是你得每个人有自由自由才能有创新但是完全自下而上就发现其实也不行因为它就乱那就是Google之前的样子是吗对 至少在我印象里就是在我了解到的印象里是这样它就乱就是大家甚至都不知道我做这个事有什么用那可能也不好所以就可能要需要有一个人或者有一个小的集体能够把这两件事稍微融合一些对就是为什么我觉得其实一个组织运行的好不好看起来是组织的问题但其实规根结底是技术领导的问题就是这个技术领导有没有特质能够把这个组织运行得很稳定因为最好的那个状态往往都是最不稳定的状态就很容易往不好的那个方向塌缩的对所以得有一个领导来控制这件事那你觉得都是技术领导来做这个事情而不是CEO来做这个事情那当然美公司的CEO可能有不一样的职责但得有一个领导我觉得只要得有一个领导他能有两个特质才能去做这个事一个特质就是说他自己有救火的能力不是说他光嘴上说要做什么而说有一件事真的遇到困难了他能自己下场去带人把这个困难解决掉当然绝大多数时候可能一个领导是不会有时间去做这个事但他至少有这个能力有第二个重要特质就是他得他得能够理解别人就哪怕一件事可能是他不做的事但他能够理解到为什么别人做那事重要能够容不下别人那可能是另外一个特质你觉得Google的TPU在哪些方面表现得比GPU更好劣势是什么我觉得从纯硬件的角度来说很难说哪种硬件真的好或者坏尤其是在一种大规模商用的情况下因为本质上来说GPU和TPU在使用上来说最大的区别就跑掉硬件的区别来说使用上来说最大的区别就是GPU他有比较好的开源生态GPU没有但这个事其实在大规模商用的时候并不是一个问题因为比如Google自己用TPU那自然会花时间去搭这个这个技术设施而技术设施就是是一个你可能比如说你一直跑一钱张卡那可能是一个很大的负担但你跑一个几十万张卡的集群的搭一个技术设施也不是一个多大事然后从实际所以就是从实际上这种大规模商用来说没有哪个熟悠熟练但是这两个确实有一些设计理念上的区别比如说GPU至少我可能后来这几代GPU没这么用过比如像Hopper那代GPUH系列GPU它的设计就是说我一个炮子里面可能没有多少张卡比如说就八张卡然后这八张卡之间可以两两互联NVLink非常快所以这一个炮子几乎就是没有什么communication的bound但TPU它可能就反过来它就是说我拋弃了卡之间两两互联但是我能尽量的把尽量多的卡放在一个大的架子里面它就是有这种这种三维Thorus的设计所以它就一张卡这只有在三个方向连三个最精灵的但它整个集权可以连成一个大Thorus然后如果你的你的compiler或者你的那个sharding的逻辑写得足够好的话你是可以利用这样的东西其实就等效来说你会获得更大的储存空间然后也会减少很多通信的bound对劣势是什么我觉得一个劣势就是它肯定是比起GPU来说至少在小的思考上来说比起GPU是更加固定的一种结构所以说它的它的异用性或者它的通用性可能没有那么强对最近硅谷有很多New Lab出现你怎么看这个趋势为什么他们都出去从这些模型大厂跳出去成立New Lab我看不太懂我的感觉是绝大多数New Lab都会死然后我觉得就是可能有一些Labs是真的有好的人然后像有些Labs可能确实也开始在做一些事比如说像星期一他还是在deliver一些新的东西的然后但有些New Lab就是请帮我把名字低调好比如说我就完全不知道他们到底要干嘛然后这俩人其实已经远离这个专业好久了我觉得26年国内会非常的看重C端的叙事谁成为Super App你怎么看你觉得这个正好像在规模没有人讲这个事对就是因为美国Enterprise就是这个就是公司然后或者说效率软件这个市场太大而且利润也太高所以说对于美国来说其实C端之前就只有差了GBE加速其实也没啥油水没有什么利润所以说就是现在大家可能重新都会先放在这种效率软件或者Enterprise然后所以中美的趋势已经发生差异化了我觉得不只是AI就是过去的整个互联网都是不一样中国很强的就是C端就是它能够想出一些非常非常复杂的产品的性质或者结构然后用一种很你觉得很间接很不自然的方式把这个利润滚下来比如说什么叫很间接就比如说像抖音这种东西它并不是说你看视频我看一个视频收你两毛钱对吧还是说你可以免费看视频但是我可以偷偷加广告我可以偷偷做直播我可以偷偷做电商但是这个做效率软件没这事做效率软件非常直接就是我让你帮你写code的我成本一个月150卖你250卖就是非常直接的事对我觉得美国在过去的体现就是在这种很直接的产品上能够把技术做到极致但是一直没有哪个产品让我觉得就是复杂到说让你离不开它你有感觉不到它在挣你的钱但它实际上挣了你的钱你这么说我突然觉得mata就应该超自己的做对但我觉得mata没自己强因为mata他也找不到自己的生态位然后然后美国又没有一个做这件事情的公司豆包这个生态位还没有人找到mata就超豆包他也不需要那么强的模型能力对但我觉得还是美国做产品的本质上做C端产品的人不行比中国来说差远这是过去实验的积累对因为过去十年在美国的正反馈都来自于做2B的很多或者就是在美国这地方挣钱太容易挣钱太容易的时候你不会废脑筋去想怎么挣钱不是很多人来都要找你聊聊吗有什么好玩的人很多国内的人来科技公司来我觉得都挺好玩的然后确实发现国内的人做产品可能还是想法更复杂一些更复杂一些对 就是想的更想的这个回路跟美国还是风格不太一样美国是美国就刚才说了我就是做个什么就拿这个卖钱了对 就是简单就是这个事就是需要这个能力有了一个能力之后就是要比别人便宜我就能挣得比你多拿了一点办法也没有中国呢中国感觉都是这种一开始不挣钱但一旦他开始挣钱你就拦不住他就是他是真的能形成自己的那个圈的他真的把那个圈转起来的时候你再往里插就插不进去了你觉得美国公司现在看得懂自己的跳动没有我的感觉是没有还没有他都这么大了你说是不是重视啥那肯定是重视的大家肯定都知道自己是一家被严重低估从他的市值上来说是被严重低估的公司这是我觉得大家很明确的事然后我觉得也很明确就是说在消费者市场这一端其实我觉得没有哪个公司能和自己竞争但是他毕竟是在中国公司至少从公众的公众意识上来说他毕竟是在中国公司你自己看懂他了吗我不觉得大家看懂他但是你看Mata其实也在主动的从自己挖人你在AI行有什么偶像吗或者欣赏的人虽然你在AI行为很短没啥就是我感觉我来这行业的时候跟英雄主义时代已经过去了所以也没有什么英雄有时候你甚至觉得就是在英雄有点蠢所以说真的没有什么你觉得谁比较蠢这个还是不说了No comment其实和作物理说还是不一样我觉得作物理说还是存在这些我觉得真的比我聪明太多的人比如我独播的时候我那个年轻老板我觉得他Douglas Stanford我觉得他就比我聪明太多了我觉得他可能也是看到他我才觉得自己待在那个领域没什么用有他了还要我干嘛呢对吧跑到AI来叫为打击一下是吧也没叫为打击但是反正就感觉AI这个事本来也不太需要脑子不太需要脑子真的不太需要脑子需要什么我觉得这个这个行业就是最重要的特质就是靠谱就是做事戏然后对自己做的事负责任这是最重要的特质你说那些东西有多需要脑子我觉得都是一些本科生就能干的活可是你说AI没有个人英雄主义现在一个AI研究员的价格吵得多高跟球星转会一样我不知道是好事还是坏事对我个人来说我当然很高兴我受益于这个对吧但是实际上来说我并不知道这个事是不是是不是一件好事你觉得为什么价格会变得这么高我觉得可能一方面是大家觉得这个事很稀缺吧但是它实际上可能确实也没那么充足就是因为训练一个人虽然这个事没那么难但是你训练一个人是需要一个环境的就是你得有那个机会去接触这件事你才能学会这件事你没有那个机会你就是再聪明也没用那可能过去能撞到这个机会的人没有那么多所以说在试条来说可能是比较稀缺从这个角度上来说但我觉得另一方面也是可能对人的炒作有点过分了对非常喜欢神话个体现在对我觉得真的就是再说一次这是个集体主义的事那很多人也会很好奇因为可能很多公司也想招AI的人那你觉得最重要的还是要靠谱这个有什么衡量指标呢就是怎么能够快速的判断一个人靠不靠谱做实习不行每个人都有一些自己衡量的方法然后我当然也有一些自己的trick我以前好像有出一道面试题我会大概讲一下这个应该不是个MIS我也更加可以讲那面试题其实很简单就是说我需要这个人在24小时之内然后完成一个强而学习的项目从0到1就是他要自己去选用什么样的模型我告诉他他有的资源是什么样的然后他自己选用什么样的模型用什么样的数据用什么样的算法然后把这个模型迅出来24小时之内就是我给他让他24小时去完成这个事然后24小时结束之后他会跟我有一个小时的讨论然后这个事其实在AI时代没有那么难没有AI时候这个是不可能的没有人从24小时之内把它做出来但有AI之后其实特别简单因为AI能把你全套做但为什么还要做这个事呢有两个原因有很多原因其中设计成这样的两个原因一个原因是因为我觉得在这个时代还去考察别人比如说代码写的好不好其实没用因为绝大多数人不用自己写代码然后他更重要的是他能不能有效地利用AI那这个事一个方面的考察这个问题第二方面是这个事其实有一个陷阱就是如果你全盘上AI做了但你最后没有试图好好理解AI为你做了什么那在那一个小时的讨论里面会露相那是一个那个是一个会挂人的地方所以说那个考验的另一件事就是说你有没有真的和AI形成的写作还是说你就全权扔给他那个是我我觉得我个人看着我的事那个其实也是他就是这个人是不是左手抛谱的一部分当然这个题目的设计本身也有一些一些比较阴暗的巧思就是说为什么设计成24小时就是为了看这个人就多看着这个机会如果他足够熬夜他就能撑住这24个小时如果他撑不住那只是他可能对这个机会也没有那么看着那对于比你更年轻的人你觉得他们现在来AI还是一个很狼害就很有机会的地方吗我觉得纯作语言模型已经不是一个狼害了我觉得晚了就是木板车已经发车了木板车已经发车木板那边是哪一半我感觉我入行的就是木板车然后可能有确实在我入行之后当然还有我一些新的人但我觉得他们就没有机会能接双那么好的机会就是能在一个还没那么大的团体里做一件事情那么可能就很少能遇到这样的机会对 然后但是我觉得AI它是一个很大的方向纯作语言模型只是其中的很小很小一个部分还有很多别的事情比如刚刚说的多么太生成那可能还有很多机会机器人那可能更提问更多然后包括更夸张的就是比如说你能不能用AI去帮助一些真正的科学问题比如说帮助做量子调控之类的那可能就是更蓝海那都是blue sky的事所以说我觉得对于足够年轻的人来说可能做现在最热火的事并不是一个正确的选择做现在没有人做到的事可能更多的是一个好的选择对你自己未来会怎么发展你会在谷歌很久吗我觉得应该不会这么公开的说法我觉得应该不会我觉得我还是会尝试去挑战自己的然后要折磨自己对 要折磨自己对 但是我就是可能需要找到一个值得折磨我自己的事所以如果A也不是本质的难的话你会不会觉得无聊对你的挑战在哪我觉得它虽然不难但是你知道和不知道还是有一个gap的就是你从完全不知道其中的细节到慢慢理解其中的细节理解它怎么运作的之类的这些事情我觉得还是需要花时间花力气的然后当你理解之后我觉得对这个事也是会对你未来做比如说不管你是做产品相关还是说往别的A2的方向去发展我觉得都是长期来说会有帮助的你未来想在哪里去判断我觉得都是可能没想好该怎么折磨自己你应该不会再跳去另外一个大公司了吧你应该不太会了你觉得你在DrawPick上学的和在GoogleDMI学的有什么不一样我觉得还是挺不一样我觉得在想DrawPick就是你可以把一个事了解很把一条线就是Language Model这条线能了解得很透它给你这样的机会然后在Google它更多的是一种横向就是它有很多不同的方面不很多不一样的人然后你能见到不一样的视角也能见到不一样的研究方向就是你都可以看见DrawPick是因为它大致的足够的坚定所以你能理解得更纵向你有想过用AI去解决物理问题吗你们那个评论物理有人在干我觉得不需要我去干你觉得这个没有本质的性质我觉得这个事首先我觉得目前对我来说不是最高优先级我觉得如果哪天我觉得我把我手上最高优先级的事解决了我又没有找到别的事干我可能会去干这个事你现在最高优先级是什么我现在最高优先级就是把我刚才说的这两个事情还没有coding能够把它Language Horizon把它至少推进到一个和同事能够把推进到一个我觉得比较较稳定的状态那个我觉得是我的最高优先级但是可能之后也会有别的优先级但是自用AI做物理我觉得是一个已经有很多人在试这做的事然后多一个不多少一个我不少不如就让别人先干你有特别崇拜的物理学家吗也没有有但是有点多不知从何说起物理学家有人工智能科学家没有但跟人的成长经历有关吧我觉得就是一个成年人是很难真的崇拜一个人的一个儿童可能会崇拜过谁我觉得就物理学家其实还有很多就真的挺挺强的但是就是大家都说的那种一百年前那种人就不说了就什么Eston Heisenberg这些就不说了然后包括大家后来都知道什么的这样像我之前做土布拉祝国体系的时候其实有一个他后来也难过讲就是那个好战就是你会发现这些人他他有些异常的远见就是他在他那个时代显得格格不入但是你看好战最开始做好战model和这些分数量的话相关的事的时候离最后大家搞明白这些透敷物态过了好几十年在那个时候他能够觉得这事重要然后一直在自己在推进这事我觉得这是一个很不容易的当然我觉得你要在人工智能找一个类似的人我觉得可能Jeffrey England是吧就是在大家都觉得这事可有可无或者不那么确定的时候他一直在这个方向做那我觉得这可能是一个英雄级别的人物在他之后呢AMAM在他之后我觉得我觉得可能也有一些英雄的集体就是比如像Transformer就是Normosa Jair和那些那个RCHRNikyan那可能是一个英雄集体你讲过的一个特别让我印象很深的话我在这个行业又没有什么导师又没有什么旧有我小喷水喷水这可能就是不做AI的好处不做AI出身的好处对真的没有什么负担就是没有哪个老的是你的亲属所以你觉得他傻他就是傻就可以直接说他傻无所谓的你以前也这样吗我觉得我做学生的时候还挺收敛的但我后来发现收敛没用对自己也没好处对别人也没好处还是更直接的表达自己的想法是最关键我觉得直接表达自己的想法是一个短期一定会有人恨你但长期大家会欣赏的事情你最近听谁说他对纯把这个名字逼掉去写我就而且纯的始终如一他有没有可能是那个对的人我觉得他说的话用抛力的话来说就是因为不良好定义你很难说他说的是对是错对就是有一天可能有一个不一样的发射发射了他就可以跳出来说我当年说过这个但是你去发现可能如果发射是另一种状态他也能说一样的话这就是我为什么很討厌这种很很模糊的人的原因因为一个事模糊就是没有意义的对你为什么觉得他说他很模糊没有正确定义就是是一种模综两可如果他有正确定义的话我可以解释他为什么有正确定义但他没有正确定义的话我没有办法解释他为什么没有正确定义因为他真的没有正确定义我觉得还是一很良好定义的事就是他是要做他的方式可能更偏那种更传统的这种Neon Network Modeling的方式而不是更N2N的这种方式我觉得至少他是良好定义的至于他是对是错那我觉得是未来会检验的事情对就大多数老灯其实都还好就是我觉得我觉得人年纪大了必定会变成老灯的人年纪大了会变成两种状态一种状态叫做德高望重就是他会可能少之手画脚还会花自己的力气去培养年轻人另一种人就是老灯就是自己也不懂还爱直手画脚所以人老了不一定会变成老灯你说受到谁的自己我也不知道我受到谁的自己但我确实见过不少老灯你从什么时候变化的就是说话非常直接开始不收脸了就是你过去都是这么想的但是你不说我觉得我过去可能也会比较直接但是没有这么直接但是做了AI之后就更直接是没有束缚是吧一是没有束缚还是这个领域足够客观就是你其实不用太担心因为自己的观点只要你的观点就是是自洽的就是你有一套自己观点的理论你不是说随便喷人那肯定是会惹到原因但是你也是有一套自己的自己的理解我觉得其实大家是会尊重你的因为最终你在这个领域做的怎么样是有客观的评价保证的好我们每个嘉宾都会推荐一本人生之书要这本书真的对你产生过重要的影响你要说的这本书是什么这是今天最难的一个问题我感觉你还是高看了我的文化程度我真的没有什么人生之书说实话真的没有什么人生之书好 最近读了一本书最近上课 上次那个启超说的是献条小狗最近读的书就是就是唐川的自转唐川秀书的自转律人然后你要非要说可能有印象的书首先我这人确实不爱读书我感觉就是我这个人文化水平比较低然后我读书除了专业性的书之外所有的书感觉都是显书像什么唐川的自转其实本身也是本显书但是就是我觉得显得挺有趣的能看到一个后来看起来如此成功的科学家在他年轻的时候这种挣扎感很真实然后可能就还有一些什么显书像小说有本小说我很喜欢来自新世界是一个日本的小书我觉得你要非要让我推荐显书的话我可以推荐那个你最近有看什么电影什么电视剧玩什么游戏什么都没有一个全球范围内你喜欢的食物寿司吧一个全球范围内你喜欢的地点全球范围内喜欢的地点我觉得现在你要非让我选我可能会选夏威夷因为我很喜欢海对但是叶翰南说因为之后我可能去了更多海的地方就另有新欢了一个少有人知道但是可能需要知道的知识点别相信老灯算吗你有迷信过吗我本质上没有迷信过但是我觉得有些时候可以靠迷信来安慰自己我说你有迷信过老灯吗迷信老灯从来没有吗真的没有好但是我以前可能没有这么恨老灯后来就变得越来越恨老灯为什么可能就是当你自己有越来越多判断的时候那些蠢的人就显得更蠢他们也没有伤害你为什么会恨他们我觉得就是验蠢症每个人都有验蠢症你的NBTR是吗不知道为什么这些年会有一个对于就是年轻人对于年龄大的人这么不友好的一个词出现他来源在哪里不知道没有没有研究过可以问问Germany让他Depth Research是一家看看老灯这个词是哪来的那你心目中影响AI进程的一篇诺文Sequence to sequence 是一篇然后那个我觉得是Language Model在Feature Engineering时代的的高峰然后Screen loss 是一篇就是主要开放的他们在Open EdScreen loss我觉得是一篇是一篇把这种体系化的研究方式引进到这个领域的一篇当然最后实际上Screen loss的做的方法可能它那样并不是正确的就是但是是第一天把这个想法引进来的我觉得这很关键基于你当下的认知一个关键的重要的Bat是什么Langhorize我们工作室叫语言及世界工作室第一次听到这个名字的时候你在想什么我觉得这个名字有点正常的 太平庸了可以对 其实我觉得这个名字是一个可能放在10年以前是一个很独特的视角现在主要大家共识太多了我觉得10年以前确实可能现在不止10年对不起我感觉我年纪也大了可能不止10年了可能在14 15那个年代大家都会觉得视觉是最重要的事在那个时候我觉得意识到语言是承载智能的重要载体的人可能是一个不一样的事情 对不过我觉得我们这个名字不是在AR的语境里面讲那就值得深思了好了 今天的节目就是这样这里是商业访谈录是一档语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室或取更多的信息我们的公众号是语言及世界Language is World我们希望和你一起从这里探索新的世界