E247|对话盛颖:xAI,Infra的浪漫,SGLang,开源,平权与“甄嬛传”

【主持人】Hello大家好,欢迎收听硅谷101,我是泓君。今天我们请到了一位在AI推理领域绕不开的人,他是盛印,RedXARC的联合创始人与CEO。今年5月,这家公司官宣了a16z领投的1亿美元的种子轮融资。像英伟达的投资部门、AMD、英特尔的CEO Pat Gelsinger,还有OpenAI的联合创始人John Schulman都是他的投资人。RedXARC背后是一个叫做ExoLlama的开源推理引擎,一个从来没有靠市场推广和销售推广过的项目,今天就已经跑在了全球数十万张的GPU上,每天为谷歌、微软、英伟达、xAI生成数万亿的token。可以说你每天现在用到的AI服务器,背后很有可能就有它在工作。
【主持人】而ExoLlama的起点是2023年盛印在斯坦福读博的最后阶段,和LMsys的社区研究者一起做出来的东西。他把它称为自己博士生涯的收官之作。那之后他加入xAI搭建推理系统,去年他从xAI出来和朱邦华一起把这个开源项目变成了一家公司。我们这集的节目录制于2024年的6月初,当时是RedXARC刚宣布完融资不久,下面请收听我们视频主理人陈茜与盛印的对话。这也是一集视频播客,大家可以在硅谷101的视频平台上同步收看。
【主持人】今天会讲一讲你整个的学生时代到你之后的研究时代,再到你出来在xAI,还有你自己现在的startup,然后我们可以按照这个顺序来讲。首先,你本科是在上海交大,然后上了ACM的荣誉班。17年就来到了美国,哥伦比亚大学读硕士。在这些学生时代,当时出国是因为大家都要出国吗,就是为什么选这条路呢?
【嘉宾】确实也是因为当时很多人要出国,但是我觉得中国高考值得知道得很晚。我觉得我从江西到上海交大本科的时候是经历了一个很强的culture shock。但是我觉得上海交大的人都很理解职业发展、人生规划,他们有更多的规划,其实我处于无知状态。我觉得我本科刚毕业时候一开始,其实我甚至没有申到什么,因为我实际上升到了中国大学时我甚至没有申到美国大学。但我其实一开始没有拿到offer。当时有一个港中文大学的PhD的offer,然后我接了,甚至都已经申请上,我就有个君子协议,4月15号君子协议都已经过了。第二天我突然收到了哥大给我发的一个很普通的研究生,就Master offer。它其实是个很普通的offer,就是很多人都能拿到,但是我当时就觉得我想接触一些新的东西。我想因为那个时候的学术中心还是在美国,我觉得我想出去看看。哪怕哥大的Master Program它不是一个特别顶级的program,但我希望我想去看看。然后我当时我还给我爸打电话说,这个前面PhD offer能不能回,我还需要交一笔违约金,但是我想出去看看。我还犹豫了一下,然后给我爸打了一通电话,但我爸非常快就是一分钟就说好你去,就交了违约金。
【主持人】那你说你从江西到上海其实是有一段culture shock的,那你从上海到美国是不是也经历了culture shock?
【嘉宾】也有吧。我觉得我确实是每一段都是那个舒适圈打破在早期的经历里,但是我在纽约的感受,纽约是很包容那个城市,这个shock其实不太shock,就是我感到不一样,但我觉得极大的被包容了。具体体现在什么方面呢?就是我觉得在纽约当时文化让我觉得没有人盯着我看,没有人在乎我穿什么、想什么、做什么,我想要什么。我在纽约感受到那个shock更多的是一个不需要被注视,也不需要注视别人的shock。这个shock是从一个被限制状态到一个完全自由状态的,对,它是个shock,但它其实是个更放松的过程。
【主持人】挺好的。那我看你在哥大硕士阶段发表的论文还是比较偏理论的,主要是测试函数,然后线性回归的数学性质,后来到了斯坦福读PhD的时候你选择了形式化验证方向。那么先跟我们说一下,在哥大你从事的这些研究,其实对你后来的研究有产生任何的影响吗?
【嘉宾】我刚上研究生的时候是没有想要做研究的。但是我第一学期的时候上计算复杂性的课,当时觉得很有趣。然后我又碰巧交了一些当时的朋友,就是当时的博士生朋友,然后他们都是做理论的,然后我就觉得这个领域非常有意思,我就找老师和这些同学们说,能不能有一些问题可以研究。
【嘉宾】研究了一段时间觉得很有趣,然后也有成果,所以自然而然就到了斯坦福。
【主持人】就是你研究生毕业的时候,有考虑过要工作,还是说我要申请博士吗?
【嘉宾】我一开始是没有想要申请博士,或者说我也没有觉得我不会申请博士,但是我没有盯着这个目标去,我没有对着这个目标去,我觉得它是open的,所以我也保留了这个选项,然后探索了一下。但我后来发现这个理论的问题非常有意思,我自己也非常享受。我当时就觉得我甚至也不需要赚很多钱,我觉得我想stay poor,我想找一个没有人的地方。我当时有一次去那个普林斯顿,我去参加一个workshop,然后我当时被那个环境就直接包围了,进到普林斯顿那个校园那个环境里面,我就突然觉得与世无争,非常agalmatic,尼达,它也不算有点,它就是与世无争。进到这里的感觉就是没有,就是会觉得你人世间的很多这种大家所在乎的东西,平时去挣扎臣服的东西,都非常没有意义。
【主持人】是学校的环境给你这样的感觉,还是说那边的人,它的氛围是那样的?
【嘉宾】应该也是还是那个workshop给我带的,那个环境加上那个workshop,人的人带的,讨论的这个氛围感。那个氛围感让我觉得所有人都是不重要的,我觉得人的想法、七情六欲都是不重要的,都是甚至看上去有点荒诞的。
【主持人】那什么是重要的?
【嘉宾】就是什么都不重要是重要的,就是一种是一种虚无,你觉得虚无才是它真实的东西,就只有真实是重要的。
【主持人】嗯,真实是重要的。
【嘉宾】然后数学在那个环境下,就会显得特别的美好,特别的优美,因为它是确定性且是绝对化的。然后你在跟它打交道的时候,没有什么其他东西需要思考,它可以让你非常的沉浸和focus,或者说你可以在这个环境里面进入心流状态,思考问题的时候进入心流状态。这个心流状态是与人无关,与其他事情都无关,大脑被完全的调动起来,进入一种生理性愉悦。我一定描述不出那个感觉,我能给到你的是这个意思,但是这个状态我觉得非常的纯粹,就是很纯粹,很像一个会成为一个数学家的人的一个状态。
【主持人】但是你后来为什么没有成为一个数学家呢?
【嘉宾】对,我当时就是很想成为数学家,我当时觉得我就要成为一个数学家,我觉得我只想做数学,但是事情的发展总是不是那么简单嘛。那毕竟我还是有生活上的各种困扰,到了斯坦福之后第一年也确实没有在,我觉得到了斯坦福我就没有那个感觉了。我知道这个斯坦福不如普林斯顿纯粹嘛,纯粹那个只是一场travel,我人在哥大,但我在哥大的时候也能感受到这个氛围。我现在觉得是不是西海岸和东海岸其实有点这种文化的差异性在,西海岸就是慢慢的,你会感觉到更多的这种关于成功与否的这种noise,就是你想要参与世界的推动,我又开始觉得我跟世界有关,我又觉得我不想跟世界无关。但我在东海岸的时候,我觉得我希望我跟世界无关,我希望我被世人遗忘,很不一样的一种感受。但我在斯坦福第一年的时候想做理论,那个时候斯坦福是有rotation program,要配导师,配到了之后你才决定你后面五年体验世界旅程怎么走。前面几期有些是因为各种各样的原因,比较复杂各种各样的原因,没有再遇到很让我觉得能够进入心流状态的问题,也没有跟哪个老师能够双向的都觉得很exciting。可能老师们也觉得我对他的问题不特别感兴趣,有一些情况也说,我可能也觉得那个老师我们没有完全match上。最后到了第四轮,跟我现在后来导师是Clark,match上的时候,就已经进入到一个新的topic了。
【主持人】是Clark Barre教授对吧?他其实是做形式化验证的一个方向,能不能跟我们的观众来解释一下?
【嘉宾】什么是形式化验证,这个理由也很大。但我可以简单讲我当时做的一部分的课题。我们当时一部分的课题是我们要把人写出来的代码进行拆解和映射,然后把它映射到底层的数学逻辑上。你可以把这个代码映射到一阶逻辑,你在这个逻辑出来之后,就可以从数学角度去证明你写的这份代码是不是具备某一个性质。具体来说的话,一份代码其实隐含的有一个东西叫做Spark Specification。Spark其实是说明了这个代码满足什么前驱条件,它会有什么样的Imperfections,然后代码执行完之后要满足什么样的条件。你可以有这样一套语言去描述这个程序,然后你要证明的就是如果你代码有Spark的情况下,你的代码是不是真的组合了这样一套逻辑。从代码映射到这个逻辑Formula之后,Formula之间的证明和推理,就是我做的研究领域SMT Solver做的事情。然后我的研究大部分是在SMT Solver本身的优化,优化一方面跟Efficiency有关,一方面跟正确性有关,但是它更多的是跟你怎么定义语义有关。就是你定义什么样的语义空间可以去表达一份代码所做的事情。
【主持人】那你其实开始深入形式化验证之后,我们看到就是开始狂出论文了。2020年是拿到了IJCAI的最佳论文奖,2022年是拿到IJCAI的提名,后来又是CAV的贡献者之一,是拿到了TACAS的最佳工具论文奖。太高产了。
【嘉宾】对。
【主持人】你觉得这段时间你的一个研究的状态是什么样子的?
【嘉宾】其实这个真实的过程比外面看到的、简历上的那种要干瘪很多,其实要煎熬很多。我在ETH前几年的经历并不顺利,一个是我刚进来第一年的时候,找导师就不是很顺利,被动地进入了形式化方向的领域。因为我要读这个PhD,所以我才需要把这个地方不停地去做研究、产出论文,我其实是比较被动的状态。当然我在做的过程中,慢慢地也欣赏到了它的美感,后来我慢慢理解这件事情它为什么有意思,以及我后来有了一些更多的思考,我觉得它其实有一个很有意思的未来。但是最开始做Politeness那篇论文的时候,就是我第一次拿了IJCAI Best Paper那一篇,非常非常的意外。因为我当时是一个完全小白的状态,我对这个领域不知道,导师给了我一个问题,我去解决它而已。然后我做完它的时候,我也没有任何的认知说什么样是这个领域里最好的paper,因为我看的paper还不够多。所以这个奖出来的时候,我完全没有想到,被别人告知的时候才得知拿到了这个奖。那个是我进这个领域发的第一篇论文。但是发完这篇论文之后,其实我就又重新进入很迷茫的状态,就是我还是没有找到我想要做的下一个问题在哪,就是exciting的问题在哪。
【嘉宾】在那篇文章做完之后,我记得就进入疫情了。进入疫情我其实有长大一年的时间没有做任何事情,接近一年的时间在一个depression的状态里。但我遇到了非常好的导师,Kark非常supportive。他完全理解说我要调整好这个状态,他只关心我是不是有一个好的精神状态,只关心我是不是能够走出来,他没有给我施加任何需要继续产出论文或者做研究的压力。他说那我可以去上一些课,做一下TA,做一些这种很轻松的事情。后来我回国待了半年一个疗愈期,然后我其实没有产出论文,但是Kark从来没有断过我的经费。
【主持人】那确实是非常好的导师。
【嘉宾】然后我一年之后才慢慢走出来,才做了sequence的论文。我们前面也有过很多挣扎,证明应该是写了二十多页,来回改了四五次,而且有两次我几乎是全部推翻重写的。那个已经花了一两个星期推出来的证明,全部推翻,因为你从一开始地方发现有一点点错了,那个错了之后,后面所有的后续推理全部是错的。
【嘉宾】所以那个证明从前面要一直fix到全部重写,全部重来。但是这个过程走完之后很有成就感,最后这个证明完全写完之后,比一开始设想的要复杂的多很多。我们都觉得这段证明写出来和这段经历非常的accomplished,就是很有满足感。我记得那个时候Kark自己也说,那篇paper里的证明是他过去一年的highlight。当时也是buzz paper提名,但是没有被公开就是大家讨论过,最后没有被选上,但是很接近。如果说我在形式化工作的话,这段可能是我觉得最愉悦的一段时间。从这篇paper开始,我开始看见了形式化理论的这个里面的一些深刻的含义和和他的优美之处。他的优美之处在哪里呢?他让我理解了程序语言设计的几个不同角度吧,就是形式化的这个方法去设计语言,他是从数学的角度去理解程序语言的。程序语言我打了很久的交道,我打了20年的交道,但是我从来没有以这样的角度去看待过他,然后他给我了一个全新的视角。但是你会发现程序语言里面他也有很多的吹到不同角度上,有一些语言更接近数学,有一些语言更接近硬件。你其实很难有一个指点,让你一个语言他离数学和硬件都很近。接近数学的语言他会更容易被验证,更容易被形式化;接近硬件的语言会更灵活,更高效,更接近人的思维习惯,就是当你需要编程、硬件里面的具体硬算的时候,那样的麦屏又更直接。最后没有再往这个领域继续的走下去是因为什么呢?我看到了他的有意思的地方,但是我也看见了他这个领域的局限性。他能够在现实中Practical里被应用的场景太少了,然后你要验证一个程序太贵了,但是他能验证的又很少,不能产生足够大的影响。但是我觉得我想离世界更近一点,我还是想要做更接近真实生活的东西。当时觉得,所以我那个时候就开始探索AI,要开始寻求方向转化。开始探索AI这个过程其实也不太顺利,可能我又有一年的时间的空窗期。就是你看上去我的Publication没有停,但其实我之前有很多的空窗期,派解的空窗期跟你自己定义的空窗期是不一样的。
【主持人】对。
【嘉宾】我自己定义的空窗期就是那段时间我没有做任何,我其实没有make a progress。在我转AI的时候又有大概一年的时间,我其实没有任何新的idea,我实际上没有做任何事情。可能长达一年之后,我突然某个时间找到事情可做的时候,我三个月产出了一件事情。但是外人看到你会觉得那个作品是我过去一年的成果,实际上它是我过去一年你最后三个月的成果,九个月我都在这个自由路状态,完全不知道自己在干什么的状态里。
【主持人】我非常理解这个过程。就像我们记者,一些稿子也是一样的。对,你给我一个月的时间,前面二十九天的时间我都在做research,或者是放空或者是采访,然后我其实这个稿子就是用一天时间写出来的。对,所以你看上去,不然我形式化我可能发了三年paper,分不在三年时间里面,但免費票真正推动期它都只花了什么三个月的时间,然后这三天里面,每年都有九个月不知道在做什么。其实你不知道在做什么,你可能是在迷茫,想去找到你想解决的问题。因为我听下来就是说,要去找到一个你真正感兴趣的问题并且解决它,真的是你的一个driver,一个驱动力。
【嘉宾】是的,这个是的。就是我确实有一些缺点就是我没有办法妥协,我后来服从了我的这个特点。就是原来在不理解我自己的时候,我尝试努力去适应过一些规则,但是我后来发现我自己是不能被勉强的,就是我没有办法做我不感兴趣的事情,没有办法做好。我能做,但其实我没有办法做好,我只有这个事情。
【嘉宾】它让我觉得非常exciting,我才有可能把那件事情做好,这是一个特别纯粹的一个性格。
【主持人】你当时什么时候发现说这个性格就是这样了,我必须要去服从我这个性格呢?
【嘉宾】这是一个缓慢发展的过程,倒也没有某一个时间点突然顿悟了,它是一个我慢慢意识到,以及终于有一天我完全接受它的一个状态。我完全接受它可能是在博士的最后一两年吧。
【主持人】你本身是一个喜欢Intense的人吗?
【嘉宾】我是个必须Intense的人,从小就是这样的,对。
【主持人】我觉得从你发paper的那个数量跟节奏就能看出来。
【嘉宾】对,我没有办法,就是我哪怕睡觉的时候也会一直做梦,就是我没有办法停下来。
【主持人】你做梦也会梦到跟你研究或者工作相关的事?
【嘉宾】那肯定会,肯定会,会,大家都会吧。
【主持人】你那时候的梦是完全无关的?
【嘉宾】我还是挺有关的,就是说明你在睡觉的时候你的前额叶其实还是在工作。
【主持人】有可能是生活,就是工作生活。
【嘉宾】但它一般来说都不是没有任何关系的东西,但肯定会有虚假的成分,会有想象的空间,但它不会是毫无关联的。我觉得我PhD经历的那段depression的时期,就是因为这段时间太无聊了。因为疫情的时候大家都slow down了,然后我根本没有办法在一个slow down的环境里面保持我mental的healthiness。
【主持人】所以就是一定要忙起来,然后才能让你健康的运作。
【嘉宾】我不一定要忙起来。我Master做pure做数学研究的时候是不忙的,那个时候你是很沉浸的。因为那个问题它就是除了看那张纸,在那想其实没什么能做的。我看上去很闲,我每天可能也就想四个小时,然后工作四个小时,然后我就去打游戏了。其实我Master之前打了好多游戏,因为那个问题都太难了,你没什么事可做,你只能空想。
【主持人】这打游戏的时候也很intense?
【嘉宾】其实也没有。我觉得pure非常不一样,pure就是有很多灵感,你只能等它来,其实你没什么事情可做,你只能在那等,你等着那一刻灵感来。所以我有大量的时间去打游戏,打打游戏转眼就灵感来了,然后去写一写是吧。
【主持人】其实我那个当时那个题目做解出来,就是在我看电视的时候想到的那一点,对,我也不知道为什么。但确实那个时刻,我看电视之前看了一篇paper,然后我就开始看电视去了,看了中段的时候,不知道为什么那个paper那东西突然回响了,eureka出来了,然后突然又想到了paper的那个点,突然意识到这个地方可能是一个解法突破点,那个就是关键点。就是那个问题被解决的那个就发生了一个瞬间,那个是真的是有一个肺子传辑审,就是那个是一瞬间的事情,就是那个时刻那个问题被解掉了。然后你电视剧看到那一半,你突然我怎么突然开始知道怎么解决这个问题,暂停。谢谢郑非,你还记得是什么电视剧吗?甄嬛传。
【主持人】我真的,我真的记得,太神了。我一般是在洗澡的时候会有灵感突然进来也会有,但是电视剧我觉得我很少,因为就是看电视剧……
【主持人】你还稍微很沉浸的嘛,但是就看起来,你看电视剧的时候,你的潜意识感觉还是一直在思考一些事情。
【嘉宾】我会,就前面说到我跟我自己和解,我是怎么和解的。就是我以前不知道ADHD这个东西,有一天我就慢慢地了解到了有一个东西叫做ADHD。然后我看完那个各种症状、深入理解之后,我发现好多东西都可以被解释。
【主持人】就你觉得你是ADHD?
【嘉宾】我确实是。我经常看心理学,但它不是一个疾病,它是一个特点。学习之后我发现好多东西就被解释了。我就觉得它带来最大帮助是,我通过理解它而理解了我自己,像是我找到了怎么使用我自己的一把钥匙。
【主持人】你突然知道了就是,手册有了。
【嘉宾】对,它是一个手册。我突然知道了就是,我不应该逆着我的短处去,我不应该逆着我的天性去做事情,我应该顺着我的天性去做事情,它告诉我这件事情。然后你一旦悟到了这个之后,就很多事情就迎刃而解。其实你很多事情是不要勉强的,是没有必要勉强的。
【主持人】对。
【嘉宾】就我前面说的,我只能做我喜欢做的事情,当你把这个当成真理的时候,你就不再跟它对抗。
【主持人】所以最棒,对。
【嘉宾】然后我们两个,我刚刚说这个是因为,可能我已经开始有点这个特点显现,就是它的这个特点之一就是我看电视的时候也是不专注的,也是不专注的。
【主持人】对。
【嘉宾】就我看电视的时候,我也会跟不上那个电视的内容。我经常要回退,我经常要往回来,刚刚讲了什么。30分钟的事情,我经常要看四五十分钟才能把它看完。
【主持人】比如说你自己做研究或者你在工作的时候,什么样的时候你会非常专注?什么样的时候你其实是没有办法专注的呢?
【嘉宾】就是我自己特别被它吸引的时候,非常专注。它这个是两极化的,就是我专注的时候非常专注,专注的时候,我会听不见别人叫我的名字,不记得时间,不知道外面发生的事情,会错过很多的会议。然后不专注就是根本没办法专注,哪怕这事情很重要,我也不专注。
【主持人】太征环站到没有办法focus,说明郑网上不够吸引人。但是如果够吸引人,我就会非常专注。但游戏会非常专注。
【嘉宾】对,游戏非常专注。有些运动,竞技性的运动也会,它需要非常激烈,激烈哪有办法,它要非常激烈,它要竞争。就是游戏的话,你是对打玩,有输赢,竞技运动也是你有输赢,这个时候的时候我就会非常专注。
【主持人】所以你是一个好胜心很强的人。
【嘉宾】我觉得我不是真的很在乎输赢,但是我在乎激烈的感觉,我喜欢那个感觉。我其实不在乎输赢,我游戏可以输,打比赛也可以输。
【嘉宾】It's OK,我也不会觉得我非要赢,但是你这个即时出戏进去了之后,我会很享受那个心流状态。
【主持人】是不是还是那个,我喜欢心流状态,你的大脑被抓住,然后你就是非常心流吧,就是人非常focus,那个应该就叫心流状态,是很享受的。所以打游戏、研究、学习,这个上面你都可以获得你的心流状态。
【嘉宾】对,学我喜欢的东西可以。
【主持人】再提一个你大学的问题,然后我们到这个公司上面来。就竞赛圈,它其实是一个很有那种天才标签的这样的一个圈子。对,你觉得就是天才这个词,在你身上安得多吗?就很多人会跟你说你是天才?
【嘉宾】不多。
【主持人】不多。是不是你就是拿了竞赛的金牌之后都没有?
【嘉宾】我没有拿金牌首先。
【主持人】对,你是拿了这个全国信息学奥林匹克银牌。但是我记得你好像是在纽约那个区域赛冠军?
【嘉宾】区域赛冠军。那个区域赛冠军也是组队,就是三个人一个小队,也没有说是我个人成就。我的队友其实非常强,运气也比较好,有非常强的队友帮我带飞了。
【主持人】肯定有,但是小赛更多一点。
【嘉宾】后来不是经常。因为有这些拿了这个奖项,但好像其实都不是,就比如说银牌不算啥,还有很多金牌选手。
【主持人】对。所以就看你跟谁比。
【嘉宾】但是我在的那个环境里面,他们总是比我更强的。本来我在S&B,S&B里面也有很多比我更强的。
【主持人】所以就是你觉得努力这件事更重要,还是天分这件事更重要?
【嘉宾】我更看重天分。
【主持人】你觉得在研究上面,天分它主要表现在什么样的方向呢?
【嘉宾】天分是指当外界不把研究当回事,不觉得研究是件伟大的事情的时候,你还想做它,那就是你的天分。那是要兴趣,我觉得大部分时候,天分和兴趣相关性还是蛮强的。
【主持人】那这么说吧,可能很多人想成为维克托,但不是很多人都能研究出来或者解决这个问题。就你能解决这个问题,肯定是你的天分在。
【嘉宾】对,是有天分的。但我其实首先不觉得大多数人真的想成为维克托。我见过太多的人,他们想做研究,想成为维克托,是因为他们觉得这件事情酷,是因为外界的环境让他们觉得这件事情很酷,或者当教授是一个铁饭碗,类似反正就一些原因。但这个并不是。如果说当所有人都开始觉得当教授是一个被人唾弃的职业时候,他们马上就不会想做了。就是你能识别出来。但是在我当时想做这件事情的时候,其实我是,比如我在的环境里面,其实大家也没有觉得做理论计算机是多么伟大的事情,然后你赚的钱也很少,但是你还是觉得它有意思。我想做这件事情是因为希望跟别人无关,是因为我想要自我比较,那个时候才是你真正的所谓的兴趣和天分所在的时候。我也不敢说我有天分了,那我毕竟也没有发明过什么,也没有什么。
【嘉宾】巨大的数学成分。我也不能算有天分。
【主持人】你肯定是算有天分的,不然的话,你paper怎么能发那么多?
【嘉宾】有很多人paper发得很多,比我发paper多的人还有很多,那可能就是更有天分的。
【主持人】发paper只是一个……发paper是有套路的。
【嘉宾】什么套路?就是发paper其实你如果掌握了发paper,发paper本身是一个技能。发paper跟作为设施是两件事情,发paper跟人们定义的作为设施和真正医生的科学家是三件事情。发paper是有套路的,你完全可以一个人他根本就不怎么懂,他也能发很多。
【主持人】不可能发很多paper,就像一个什么命题作文一样,是不是你套着他那个框去写就可以了?
【嘉宾】对,就是你只要掌握了这个规则,然后你掌握了这个体系的规律,在从小的规律里面,不行的产出,你就可以一直发很多的paper。
【主持人】但是顶刊也很少。
【嘉宾】不少了,现在顶刊一年多几千篇上万篇。
【主持人】这么多人去投稿的话,那顶刊还是算少的。
【嘉宾】对,那肯定是有slap trouble,那肯定。那我可能还是比average要有天分。
【主持人】对,就是掌握这个套路本身就是一件有天分的事情。所以你说发paper跟做研究跟当科学家是三件事情,发paper跟打工人是一样的?
【嘉宾】跟打工人是一样的,是一个非常平凡的事情。
【主持人】OK,做研究跟当科学家这两者有什么区别吗?
【嘉宾】做研究的话就是,有很多研究他们其实是不break through的,也是不key的,但是不是没有价值。所以做研究它仍然是一个职业,它只不过是一个职业,只不过是,我们做一个researcher,我喜欢享受做研究,所以我在这里做研究,而并不是我比别人更有天分。我没有天分,我也可以是个researcher。所以researcher只是一个职业,但我所说的科学家,这个名字我可能也用错了,但我就说还有另一类,就真正在推动人类支持边界的人,是非常非常少的。然后这批人一般来说,但我的bar也很高,就是在我眼中真的在推动,这个推动就是指,如果不是他,这个事情会完很长时间发生,这个是对我定义的,所谓真正的科学推动,就是推动人类边界的这批人。这批人就非常非常少,绝大多数的教授可能都不是。
【主持人】对吧,绝大多数的教授还是在第二类researcher。所以Geoffrey Hinton,然后杨立昆,还有Joshua,就是图灵奖的这三个人,你觉得他们是科学家吗,或者是定义的第三类人吗?
【嘉宾】应该是吧,不过我们也跟他们直接接触过,所以我还是不给我的直接定论。我非常在乎一手信息的,我非常在乎初思思训,我不想评价我们也接触过的人,但既然他们世俗成就这么高,他们应该是吧。
【主持人】你在谷歌实习是什么时候?
【嘉宾】二年的暑假吧,应该是。
【主持人】在谷歌实习了之后,你想要转去做AI的,还是在谷歌实习之前,你就看到了这个方面有非常大的一个前进,然后发展很快了?
【嘉宾】我是在去谷歌之前就想要转AI,然后我是因为想转AI,所以找了那份实习。那份实习是AI for code的。我之前也尝试了一些其他的纯AI岗,他们都不收我,我都没有拿到机会。这个岗位跟programming and analysis有一点关系,因为这个背景被招进去了,所以我接触到了AI。
【嘉宾】但我其实是因为想接触AI进去了。但是我进去之后发现,当时的人们做AI for coding的时候,还企图利用一些原来的programming and analysis里面的technique或tools什么的,非常的无力,其实什么忙都帮不上。AI人的幻想说我是不是可以利用一些另外一个领域的工具,交叉学科的这种希望,利用另外一个领域的工具来帮助更好解决这个问题。但是我作为从另一个领域过来的人,我其实发现这个工具非常的无力。当时就是看到了大模型,已经是coding之初,相反我反而看到的大模型其实已经把传统的领域里的技术都完全覆盖了。
【嘉宾】那时候其实还挺早的,二几年,它应该ChatGPT还没有出来。但是在谷歌内部,大家其实已经看到了这个方向了。
【主持人】是吗?
【嘉宾】我估计其他的公司肯定也是有的,但是确实ChatGPT还没有出来。那个时候是谷歌刚出PaLM,然后内部有LaMDA,就带来其实已经有所感觉的,只是没有到全民爆发的极点。
【主持人】当时好像有个谷歌的程序员,声称LaMDA是有意识的。就是那个时候,那个时候我们还做了个报道,然后还讨论了一下这个AI是不是有意识的。
【嘉宾】对,就是那个时候的事情。我相信很多程序员,他们可能也是第一次,或者是很新鲜的一个感觉去接触AI,才会有它到底是不是有意识的这种讨论在那个时候。
【主持人】对。其实已经有,确实已经很多人,是已经看见了那个潜力,很大的潜力。但是当时的模型潜力,离真的生产用的,还有挺大距离的。我记得当时都是做一些,生成一两百行的代码。当时你们那个小组有多少人?做AI for coding的那个小组。
【嘉宾】那个也是一个谷歌内部孵化的创业项目里,就Google X里面。全职应该,我其实有点不记得,但好像一二十个人吧。然后那个暑假他们非常激进,他们想要尝试很多方向,所以他们招了跟全职等量的Intern,让这些Intern全都去尝试,疯狂尝试不同的方向,他们希望能从中看到一点东西。
【主持人】那后来这个Intern结束的时候,大家看到了什么东西?
【嘉宾】我觉得当时那批人,其实很多人后面还是,很多人就还在做coding的。那段经历对我的印象很大,他让我看见了,因为我原来是不知道AI是什么事情的一个人,我今天就看见了AI原来这么多魔法。我发现原来根本就不需要什么显式的rule,我是被shock到的那个人。他让我非常坚定地进入了这个新的topic,然后我就要做大模型。
【主持人】但大模型其实有很多分支,跟不同的vertical嘛,但是你选择了做Inference的那个赛道,为什么呢?
【嘉宾】其实也不是我选择的。我其实也尝试了那个不是Inference赛道的,就是分析一下算法上的事情,但我发现我更适合Inference。我那边可能没有太成功,Inference成功,所以最后登上了。就是我的爆发都在Inference这一侧。做Inference跟我的习惯更接近,它是可reason的,确定性的,基于数学的,然后基于代码。数学和代码这两件事情,我都很熟悉。
【主持人】能不能说一下,就是你最开始做vLLM是什么样的一个契机?
【嘉宾】我转了AI之后,最后PhD的两年就是在做LM Inference相关的很多work。vLLM真是我的第一个work嘛。连续的一系列work到vLLM,它类似于成为了一个收官之作。我那个时候就是PhD,我可以拼。然后我也觉得我已经做了很多不同角度的research,但是它们都比较local。
【主持人】sglang是希望把它们都集成一体的一个作品。所以sglang的时候我们就开始把它做成开源,然后希望走向的是Products Rally,这个从一开始就想好了。从做完sglang之初就希望它是做成一个Products Rally,可以被广泛使用的推理引擎,被大规模使用的推理引擎。其实你在做sglang之前,vLLM已经推出了半年多了,你之前其实在vLLM也是做了一些项目的,对吧?就是为什么已经有这样的一个东西,自己还是想要做sglang的?
【嘉宾】这个历史也比较长。我在vLLM的research配合上,这个其实也是我本来自己在做research,然后其实当时我听到有这个vLLM项目的时候,它vLLM当时的idea跟我们在思考的另一个idea是类似的。所以其实当时我是被说,那既然我们idea类似,那我们要不merge进那个项目。在我的世界里,我是被merge进了vLLM那个项目,因为我觉得这个项目已经在做了我想做的事情。vLLM做开源其实是推动了另一个节点,并不是在推动的时候就是一个开源项目,真的把它推成开源了之后,你就要做很多除了research之外的,就是不仅你是innovation的事情,你要做项目的维护、社区的维护,还有很多engineering detail的琐事。那一段其实我就没有太参与了,那我还在继续做我自己的其他的research,包括scheduler、scheduler、scheduler,就是serving里面其他的问题,我继续在做research。sglang是一个想要把我的思想能够在一个地方继续往上推的地方。本来它也是以某一个innovation为旗舰,然后去做成一个general engine。但在我看来当时有很多这样的工程,sglang是其中一个,并不是说我在vLLM的engineering里面,然后做到sglang的engineering。
【主持人】那比如说sglang,你跟vLLM的核心差异性有吗?还是说其实大家都差不多?
【嘉宾】不同的团队做出来肯定不一样,但是差异性它随着,就是如果你不把时间维度放进去的话,它们是会类似的,因为相互会学习,如果你有好东西一定会相互学习,会互相认识。但是你如果把时间放进去的话,那每个时刻可能带来会有不同的侧重点。那比方说sglang更早地进军了这个scale up的方向,就是把大规模的serving、production这种千卡级别、万卡级别的serving,甚至千万卡级别、百万卡级别做做好了。所以我们可能在这个社区的、覆盖long tail模型的支持上做得更早。所以大家的focus是有所不一样。但是你现在去看的话,可能两个朋友都在互相学习,补齐短板。
【主持人】你在Databricks不是也做过五个月的时间吗?当时公司的联合创始人Matei Zaharia,也是之前伯克利的教授,他跟你有什么样的合作吗?
【嘉宾】他是我在伯克利visit的时候的教授,所以我们在伯克利的时候就一起做了很多的research。
【主持人】他对你有什么样的影响呢?
【嘉宾】在专业水平上给我带来了很多inspiration。我其实我跟Matei还一直保持联系,除了是我那个时候的research一个导师之外,他也是我可能lifetime的一个mentor,就整个lifetime的一个mentor。
【主持人】那样Matei是个很特别的人,当然他这么成功,那肯定是很特别的一个人,你觉得他特别之处在哪里?
【嘉宾】他其实是个很立体的人,他做很多事情,对吧,他同时开很多公司,然后是一个教授。但如果你真的靠近他的话,他的骨子里,他最自我认同感高的,还是教授这个身份,就是教授和学生,这个是他所有身份自我认同感的,如果你追溯到根源,这是他的根源所在。他很在乎make an impact,impact可能是他做所有事情的动力源泉,他也把这个精神传递给了他的学生。他的底下的学生和跟他有共识的人,可能都受到了这个影响,就是make an impact。但我其实不一样,我其实在另一个价值观里面,但是我能理解到这一套价值观。
【泓君】所以make an impact不是你的价值观吗?
【嘉宾】对,不是同一类价值观。
【泓君】那你的价值观是什么?
【嘉宾】就是我在乎的不是make an impact的本身,我会在乎一些我想要make an impact。如果我觉得有一种impact,我有一种价值观,我希望它被执行和被推向这个世界,那么我就会非常努力地去推动它和希望它发生,我会尽一切努力。但其实我不是完全care这件事情是不是我推动的,别人推动也可以,如果有人愿意帮我把这个事情推动,that's great,但一般来说不会有这样一个人。但是我慢慢学会的是,我真正自己想做的事情没有人会代劳,因为别人有别人想做的事情。最后你自己真正想做的事情,你其实只有自己去坚持不断,你只有自己能够长时间地去为那一件事情所奋斗,然后让它发生。所以在这个逻辑上,我觉得是有一些微妙的不同的,就我在乎的是impact,不是making。所以就是在另外一个价值观说,就是making impact有可能是非常强调说,我希望我个人有impact。
【泓君】但是你更在乎的是这件事情。
【嘉宾】对,我更在乎有一些我觉得正确的事情发生。这个有时候会让我显得不那么平衡一点,因为我会有一些事情我有观点,然后会非常希望我的观点发生。但我其实不是在乎它是不是我的观点,而是就是这个观点,我是被它intrigue的,被它给吸引了。
【泓君】我们说一下你在xAI的一些经历,2024年10月份你是当时加入了xAI吗?当时为什么选择xAI呢?
【嘉宾】我当时PhD刚毕业的时候想要推广SGLang这个项目。对,我so far从我开始做SGLang之后,我的整个方面都跟SGLang紧密相关。我当时刚去Databricks的时候,想要在Databricks里面推广它,然后我在推广SGLang。推广SGLang对,或者说我至少找到一个地方可以好好地develop它,我也不一定说它能够取代所有的stack,但是我希望它是给我一块地方可以好好地develop的。我在刚加入的时候,我觉得Databricks跟我说有这样的自由,但是实际上Databricks里面的业务模式还是不那么一样,而且Databricks毕竟是一个已经很成熟的公司,它不是你可以随便说我想做什么就做什么,它做的那些事情都需要理由,或者充分的理由。然后我作为一个new grad researcher进去,其实也没有太大的power,我自己也不够成熟,就是你怎么在一个成熟的企业里面去drive一个比较大的effort,我还不会这些事情。所以我觉得当时那几个月尝试没有特别成功,可能也造成了一些影响,但不算特别成功。xAI给了这个机会就是它愿意去支持,我和Lian是我的cofounder,他已经在xAI那个时候,那个时候在xAI之前还是在做纯inference,但是正好xAI到了一个节点就是需要去做发推理inference,然后就有了这样一个机会,我和Lian可以去xAI共同build整个inference stack,整个inference的整个solution和team。所以它可以给我两样东西,一个叫做support,一个叫做freedom。同时有support和freedom的时候,我就能做这件事情了,所以我就选择加入xAI。而且当时应该只有xAI真正给我这两个,我有些其他的机会,有些是只给support,有些是只给freedom。
【泓君】其实我觉得能这两个,支持你去做这个事情跟让你自由地去做这个事情,这个机会其实是蛮罕见的。是不是也是因为xAI那个时候比较早期,所以还有这样的机会?
【嘉宾】是的。
【泓君】那个时候的xAI是什么样子呢?就在你能说的话,也来跟我描述一下。
【嘉宾】我觉得xAI是我生命中非常重要的一部分。
【嘉宾】就虽然我没有工作特别多年,但是我在很多地方工作过。xAI是我回忆最美好的,xAI的时光是我回忆最美好的一段时光。其实我现在这么想,而且我离开xAI的时候其实也非常不舍。我离开xAI的时候是因为xAI开源的一些需求到了一个节点,我觉得我不得不去出来把这个新的公司扶起来,然后让我们社区能够很好地继续发展。如果不是因为这个原因的话,我是不可能选择离开xAI的。因为也不是我完全不可能,但我说就是非常非常不希望,也不舍得离开xAI。而且我觉得这个想法不是我一个人有的,其实我知道在我们早期的那一批员工里面,大家都有很多人有类似的想法。甚至有些人可能在xAI的工作已经有点承受不住了,因为压力强度都很大,但他们还是一直在里面坚持,就是因为他们不想离开这群人。
【主持人】我的想法是类似的,所以是这群人,你们形成了一个非常好的一个team的感觉。
【嘉宾】对,我觉得是。我觉得早期的xAI,就我在之前的xAI,我所体验到那个xAI是一个个个都是人才,里面个个都是人才。大家互相之间也都很support、很friendly、很appreciate、很humble,这是我当时xAI给我的印象。
【主持人】跟你的价值跟印象。
【嘉宾】对,我觉得非常的,就是我觉得当时在xAI我能够非常专心地做事情,没有太多的杂念。而且大家都是这样的,就是大家都能够非常直白地做事情,都知道把事情做成最重要。我经过那么多公司,在RadiShark之前,那是我第一次经历到一个team,一个公司里面完全没有任何people game,没有任何politics。当然后面可能慢慢的也会有,公司大量地招人。
【主持人】这时候多少人啊xAI,不到一百人吗?我加入的时候一百人没有。politics难得。
【嘉宾】可能也有,我没有看见。但是至少我看见的范围里面,我没有看见。不好意思,我很幸运地在一个我能够非常好地思考问题的那个环境氛围里面。然后我只要思考怎么做事情,然后我身边的人他们也在思考怎么做事情。大家也会有一些摩擦,很正常,但是是一些不影响团结的摩擦。这些摩擦是不影响we always together,我觉得现在我们在RadiShark是带过来的这个氛围的。
【主持人】那好棒。你把你在xAI的时候描述是v1.0,没加入之前是0.0,然后可能现在是多少,3.0、4.0?
【嘉宾】我也不知道大家怎么定义了,因为后面就是我也不在了,我只能听听大家的说法。但是我能够感觉是有那么几个阶段嘛。所以0.0跟1.0的时候是非常美好的。
【主持人】对。所以那个时候,一龙的重心也不在你们身上。就0.0的时候应该是,一龙不怎么在?
【嘉宾】0.0是我听说的,我不在0.0里面。0.0的时候一龙对大家都非常的nice,0.0应该是非常美好,像一个family一样。1.0的时候其实已经开始生长了,已经开始有这个生长痛。1.0的中途一龙回来了。
【嘉宾】但是我觉得就在那个时候,1.0里面产生的阵痛,大家也还是共同克服难关的。我没有感觉到军心有什么动摇,我觉得大家都非常团结,然后也彼此照顾。我觉得那个时候是彼此照顾的状态,彼此照顾了一段战友情的这种感觉,这段故事特别珍贵,是因为它跟现在大众对xAI的一个认知差距是非常大的。因为现在大家的认知说,就前段时间,xAI的创始人都全部都离开了,要么被发言,要么被founder自己辞职的。就感觉这两个narratives就好像在说两个不同的公司一样,确实很不一样。因为后面公司大的,我觉得xAI是没有过那个阵痛期的,是没有过那个从很小的、很团结的一个start-up,变成一个需要靠体制来运转、不是靠人来运转大公司的状态。它这个过渡期的阵痛是没有很好的过渡调,所以产生了这些巨大的变化。但有天它可能又会找到一个新的solution,因为xAI还在那里,新的人员在新的总的架构有天它可能会找到一个新的solution,但是可能就是another company。从这点上来看,一龙还在,对,这是最重要的,然后又被SpaceX收了,马上上市了,那这一段我觉得就是对组织架构的一些振动期。
【主持人】因为你肯定有你的观察,你觉得对你之后做start-up,因为你们现在也是几十个人,对吧?然后可能很快你们会剩百个人几百个人的一个规模,会对你有什么样的lesson learned吗?
【嘉宾】有的。我觉得我们现在就在一个很美好的时期,其实我知道我们现在在一个很美好的时期,这段时间大家一定会成为他们的以后,就是我们所有人以后人生中非常珍贵的一段回忆。但是我们也一定会面临那个挑战,scale-up的挑战,对。就是你在人少的时候,你是可以通过文化、通过人的管理去实现运转的。但你scale上去了之后,其实文化就很脆弱,人也很脆弱了,个人能力都会变得很脆弱。那个时候你能不能把公司做大,能不能把一件事情做好,更多的就是看你的system build怎么样,体系build怎么样,最后是靠体系去支撑的,不是靠人去支撑的。这个转变可能我其实不知道正确答案,因为我没有经历过,但是我能学到的lesson就是,这个过程要非常的intentionally thinking,它不是一个会自然发生的事情。它不是一个你只要公司这个计划有,然后往前move,然后有scale-up、有试错,你就for granted会得到的东西,它不会。如果你不配要审视,它是会broken,它就会broken。
【主持人】你当时就是主要任务是什么?就是当时你在那个xAI,比如说给GPT构建推理系统的时候。
【嘉宾】我们是负责那个engine那一块,然后我们要同时服务其他很多组。包括projects,projects是他们会部署做deployment,然后我们需要跟他们对齐,然后他们遇到问题回来会报给我们说,engine里面可能有什么事、有什么问题,我们也要帮忙,deployment上的一些协调、configuration什么的。也要跟research team合作,research team做evaluation、RL rollout用的也是我们的inference engine,所以我们也要去支持他们这个workflow里面的各种适配。当时那个在xAI的时候,因为他整个的这个算力系统也是非常的庞大嘛,对吧?然后他后来也买了非常多这样的卡。
【主持人】你觉得就是在整个的过程当中,比如说你是不是在里面受到了full stack的训练?然后这对你来说产生了什么样的影响?
【嘉宾】对,我觉得在xAI的,是机会就是能看到,因为当时挺想,所以能看到。而且xAI,我觉得一龙还是塞他一个,我很喜欢的文化,他一龙有一些他的问题。
【嘉宾】但是他有一些很突出的地方,有些我很喜欢。就是伊隆能塑造一个没有编辑的文化,一个没有编辑的文化,没有编辑的文化,对。就是在X里面,至少我还在的时候,我觉得任何事情我都是可以触达到的,我不会说大家组与组之间是被隔开的,然后你必须限制在一个很小的scope里面,只能做这一件事情,让你不知道外面发生了什么,X里面是不会这样的。然后也没有特别多的people management,X里面都是technical,而且他非常重工程式文化,所以你做事情可以非常直接。然后这样一个文化就使得我能够看见很多很多的layer和很多个component之间,大家是怎么合作的,事情是怎么发生的,它做一个整体是怎么发生的。这个给我带来非常大的成长,因为原来我确实没有看到这么多的东西。并且在X因为强度很大压力很大,然后人都是被吹出来的,就是你一定要就是intense,你只有经历过那个intense,你的成长就像你健身你一定要很累了,你感觉都痛了,对,肌肉是长肌肉。X的这个intense它给我们带来的成长就是,可能你在那里待了一年,你可能在外面是好几年才能拿到的成长。
【主持人】你当时是决定说Signal想要把它商业化,然后去成立Ragix2,是一个什么样的时机点?
【嘉宾】对,这个是因为当时在25年的时候,前面有几波浪潮,把Signal推到了一个还不错的关注度。然后有很多的需求向我们涌过来,想要使用和让我们参与一起开发之类的。但是我们社区,Signal社区是一个,虽然最早我们也是大学里面做了一些研究,但从很早的时候开始,实际上就已经变成一个纯社区项目。就是我们的核心开发者都是网上认识的,我们都是网友,就跟我小时候那个在网上学习,大家可能都没见过面,没见过面,就现在还是核心开发者,我们已经共同工作了两年了,我还不知道他们长什么样子,有好几个是这样,可能有那么几个,有那么几个我不知道他们长什么样子。下次年会的时候可以把他们请过来,我们已经开了很多次会,但是从来没有开过摄像头,OK,然后我们也从来没有要求过对方开摄像头。这大家是有一个默契,那个默契就是我只要看到你的代码我就知道你是谁,我也只想看到这个。所以开摄像头或者是认识真正的认识对方这件事情不重要,还是说大家都是i人,所以不想开摄像头?我觉得大家没有i到完全不想开摄像头,没有这么夸张。我觉得是它自然到你根本没有想起来这件事情,没有说大家拒绝开,但是自然到你根本没有想起来这件事情,对。Signal是一个这样的社区,但是这样的社区也会导致,就是我们大家其实没有那么的,有组织纪律性,虽然大家都很有热情,然后也非常在乎这个项目,但是你还是很难说让大家有时间去把项目非常严肃地给它做好,做成一个成熟的高质量水准的一个项目水平,除非我们有自己的公司,变成我们的full time job。大家其实有自己的full time job,也就是说其他空闲的时间来为这个社区做贡献的。对,就是晚上熬一下夜,然后冲个牙,然后中国再工作一下,放假的时候过来写代码嘛,这样子去维持。但是我们当时的增长是快到你不可能用这样的方式去维持,那个时候接到的很多需求,我们想要去抓住这些机会,想要跟对方合作,想要deliver一些东西。但是我们还是强撑了一段时间,但我觉得强撑了那几个月之后。
【嘉宾】发现了就是没有办法deliver,就其实大家都是很想deliver的。你觉得我们已经不能再stretch了,你知道这个team已经不能再stretch了。它就是被team的bundle with series,我们没有办法很好deliver,都是bundle line地空飞过,或者甚至没有成功deliver。所以到了大概7月份那个时候就已经,我觉得我自己的焦虑已经到了一个,我觉得如果我们再不出来做这件事情,我再不把这个背后实际上的空白,就是这个是个中空的状态,我再不把这个空白填充的话,我们就快要让外界失望了。所以我自己焦虑到了一个,我觉得我没有办法再拖在这个状态里,所以我从X出来。从X出来应该放弃了很多金钱上的这部分,也没有,还好吧。
【主持人】因为?
【嘉宾】而且联名他在他比我多。就是但我确实是没满一年,就是我说晚夜cliff的,我出来说是10个月,对。其实我只要再待两个月,我就可以拿到我的那个第一年的vesting,所以两个月都不能待,对,因为等不了。等到7月份已经是等了很久了,就是其实我可能5月份就已经有点受不了了,到7月份的时候已经实在受不了了。如果不出来的话,可能这个社区就两个月都等不了了。
【主持人】是吗?
【嘉宾】对,这是大概是第二个节点,就是我的心理状态到了一个我没有办法focus做X的事情。我已经没有很productive的生产,有对X的价值,但是我不能忍受自己在一个,如果我是在X上班的,我就觉得我要对他有用,不然我就会觉得我不配待这个地方。所以不到水凝到了一个,我觉得我不配待继续待下去的那个心理状态,但不是我能控制的。
【主持人】刚才我问了我问一个问题,就是你觉得金钱对你有任何的重要性吗?
【嘉宾】有必须性,没有重要性。它的必须性来自于有金钱可以让我解决很多事情更容易,这个我可以,这才是我承认的。就我没有追逐过它,但是你真的说它不重要吗?我也没有到那个程度,它能够给你带来的底气就是,比如说我想创立这个公司,如果有天我融不到钱,我自己还有钱,这是它对我的意味。
【主持人】我忘了提一段经历,就是你在各大毕业之后,其实是到了华尔街的一个对冲基金叫Two Sigma,里面是工作了有几个月吧,是不是?
【嘉宾】有半年。
【主持人】有半年。OK,就那一段经历是什么样子的?就是在华尔街非常,大家觉得说纽约华尔街上的基金经理,然后在一个对冲基金里面,好像跟你之前做研究的这个氛围是不是会完全不一样?
【嘉宾】但我们那个对冲基金是一个Tech对冲基金。
【主持人】对,我知道,因为我还是粉蛮Tech的。
【嘉宾】对。但是我当时确实是想要接触金融,觉得挺有意思的。然后,我有任前男友是学金融的。
【主持人】这个剪掉,我一定会放手。
【嘉宾】所以当时我确实是对那个只觉得金融挺有意思的,然后有点好奇。就当时量化大家的说法就是,那里面的人很聪明,都是那个有好多PhD,学物理的,就好多PhD。后来那个我们学校都去量化了,就是我不知道为什么,就是喜欢聪明的人,因为聪明的人说话,我喜欢做有挑战的。
【嘉宾】跟智商挑战的事情,所以他这个特点当时吸引我,但是这个也是吸引很多其他人的原因。那个时候我也就21岁、22岁,单纯地被量化吸引,然后我觉得我要去体验一把。我觉得这个事情我要是不体验的话,以后我会一直想着它,但是我又觉得金融不是我的人生追求,我又觉得钱赚得再多在那完全没啥意思。所以刚好PhD中间隔了有个半年的gap,然后我觉得完成一个体验挺好的,我就去那里做了半年。那半年的回忆也非常好,如果要我排序的话,我工作过的所有公司,排第一的就是Citadel,排第二是Two Sigma。
【主持人】哇,评价这么高!但是我听说Two Sigma……
【嘉宾】就我在的时候又是它最好的时候,我很幸运。我每次在都是它最好的时候。后来可能就有些变化了,但是我在的时候是Two Sigma最蓬勃发展、甚至拥抱开源的那段时间。Two Sigma当时有很多的鞋是做开源项目的,非常拥抱科技,也拥抱另外一个AI data什么的。然后里面的人也是非常的互相帮助,然后我没有感受到任何多余的东西,所有人都只是在做事情,然后所有人都非常的开放,非常非常open,非常非常聪明,智商也很高。然后里面当时交道的很多朋友到现在也还是我的朋友,大部分人还继续在华尔街量化里面,或者也都会出来开始做AI,都有。有些出来了,有些还在里面。Two Sigma让我看到一个非常有组织的公司的样子,至少在当时。所以它是非常有组织的,我当时觉得Two Sigma非常organized。我当时不觉得,但我后来去了其他公司之后,我再回想我就觉得,原来其他地方这么乱。我觉得其他地方这么乱,Two Sigma它都不是一个太大的公司,但Two Sigma的infra在我跟其他的比起来是最稳定的一个地方。
【主持人】有意思。就原因是什么呀?
【嘉宾】就公司文化就是这样的嘛,就让它非常的干净。我觉得是它的业务模式比较稳定,所以大家可以在那里一直做maintenance,大量的maintenance。
【主持人】所以对于就是做一个金融,然后追逐那个return的数字,然后赚钱,这个事情就在你这边就不是priority,你只是想体验一下?
【嘉宾】对,我只是想体验一下。我一开始就知道那不是我的priority。
【主持人】那体验还不错?
【嘉宾】对,体验不错,挺好的。
【主持人】这个技术,稍微给大家去科普一下,LLM infra你们在做什么样的事情?你们在解决什么样的问题?
【嘉宾】infra分好几个模块,我们的长远的目标是我们希望整个infra,我可以非常严格地说,我们的这个结构性思考是我们希望Rally Shark在一个地方,它可以给你提供很好的这个基础支持。
【嘉宾】让大家根据你不同的实用场景、不同的data的形式、不同的产品目标和不同的serving目标,然后你有可能希望model它可能解决个很简单的问题,但是你需要它很快,又或者是它要解决一个很难的问题,但它可以比较慢,你都可以用这套工具源源不断地产生适应你不同目标的最好的模型。我们希望把这个foundation做出来,这个foundation我统称为infra,它会包括传统意义上大家所理解的推理引擎、推理和训练、post training,这些都是大家传统的脑中的keywords。我还想在这里其实加一个component,就是基础模型也是infra,在我看来整个这个foundation里面是包括了所有你需要的gradients,包括了这些codebase、toolbox、sandbox、environment和一些中间状态的模型checkpoint,它们在一起变成一个工具箱,你可以在这里进行组合,去不断地产生更适应你的场景和目标的特化模型。那整个这个工具箱、这个foundation,是我们要做的infra的部分。现在我们因为要focus,一步一步来,所以我们现在是focus infra and RL,它们处在你这个生产模型整个pipeline的末端。就假设说前置已经走完了,我的基础模型pre-training已经做完了,我有基本的checkpoint,然后现在我开始要适应不同的task,我需要做post-training的时候大家开始用RL,这个地方就开始散叶分化。因为AI进入人的生活的各个方面,有不同的场景需求,这个时候你开始需要不是一个模型解决所有问题,你可以开始有多次训练产生多个模型解决各种各样的问题,并且多个企业它们可能最想要自己的模型。所以post-training RL在这个地方是一个foundational的状态,所以它是比较适合做我们想要的这种给所有人share技术,然后做一套infra上所有人都使用的这样一个模式。post-training完之后的模型infra,那就更加烦繁,infra就真的到了末端,模型都已经完成了。我infra需要让你的模型的架构和weights都已经有了,我需要让你模型在硬件上跑下来,跑下来之后可以被一个endpoint封装,可以被拷到别人可以来别人可以使用这个模型。infra就在那个更末端、贴近用户的部分。
【主持人】整个的infra、LM serving的这个版图,就是中间涵盖蛮多领域的。那比如说vLLM是解决内存管理,然后PagedAttention是做KV cache的压缩,S-LoRA是解决这个LoRA adapter的并发,然后Chatbot Arena做测评,SGLang做结构化生成,就是非常多不同的方向。那对这部分的研究,你是有一个什么样的方法论在解决这些问题?就是还是说你就有一个很完整的这样一个roadmap说这些东西都是我要一起去解决的,还是这些东西是你一步一步地去慢慢地解决这些问题的?
【嘉宾】我觉得是一次性看见的,短时间内一下看见了很多问题,那你做的时候你得一件一件做。Idle肯定是跑得比动作手标快,也不是我一个人看见,很多人都看见,就是你上一期看见很多问题,然后大家慢慢地把一件事、每件事都解决掉。
【主持人】那在解决这些问题的时候,你觉得有哪个点是最难的?
【嘉宾】我觉得没有哪个点是难的。
【主持人】就是去做掉就可以了,对。那你的优先级是怎么排序的?
【嘉宾】哪一个能给你带来最大的margin,哪一个是最大的bottleneck,先解决最大的bottleneck。也有些是dependent,比方说你要先解决memory的KV cache的优化问题、管理问题,然后你才能解决prefill caching的问题。
【主持人】所以你觉得现在这些问题完全被解决了吗?还是有继续优化的这样的一个潜力?
【嘉宾】那肯定总是有优化的潜力。那Attention现在有这么多的变种,sparse Attention还可以做更aggressive,然后新的innovation不会停滞。
【主持人】这一块其实应该是一个很大的市场,但这个市场为什么最开始从开源的生产里面跑出来的呢?
【嘉宾】也不能说是开源跑出来的,因为Inference已经很长时间了。Inference provider,你看从Together这些公司,已经存在好几年了,这些公司都很不错,就有很大的使用量。而且你看Inference的landscape,有这么多competence,这么多跟Inference有关的公司层出不穷,每年都在不停地出。但是你会发现,这个游戏里面没有输家,没有输家,没有输家。就是所有的Inference player,Inference provider player不停地出来有这么多,但是没有任何一个因为有competence存在而消退下去。所有人都是同步增长的。
【主持人】我之前其实跟你那个co-founder聊的时候他就说,做Infra的人他需要的taste,跟做比如说pre-training的这个researcher,他的taste是不一样的。那比如说做Infra的人,他的taste是表现在什么样的方面呢?
【嘉宾】我其实不确定是不是真的不一样,是吗?我觉得本质可能是相通的。
【主持人】那你觉得taste的表现在什么样的方向?不论是在做training、算法pre-training算法,还是在做Infra,你做一件事情时候是不是喜欢精益求精?他是不是很细节的活?就因为这个efficiency想做得非常非常精致,对吗?
【嘉宾】不光是efficiency,就是如果你是追求一个目标的话,可能就不在taste的这个维度上。就是如果你要的是一个end goal,end goal和taste,taste其实就是你关注的不仅仅是end goal,并且还有这个end goal的组成。就是我的系统不仅能跑,我并且知道它是怎么跑起来的,它是一个设计过的well-designed的形式跑起来的,还是它是一个豆腐渣工程跑起来的。它有可能有同样的end goal,有taste就是说,我更在乎它是一个很优美的形式跑起来的,而不是这个很豆腐渣的、很Hacky的方式跑起来的。
【主持人】那你在乎吗?
【嘉宾】我非常在乎,这是SiliconFlow的文化之一,就是我们非常强调这一点。我们想要成立SiliconFlow,想要好好的做一家Infra-first的公司,因为我觉得在很多其他的、我之前工作过的其他地方或者是听大家讨论,以product模型为目标的这些公司,在Infra的杠杆上有所妥协。他们在Infra的功能上还是很追求的,但是在杠杆上是有所妥协的。然后Infra的人在在整个full stack里面,可能长期的处于一个被undervalued的状态,就他们需要被迫去不停地support其他的component。他们需要去support researcher去很好地使用Infra工具,然后把实验跑起来去迭代。
【嘉宾】他们也需要support的product的人,能够把自己的product运行得又稳又快。但是infra自己,因为我跟infra之间浪漫的关系,我觉得infra它不是一个support的角色,infra本身在我眼中就是产品。你在设计、推一个产品的时候,因为产品面向用户,你以后就会想,我这个产品不是只有功能,我会想这个产品美对吧,我希望它好看好用,被人说喜欢,我希望它击中用户心里的痛点,击中人性。但是没有人会说我希望infra击中人性。但是从我的视角里看,我觉得infra也是击中人性的,它只是没有直接到用户,没有那么直接联系,实际上它产生深远影响,是从底层就开始往上传递的。
【主持人】我觉得刚才你说的两个词非常有意思,第一你是说infra的美,第二你是说你跟infra的关系是浪漫的,这两个词其实我很少听到。
【嘉宾】我倒是没有仔细想过为什么是这两个词,但是它自然而然存在于我的脑中。其实就是我觉得写infra的人,他们都是能理解的。就是你写infra的时候,你会去觉得我这个代码写得……我其实不知道怎么跟气质拆解了,但是我不是特例,我只是one of them。其实有一批这样的人,他们都很在乎你构建infra的时候,这个系统它又稳又不稳定,然后他们总是被迫要去做一些hacky的事情来达成目标,其实他们都是会在一个被拉扯的状态里。
【主持人】我明白你的意思。就比如说其实如果你看些大厂,OpenAI有自己的infra team,之前你在Xia,Xia也有自己的infra team。是不是就是在这种大厂的时候,infra team它总是一个supporter的这样一个角色,所以也就是说,它有很多你需要去妥协的地方。但是如果你自己出来做一个infra,native就可以达到你所说的infra first这种美感。
【嘉宾】对。比如说在RadixAttention其实我们是反怪的,比方说我们也有春天照,但是我们并不是说我需要一个infra的team去一直support这个春天照跑得非常的on track。我们其实反怪的,我们希望这个春天照它可以没有压力,它只需要跑,然后一旦你春天照被卡住了、遇到问题的时候,我们希望大家的focus是把这个问题systematic的解决,而不是打一个patch上去,让这个春天照不必须跑。照不是可以pause的,我们刷分也不着急刷,我们也不是非要刷一个非常好的benchmark分数。这个在我们这里不是低优先级,但是我们如果能刷高当然是好的,我们不会弱化性能不重要,但是在他们乱上,它不是sort of urgency。我们的sort of urgency是,你的照不能被迭代的时候,这个问题本身它应该怎么样从深层次的解决它。
【主持人】我们先回去一点点,然后让我们的观众跟人家了解一下,就是Infra的这个赛道,比如说我们在技术的细节上面,看到RadixAttention,它其实是SGLang的一个核心技术之一,是用Radix树来做这个前缀的话,存然后避免重复的计算KV Cache。能不能用比较通俗的语言,给我们的观众来解释一下这个技术?
【嘉宾】这个技术其实也比较简单,就是当你有很多的request发到engine这边需要处理的时候,如果你的request有一个公共前缀,那我们就不需要重新计算这个公共前缀所对应的KV Cache,而是可以复用。就是你第一次一个request进来,我已经计算过KV Cache,第二个request进来,如果他们share的话,我可以复用已经计算出来的KV Cache。所以这套memory管理系统就是,对前缀的结构、共享结构做了indexing和存储。首先一个是你对进来的request之间的前缀的关系,要建立前缀树来做indexing,做完indexing之后,你需要把已经计算的KV Cache存在KV memory pool里面,然后把indexing跟KV memory pool给mapping起来。
【主持人】既然它的核心是用重复的前缀,但是如果我们假设,用户每次发生的问题都是全新的,没有什么不同的前缀,比如说长文档摘要……
【主持人】或者是创意协作,那是不是这套机制就有一定它的局限性?因为agentic的场景出现,大部分都是会有前缀复用的,因为你只要进入多轮对话,你的后轮对话都会要复用前面已经对话的history。所以前缀复用是大量存在几乎所有的场景里,是不是说agent来了之后,这个问题是更需要被解决的,或者更需要被优化的?
【嘉宾】它一直都是需要被解决的。agent来了之后,它确实可能变得更被大家所关注到了。其实SGLang在刚paper出来的时候,如果现在回去看两三年前的paper,我们确实是以agent为入口进来,说我们为什么要新设计这一套体系。当时还设计了一个frontend的语言,都是为了agentic的use case去设计的。因为我们觉得LLM AI它将来会变得非常powerful之后,你需要构建一套人与AI之间交互的interface。SGLang创作的初衷动机,其实是想要去定义和构建这套interface,让人和AI可以更好的交互。但发展到今天,因为你的挑战重点可能inference就是后端,efficiency挑战重点更为突出,所以大量的开发精力是移到了backend的状态的优化。但我觉得有一天,其实我们还是应该回顾一下最初的想法,就是为什么要design SGLang。这个SGLang的structure真的是language,SGLang原初design是希望它是一个language。我觉得有一天我们会revisit这个部分,最终它还是应该是一个language的形式,这个language它是人与AI之间交互的interface。
【主持人】在看你们social media的时候,你们经常就说这个模型发了之后,我们是day zero,就是从零天开始兼容的。能不能再多解释一下,为什么这件事情很重要?
【嘉宾】这件事情很重要,是市场觉得它很重要。我们做事情还是很practical,我们做开源,哪些事情重要和不重要,还是被market所决定的,不是完全我们自己定义的。我觉得market上,人性好像大家就是很希望东西刚出来我们就能用上。这个愿望从用户端一直传递到了我刚提到的那些inference provider,inference provider进而又传递到了我们,也进而再传递到了模型厂商。所以这个链条式的传递,它其实满足的就是一个人,你发布了产品,我就要去第一天就去抢购一样的这样的心态。
【主持人】比如说前段时间发这个DeepSeek V3,发布之后你们马上就是day zero建容对吧?达到这个day zero建容,你们要去做什么样的事情?
【嘉宾】这个跟模型的架构很相关。DeepSeek V3他们其实在架构上做了很多的创新,所以我们其实花了特别大的精力,去做这个模型的支持和各种优化。但是我们DeepSeek day zero支持这一次feature set做得非常全,花了很多的时间,非常非常多的feature都是第一天就兼容了。并且我们也是我们第一次有这个R1的day zero。MLA是DeepSeek R1的框架,很多的算子层一些实现都要重写,大部分的code基本上是重写的,因为DeepSeek V3的架构设计跟之前已经存在的模型有太多的不一样。
【主持人】是不是就是每一代新的模型出来,其实都是需要有个重新适配的这样的一个过程?只是说它的模型架构如果变得非常大的话,可能你的这个工作量就会更大一些,但是如果它就是一个非常小的一个调整或者是一个upgrade的话,就是你这边几时就没有必要去做非常大的一些适配。
【嘉宾】对。如果它的架构完全不变的话,其实甚至都不用适配;如果它只是更新weights的话,那几乎不用适配。
【主持人】最近有一些研究都是探索模型直接在embedding space里推理,而不是逐字去生成token,比如说我们看到之前Meta的Coconut,还有自己的Coca DRM等等。
【主持人】如果这个方向成熟,你觉得就是在推理引擎的很多优化的假设,是不是可能会发生一些变化或者重写呢?不同的团队,或者是不同的AI infra的player,适应变化的能力,这个东西重要吗?为什么你们的人、你们的团队就更好?公司内部的企业文化是什么样子的?在今年年初的时候,我们看到这个vLLM的核心团队也是商业化了,成立了Inferact公司,然后也是融资了1.5亿美元,估值8亿美元。这个产业之后,会有更多的同行对手吗?更多的公司会商业化来做这个事情吗?谁会变成赢家呢?就是核心的信任点,团队的信任点,会在什么样的方向呢?有一次能不能详细来说一下?意思是你们想要做模型吗?有意思。但是你觉得它一定会发生的,然后你想把它找出来,或者是我希望它发生,我想看到它发生。我这很好奇,你能跟我说一下。
【嘉宾】如果这个成熟的话,那确实很多事情是变的,因为它推理的过程形态不一样了。但是我觉得这个也本来就是写推理引擎的一环,世界再变、结构再变,然后你的引擎再变,这是一个本来就持续存在的过程,我觉得这个不是变革本身,不是真正的变革本身。
【嘉宾】重要,我觉得团队更重要。这个尤其是现在有AI了,AI写代码写得这么快,其实你实际上变一点,就技术上来说,不是真正产生巨大变革的地方,技术上总是能做的。我觉得真的难点,从来都还是在人和团队本身。
【嘉宾】我觉得我们的人和团队,团结、谦逊,越聪明、越努力。那可能其他团队也会这么跟我说,我觉得其他团队也挺好的,我觉得大家都挺好的,但你每个群体最终都会形成一个自己的文化,那各有所长。
【嘉宾】我希望大家是focus、focus,谦逊,focus and humble,精益求精。这个就是我们追求极高的审美,然后我们追求把事情做solid。我们希望Reatrack人都是对自己特别挑剔的人,都是自己本身特别挑剔的人,对自己的作品特别挑剔的人。
【嘉宾】我觉得完全有可能,而且其实它就是持续不断在发生的,就是Inferact和Reatrack这两家之后,还有新的Inference company在不断地涌现。
【嘉宾】我其实不觉得我们在这个赛道,虽然我们有SGLang,它是Inference,但我觉得Reatrack的那个长远使命,其实是不属于这个赛道的。
【嘉宾】我如果按照前面说话,我觉得Reatrack我说的目的是,我们想把最好的AI带给大家,这个是我们非常朦胧的目标。Reatrack接下来一年要做的事情、三年要做的事情、五年和十年,其实讲出来会非常地不一样。我们最终想要……我不想透露,我不想discuss,但是我可以大概说一下。我认为Reatrack最终使命是要做下一代AI,下一代AI,下一代AI。我们的本质还是不是单纯的Infra implementation。
【嘉宾】也不一定是模型,它是下一个形式,就我现在不讲它是什么,但我可以说,我们并不是仅仅在这个地方。只是说这个Inference或者是Infra只是一个起点,对,它是一个前置条件。但我们想,我们要做的也不是模型,我们将来想做的事情,不是一个现代世界上已经存在的东西。所以我其实不觉得我们跟existing的Inference player是一个Category里面的,就是它还不存在。我觉得它会发生。
【主持人】我们后期把它剪掉吗?好。对,但我可以说,Inference不是我们的,它是一个起点,它不是Retrack的长远核心。所以我们其实跟其他的Inference的公司都是保持良好的关系。我们那里是全开源的,HuggingFace上也不是Retrack的所有物了,HuggingFace上是M7下面,它是属于社区的。但是我们公司的所有贡献,在市场上都是开源的,我们是没有Private Fork。我们的愿望也很简单,我们其实就是希望这些东西被所有人使用,我们并没有想要通过这个地方制造一个Difference然后去获取利益,所以公司的命脉不在这里的其实。
【嘉宾】我们其实看到有不少做推理引擎的创业公司,虽然有些公司他们自己不做引擎,但是也是在引擎上面去做服务的,而且现在体量也不小了。比如说Baston,是最近完成了三亿美元的融资,估值估十亿美元;Fireworks AI,现在估值有四十亿美元;Together AI,现在也是在寻求十亿美元的融资。那同时我们看到AWS、Google这些大的云厂商,也是在提供托管的推理服务。整个的AI Inference的生态链最近在发生什么样的事情?能不能跟我们梳理一下?
【嘉宾】我觉得Inference这件事情其实很早就存在,也发展了很久。但是今年AI可能在变得更加成熟,就尤其是Sora这个爆点,大家都看到了AI变得更有用之后,整个市场的Effort可能会有更多的从预训练转向Inference,就开始需要让它盈利和兑现的时候,然后这个转化就会使得Inference的市场进一步的,本来就已经很Exploded,现在更大的Explode。所以你会看到很多那种雨后春笋般冒出来的各种各样的Inference公司。但同时,所谓的AI Native的公司,他们也开始感受到了这个你继续使用一个闭源模型去做Prompting Engineering的局限性。与此同时,也有更多的公司开始需要利用好自己的Data去做Customization的这个需求。这个需求它从另一方面也在推动RL这一块的市场化。一方面你看到有很多的新的Inference公司出来,另一方面你发现你会看到一个Established Inference公司在往RL那边走,在往RL那边扩张。我觉得这可能是这一批公司里面最大的两个趋势,最明显的两个趋势。
【主持人】Baston和Fireworks也是你们的部署端对吧?但以后用户,你觉得有发展成竞争对手?
【嘉宾】我不知道他们,有可能觉得我们是某种意义上竞争对手,但是我们不把他们当成竞争对手,我们是更想和谐相处的。一个是我们其实重点重心并不在这个地方,不然我们就不会把我们的Inference给大家随意使用,我还去支持他们使用。第二点是我们因为我们这个开源的引擎,我们希望被大家都使用,所以我们并不想跟他们成为竞争对手,我们希望这些都是我们的盟友。然后我们更希望的是Focus在AI本身的一些技术迭代上,然后我们希望把这些技术可以跟他们所……
【主持人】共同发展促成他们的业务模式的增长。现在你们服务的客户大概是什么样类型的企业,或者是他们有没有一个什么比较典型的使用场景可以分享?
【嘉宾】我们各个类型的客户都有,从这个Data Center、New Cloud,就是Hyperscaler,就这些Cloud,或者就他们有GPU,我们帮他们、想跟他们一起,会帮他们塑造GPU到这些Inference Provider。我们其实也想跟他们合作,也是希望他们成为我们客户,但现在还是一个User的关系。再往上到AI,AI这些公司他们想要使用AI Infra去跑端推他们的Model,或者是Serve Model也好,他们也是我们的目标客户。还有一些传统的大公司,它不是完全的AI公司,但是它想要用AI来助力它原来的业务,那我们也希望在这里可以提供一些价值。
【主持人】SGLang之后还开发了Miles,这个是主要是用在RL上面的。你们为什么同时要做Inference跟RL Training?
【嘉宾】因为我们做的是整个AI Infra,Inference、RL是就我刚说它是在最靠近用户的两个Model的步骤,所以我们从Model步骤开始布局,但是我们要做的是整个能够把AI制造出来的能力。
【主持人】这两个东西同时做难度大吗?
【嘉宾】还好,因为它俩其实非常相关。RL里面很大一部分的挑战其实是Rollout Engine。Rollout Engine它也是跟它就是Inference Engine。如果RL的话,你更多的是要做一些调配上的工作和可能Weight Transfer之类的交换性的工作。SGLang这边也有一些新的东西,但是系统层面它没有非常大的overlap。
【主持人】对。你刚刚跟我讲了两个很好的教授,非常教科书级别的教授。有没有哪个管理者你是觉得你遇到过就是最好的管理者,他们的特质是什么样子?
【嘉宾】其实管理这个词也很宽泛,不同位置的管理者他们的功能也是不一样的。管理与被管理它其实也不是一个单纯的管理与被管理的关系,它其实也是一个职能分工的关系。就是一件大事要做成,它背后一定要有一个人,有一个人他非常非常的跟这件事情绑定,他是不遗余力的要推动这件事情发生。这个人不管是Founder也好,是那个CEO也好,他可以是任何一个人,但是你必须有这么一个人,他以某种形式他跟这件事情被绑定了。这个角色的这个人他需要有很清晰的想法,知道我们要我们从哪里来,我们要去哪里,我为什么要做这件事情。可能对我为什么要做这件事情,他需要能够有这个坚持,并且他要能够看见未来,看见一个他想推动的未来,不一定也许没有他就不会发生,但是一定是一个他能看见的未来,有Vision。这些东西是最重要的。但是你有Vision的这个人他并不一定需要具备管理者需要的所有特质,你与此同时公司里面还需要其他的管理者,他们又需要执行不同的functionality。比方说能够真的把一个自由神变成真实,变得可执行。
【嘉宾】能够把人与人之间的这个合作关系调度得很好,但可能都是不同人的功能,管理者非常重要。然后它的制度非常的重,但是我觉得我现在的想法都很初期的,我其实现在可以就是处在一个思考这个问题的阶段。我觉得我们刚好就在一个从我能一个人看清所有事情,到我现在看不清的这个阶段,所以我其实最近就是在想这个问题,我还没有找到答案,我现在看到的都是挑战。
【主持人】对,那现在这个挑战跟你当时刚加入XI的时候面临的挑战是相似的吗?因为你是,不一样,例如说XI,你也是把它看成你的baby,看成一个很重要的一个事情吗?但你在孵化它的时候,因为你加入XI的时候它应该还没有Inference Team,然后你其实是把它给build up起来的,这样的一个很重要的核心的人。你觉得就是回顾当时你面对的一个局面跟挑战的时候,跟现在有什么样不一样吗?
【嘉宾】还是完全不一样的,因为毕竟在XI,我不是XI的owner。就算我想,虽然我把它当成baby,但其实其他人并不觉得它是我的baby。所以我其实并没有被赋能,我并没有被empower,OK。我有想法,我有观察,但是我很多事情是改变不了的,我是没有办法去做很多决定,或者是告诉下面一些人,影响他人的决定的。那我的责任其实也没有办法扩展到那么大的边界上。
【嘉宾】但是我在XI学到了一句话,这个XI的那个两个leader,就是当时Toni和郭东分别跟我说过,我不知道他们是不是串通过,那他们跟我说同一句话,就是说那个authority和responsibility要match。就我在XI我是没有authority的,我只是一个小contributor的而已,就是我其实没有权利做很多事情,所以我就没有责任。
【主持人】OK,所以你自己对,你觉得你自己有责任,但是......
【嘉宾】我其实没有,我其实没有,因为我负不了责。我不能决定事情,我就负不了责,对吧。这个事情如果我不能决定该怎么做,那做错的话,我也当不了责,对吧,就不是我能控制的事情。
【嘉宾】但是现在的话,就说这个东西,那我要做决定,我必须要做,它变成我的义务,我必须要做决定。那它做得好和坏,错的责任全部在我头上。如果事情没有做好,我就要背锅,对。那当然做好了你会开心,做好了其实听不出来,做坏的是我的责任。这个就是跟之前的事情完全不一样的角色,挑战也是完全不一样的。从研究员到大厂,再到自己出来。
【主持人】这个创业行,对自己的定位有什么样的转变吗?比如说你现在是一个非常明星start-up的founder,你要去融资对吧,你要去招人,你可能要去做一些其他以前你没有想过要做的事情。所以就是比如说融资跟投资人聊这件事情,对你来说是负担吗?还是这个事情……你觉得你自己在适应这一套新的游戏规则的时候……
【嘉宾】我其实没想过这个问题。我觉得我一直都只想我想做什么事情,我做这件事情能够借用的身份也好,资源也好,当时的我觉得什么是最好选择,我就会去做什么选择。但他们都只有一个目的,就是我要做我想做的那件事情。两年前的时候,我可能觉得我想要创造那个未来,Professor是一条路。两年后的今天,我觉得Professor这条路走不通,我就开始开公司创业。不管是我是做Professor还是开公司,它都只是approach,我没有想过这个身份本身意味着什么,不是很在乎那个身份。但是因为你选择路不一样,你要做一些其他的事情来辅佐你最终想做的事情。
【嘉宾】我觉得这个融资是一件事情我以前确实不懂,就是被迫去做的。但这件事情总是要做,first principle thinking,我如果要做我那么想做的事情,该做那我就去做它。我们当时融资还是挺曲折的,具体我就不讲,但挺曲折的。但是我现在觉得,我经历了这么长时间之后,我现在对这个行业有些更多的理解了。我其实觉得我在跟他们打完交道之后,昨天我们聊完之后,我又多了一些更多的思考。我现在觉得我对投资人有更多的respect,我觉得我更理解他们的一些想法,为什么整个行业是一个这样的状态。对,当然就是Sand Hill它有一套它的游戏规则,那这套游戏规则我理解,其实跟之前做research的时候是完全不一样的。
【主持人】你觉得你自己在适应这一套新的游戏规则的时候,会觉得有不一样吗?没有不一样吗?
【嘉宾】我觉得没有真的不一样。本质逻辑肯定是不一样,但是本质逻辑都是,就是不同的体系,然后还是人,还是人性,你这个到底还是所有的人性,本质逻辑没有不一样,就是你把东西做好,你追求的一个真的东西,你把它给做出来说出来。就是我觉得它体系不一样,它学术界的体系跟融资体系、投资人体系肯定是不一样的,所以你的规则不一样,那你的这个mechanism不一样,你做事的方式跟你不一样。但是规则理解它,所以你再次推演下去都是人,人与人之间是共同的。所以当你进入另一个体系的时候,其实只是要学习那个体系是怎么回事,怎么运转,然后各种利益点是怎么样的一个平衡关系。然后你如果还是以同样的人的根本作为推理基点的话,对这个整个体系的理解还是可以被推理出来。
【主持人】这个点也有意思,就像发paper一样,它是有套路的对吧,你学到了这个套路,那其实你也很快。最后的这个投资人应该是说结果非常非常好了,因为AMD、英特尔这几个最大的半导体公司……
【主持人】都罕见地集体投了你们。除此之外呢,你们也是拿到了非常硬核的很多投资人的背书。你觉得他们为什么投你们?他们看中了你们的什么?我也很想问投资的这个问题。
【嘉宾】对,我觉得我很难替他们代言,就是他们看中了我们什么。但如果现在让我sell一下的话,那我觉得我们是在这个赛道里面一个跑出速度的玩家。我们跑出的速度让大家可以看见我们的未来,我们也觉得我们可以有机会创造新的market,也有机会去助力现有的market。我们可以enable更多的其他的AI公司,或者是想要进入AI的公司,去enable他们制造AI的能力,可以让他们更多地接近AI,并利用AI创造更多的价值。那么我们如果能提供这部分的价值的话,这个就是我们值得被投资的原因。他们还是看中这件事情,觉得这个事情是关键的。我觉得很多人是看中事情的,当然早期投资也有些也看人吧。我其实更喜欢看人的 angels,但可能后来,可能接下来A轮B轮C轮之后的angels就会看数字跟业绩。但是我们第一轮因为有这个看上的技术在,他们肯定是人和事一起看的。至于他们为什么看中了,我就不替他们回答了。
【主持人】然后你为什么对开源这么执着?
【嘉宾】这个是追溯到……我其实想纠正一下,我觉得我不是对开源执着、在乎,就是我没有刻意要执着它,其实它是自然发生的。当然我从这里获得价值观,确实跟我以前的经历有关。我出生在江西这样一个中部的、经济不是很发达的省份。然后我小时候受到的教育,我已经在江西省受到了很好的教育,但是你放眼全国甚至是国际区别的话,那我当时受到的教育还是很朴素的一段教育经历。当时我想要学编程,其实没有太多的资源可以学,所以我大部分的学习都是从互联网上得到的。计算机那个时候也不是互联网的专业,计算机经管更不是大家追捧的经管。所以你能够在互联网上搜集到的教材或者是各种资源都非常的稀少,都是贵金加工的。
【嘉宾】所以当时我的学习全都是来自于我去互联网上,去看到的那些非常random别人留下的帖子,CSDN对吧,各种当时Online扎实的网上地铺。我从那些地方学到的东西,都是来源于我不知道是谁的人,我最近也不知道他们是谁,当时我也不知道他们是谁。我只是非常词地把代码拿走了,我回家研究,然后我都不知道写这个代码的人,把他选出来的人是谁。我是被这样一群人,被互联网上不知道世界在哪里的人给养育起来的,就是我是被他们教会的。所以Sharing Open的这个文化,它对我来说是一个就像我生活的空气一样存在。我也没有觉得我在刻意追逐它,但是它对我来说就是一个,从我很小很小开始,它就一直在我身边的像空气一样。我觉得它理所应当,你有一个idea,你做了一件事情,你不分享出来,那才觉得奇怪。我其实是这样一个状态。
【主持人】你觉得开源社区在最近几年有发生什么变化吗?一个好的变化,一个不那么好的变化。
【嘉宾】好的变化是我觉得开源越来越多了,就是大家越来越追求开源,越来越愿意开源,越来越相信开源的价值。不管是大家的mindset,就是你人对开源的欣赏,还是资本对开源的认可,都是上升状态的。但是有那么一点不好的变化是,它的这个追捧上升中也开始掺杂一些其实不是那么纯粹的东西在里面。你掺杂一些不是那么纯粹的东西,一个是会破坏。
【嘉宾】原来我们所想象的开源带来的那个美好的事情本身,另一方面是,你如果开始有这样的东西存在了,会让原来相信这件事情的人变得不那么相信。开源里面混进了一些功利主义者,这些功利主义者的存在,使得那些本来不是功利主义者的人分不清楚开源里面的成分哪些是纯粹的,哪些是不纯粹的,他们的影响不仅仅是他们自己。这是我可能觉得开源在变好的过程中,也同时会开始出现了一种balance,就是东西总是、阴阳总是共存的,一种balance。
【主持人】大家最近对开闭源之争也聊得蛮多的,你觉得整个AI的走向会慢慢地往闭源那边去迁移吗?还是说以后……
【嘉宾】我觉得还是共存状态。我觉得开源不会停,而且根据我的了解它也没有停,有更多的人一直在想要进来贡献自己的力量。但我也不觉得所有的东西都应该开源,因为你不能没有规则,你也不能没有界限。就是完全地开放开源这个状态,如果你没有掺杂太多的可套利的空间的话,它可以是美好的;但你一旦把它完全打开的话,人性的恶也会被放大。是,所以我觉得两种argument都是正确的。我确实也不觉得AI应该完全地展现在所有人面前,它确实有risk,我不否认这一点;我也不站在AI应该完全被握在一小批人手上,我也不站在那一侧。我觉得AI应该均等地被握在不同的人手中,我们想做的就是这件事情。就是Ratyshark不是纯粹为开源服务的,其实我们是有开源文化在,但并不认为我们做的所有事情都是开源和为开源服务的,我们也为闭源模型服务。但是我们说的Decentralization是,我们认为开源闭源是共存的,但是我们希望闭源它存在,但不是Centralized的理解。
【主持人】但这个怎么实现呢?
【嘉宾】所以我们希望提供能创造最好的闭源模型的工具,让所有人都拥有制造属于你自己的AI能力,但是你制造出来的AI属于你自己。安德森昨天呼吁大家都停止AI的研究,但是它又下了一个附加条件,就是说我现在要make sure大家都停止了我才停止。
【主持人】就是现在complepo,就是这些最强大的模型都被握在这么几个闭源模型的player手中,这件事情它能被打破吗?你觉得?
【嘉宾】我觉得这件事情很难发生,它是违背人性的。
【主持人】你是说就是所有人停下来AI研究这种事情是,因为大家没有在这样一个体系里面,大家没有拿到同样的资源吗?
【嘉宾】所有人都想要接受到最好的AI,所以这个事情就很难发生。我不觉得它不正确,其实如果说现在有一个非常强力的上帝下来安排每一个人做什么,那事情是可以发生的。我不认为那是一个非常差的世界结局,就是大家都停了然后OpenAI领先,我不觉得这是一个极度差的世界结局。但是世界不可能停在那个地方,因为没有这样一个上帝下来可以把所有人安排得按部就班,一定会有人要在里面起义,所以我觉得它不可能发生。
【主持人】那这个事情你会往哪里走呢?终局可能不知道是不是一个会非常美好,就像你说的一个非常decentralized,每个人都能有自己的AI的这样的一个终局。但是你觉得what's next?
【嘉宾】就是看我往多远的未来去想。如果我讲到恒远的未来的话,我觉得现有的AI还没有强到它会真的完全控制和威胁掉人类。所以在可见的、目前我能够guarantee看到的未来里面,人类还是安全的我觉得。那如果是这样一个前提下的话,大家还是会互相追逐,然后AI会变得越来越强,但是它这个强是一个……
【嘉宾】Productive地上去取代人类的一些功能性的象征,它不能完全地取代人类,它只是取代了人类的一些功能。但这个变革肯定也是巨大的动荡,它会对人类社会结构、权力结构产生巨大的动荡,就是跟过往发生过的每次工业革命一样的一些席卷性的这种动荡,可能比以往的工业革命更加工业革命。但是它是个你可以理解的范畴。更远的未来就是如果说AI它真的可以强到已经开始操控人类,就它真的已经over人类,dominion is a human,能够做人类做的任何事情,如果那天真的能来的话,我们是阻止不了的。我觉得那天就会来,或者说你想阻止它的方式,不是通过呼吁所有的人类停止来阻止,这个事情是不太可能发生的。你阻止它的方式一定是发明、发现另一条路径,使得你允许AI继续前进,而人类还不会输。
【主持人】你在这中间想做什么事情吗?
【嘉宾】我觉得我想Build的那个未来,就是一个跟强力AI共存的未来。我们现在说我们要把强力的AI、最好的AI带给所有人,就人类需要这个公平。你不太可能通过一小部分人把好的AI握在手里,其他的人都无能来维护表面上的合理,这是不可能的。如果说AI一定要往前走的话,那所有人都往前走,所有人都能够去……不一定是所有人,不是literally所有人,但是我说大家都不是被这样抱着的,而是你如果是个你有这个小idea的潜力,你知道往前走的时候,你能够接触到最好的人类知识的话,你需要在这样一个竞争环境中往前走。它是一个健康的与AI共存和大战的状态,你心要有这样一个假设,然后整个人类他们才能是团结在一起去寻找这个solution。所以这件事情是必然的。我们不管,如果那天真的到了有一天你需要让人类寻找一个新的solution的话,这个它都是个前提,你心要让所有的人类平等共处、团结一致,然后你才能再寻找一个人类与AI共存的时期。
【主持人】I am sis,你在享受一下那段经历吗?
【嘉宾】然后I am sis是我们想,我跟莲冰最早一开始想成立一个机构,这个机构可以让不同学校的人参与研究。I am sis到今天,虽然它是一个non-profit,然后我们大家都在里面part-time地帮一些事情,但是I am sis其实是一个我们想要非常严肃做的事情。如果说Rajshark有一天,我希望它永远走下去,但如果有一天它不是走到底的话,I am sis是那个我终身会做的事业。但它跟Rajshark有些共同性,就是它们都有一个共同的value,就是关于平等和关于平权。I am sis的平权是来自于我们希望能够孵化优秀的人才做的项目,即便他们没有充分的背景,没有充分的后台,没有充分的branding。这个是来源于一些我自己个人经历,我经历过低谷的时期,很低谷的时期,也经历过很高昂的时期。我自己能感觉到这里面的difference,可能同样是我,同样做了一件事情,我在高昂的时期做的那件事情非常容易被大家关注到、被大家记住,甚至被大家夸大。但是我在低谷时期做的事情,有些也不错,但是其实你就……
【嘉宾】很难被大家所看见,或者是被大家认可,但我觉得这个差异是没有必要存在的,而且它是破坏社会公平性跟结构的。然后这次希望做的是抹平这个差异,希望好的项目能够被推举出来。并且我们希望信用能够分到做事情的人身上,让可能还没有积累、没有确立地位的人对项目有更强的掌控权,保护非既得利益者、真实的开发者对项目的掌控权。
【主持人】我看你在开源社区的时候,还做了一些其他的一些项目,就比如说LM Arena,这个东西其实在行业里面影响也是挺大的。那段时间你其实主要还是一个主线,只是说不同的项目在不同的project这样来推进,是吗?
【嘉宾】Arena是当时我们做LM Arena时间的一个其中一个fun project,那是觉得这个事情挺有意思的,然后做了一下,然后它意外地得到了挺多的关注。可能大家当时就觉得,排榜这个事情可能本身它具有一定的娱乐性。但是我觉得这个Arena确实是我们开始做的,但你真的说把它做大,然后做成公司,那确实还是我们后来就是魏林,是我们把这个项目交给了魏林他们,然后一些新的人也加进来,是后面这个新的团队把它真的做成商业级别规模的一个项目。
【主持人】就是刚才你说每个人要公平,要平权,平权更多的是说相同的机会,相同的机会,对。特别是对于tech方面的一个,怎么说,程序员也好,或者是visual chart也好,就是你对这件事情的在乎是因为什么样的契机,或者是什么样的经历,可以跟我们分享一下吗?
【嘉宾】一部分是我觉得我好像天生就是这样,就是我生下来就是在乎这个事情。另一部分可能也是一种延伸,就是我觉得我从小到大是经历了,看见经历和看见了很多性别其实。我觉得虽然大家回避这个,就没有那么,这个话题有一定的争议性,就是你怎么界定是或者不是。但我觉得我还是很明显的说,这个事情它存在,你无法回避它存在,而且我非常切身的经历过无数这样子的例子。它每一个例子你单拿出来,它都非常小,但是它是那种就是一件在你生命中无时不刻每天发生的平凡的小事。所以它其实对那些被影响到的人造成的影响,不是你听到一个例子的时候感受到的冲击,而是把那一件小事的冲击乘上一亿倍,那才是对人生的真实的冲击。然后你再把它扩大到整个群体,它所造成的这个系统性影响,就是共识的影响,刻在所有人共同认知里面的影响,是没有办法用一个例子去说清楚的。我觉得这个是它造成了我为什么特别在乎平权、公平、平等这些东西的一个性格特质原因。第三个就是我刚跟你讲的,就是我自己经历过,我知道我能感受到。包括我自己做的我发的那些paper,有些paper其实我觉得也就一般,但是那个paper可能就是因为是我发的,或者是我一个斯坦福发的、我克力发的,然后大家就会觉得它是一个标准。但其实同期可能有一些跟我做的paper差不多的paper,我其实只是一个researcher,我不是那个科学家,但是因为这样一个身份,让我这人的paper被定义了。但是我觉得这个事情它本不应该这样子,就虽然我是获益者,但是当我是获益者的时候,我觉得我现在终于有力量可以
【嘉宾】因为我是获益者,我终于有力量把这个事情往外推动一点。MCS想要以什么样的形式去把这个权力很公平地分给每个人很难,就是首先我们都知道这是一个结构性问题,它不是我能做的,或者是一个机构能做的。我觉得有一次我跟像Soyca聊天,我忘记是具体聊了什么内容了,但是我跟她说我想改变一些东西。她聊到一个什么事情,我说这个事情我想改变,然后她说你改变不了,或者是在问我说你觉得你能改变吗,改变得了吗。然后我就说,我说我不能改变,我确实没办法改变,但是如果我能改变1%的话,我愿意用我的一生去改变这1%。一样的答案,就是我觉得我改变不了,这个挑战对于我来说,在这个挑战面前我太渺小了。但是我觉得我能改变一点点,或者是改变我身边的一点点人,然后这个一点点人,他们会再把这个精神再传递到更多的人身上,他就发生一点点变化,那我觉得他值得我用一生去做。
【嘉宾】但是这个里面有一个很微妙的地方,就是,你所说的所说,当我们想要改变一件事情,推广一个价值观,或者人家改变身边的人的时候,这个传递是非常容易出错的,对,是非常容易出错和被人利用。其实真正最后你能够传递的是,你是不是能够把,就是你要pick,pick人非常重要。有很多人他就,他就不在这个里面,他根本就不在这个体系里面,所以你不是所有人都可以,不要就可以。所以你要找的那些人不是,打个比方说我现在想帮助弱势群体,但不是说我真的去帮助弱势群体,这是就能被解决,解决不了。你要解决的是,你要找的那些跟你一样,想去找到想帮助弱势群体的人的人,你只能去找到那个能把这个人散布出去的人,而不是直接去做到。
【嘉宾】就比方说,哪怕你培养更多的学生成为老师都是不够的,你要培养的是,想要去培养,把学生培养成老师的老师,你就要把那个recursive的链条建起来才有用,对。然后这个事情,它会非常的慢,它会非常非常的慢,所以我觉得我做不了多少事情。但是,但是它的好处是你如果能做到一点,它就做到了,它不是会回退的变,它不是会回退的改变,它是一个gradual的,就是你往前推了,它就是往前推了,对。它至少是solid的一个improvement,我觉得solid improvement,只要它是solid的话就可以,如果它不solid,但看上去很,但是看上去是个big jump,但它不solid,那你这个big jump是没有意义的。
【嘉宾】就我们平时退向,我也这么跟他们说的,我说不用着急,我们不用到那个go,但是你要,但是我们重要的是,你听我们的训练出来,它新的文化方法,我的每一小步的movement,是不是solid的,哪怕我就动了一点点,比你那个动的很大,也不能将来还要退回来,还要好很多。
【主持人】在Web Search界也会有性别歧视吗?
【嘉宾】也不能叫歧视,其实没有那么严重,但性别不平等,这可能都没有到不平等和歧视的地步,但是它会有。但是这个,这个很多小,很subtle的,很subtle的这种,意识层面的,不对称,是无处不在的。
【嘉宾】我跟你举个微妙的例子,说非常有多微妙这个事情,就是微妙到你会觉得它不是个事。就打比如说想说,主要是我竞赛出身,我打竞赛竞赛打得很好。如果我是个男生,大家就会说我是天才;如果我是个女生,他就会说他很努力,他很听话,就是很用功,对,他会觉得你或者你运气好。
【嘉宾】我小时候经历的是什么,就是有一年的竞赛那年,我一直是成绩是就是各种大赛比赛都是很好,都是顶尖最好的,反正至少是比我们学校里跟我敌的那个人要好很多。但是我身边的人会找无数个理由来解释我为什么好,他们觉得你赢是不应当的。他们认你是天才这件事,他们不否认,他们不会否认,他们但是他们会觉得你就是如果换一个人,那个赢是理所应当的;但如果是我赢了,他们会觉得你这个赢需要被解释。但是你正常情况下,一个人赢是不需要被解释,我为什么要去explain他为什么赢?他厉害啊,对。但是我的每一场赢都要被解释,背后都有个原因叫我为什么赢,而不是你为什么输。
【嘉宾】这个解释可能是诶,他这个,他的对手最近状态不好;然后下一场,他的对手状态又回来了;然后再来一场是诶,他这个题押中了,这个题他以前做过。但是可能你,其实这个题其实我并没有做过,但是你就,你感受到这个也不是故意的恶意,让人很窒息。这些微妙的存在也会出现在你之后做研究、读博士、做项目,对,是永远不断的,也都会一直有这样的存在。就是说,你赢了,你比别人厉害,大家就会给你找理由说,诶,他为什么,为什么是他?为什么?他们会说,我要继续研究一下这个人为什么可以,他为什么可以,他为什么能发这么多推文,因为没有太争反转啊。一旦有一个合作方,然后这个合作方他是男性,或者他是一个人,别人之后就觉得,诶,这个ID会不会不是他的?啊那是。这些很微妙的事情,就是你单独去看的时候,他们都很小,但是我说,这是一件持续发生、每天发生、每分每秒在发生的小事,而且他会波及到每一个在这个群体的人。exactly,你根本就没有办法跳出这个框架,因为一旦你跳出,别人就会觉得你小气,实际上就会觉得你格局小。我年轻的时候,在对这件事情的态度会更紧张一些。
【嘉宾】但我后来觉得,我已经觉得没什么好,就是这个事情是不需要被讨论的。你要解决这一点只有一个方法,就是你让左手的入行级或者说,如果在这个,女性真正拥有权利。除此之外没有别的办法,你就是不断去赢就好了。而且这个权利是所谓的人类的真的top百分之0.001、百分之0.01、百分之0.1、百分之1里面全部平权。她们只有真正获得权利,这个事情才会被改变。其他所有的一切,通过education是达不到任何目标的。
【主持人】你觉得在过去10年有好一点点吗,还是没有?
【嘉宾】肯定有好一点点吧,对。我觉得社会是在向前。但是这个,你如果拆分到不同的方面的话,有些地方可能也在,也不是都在变好,对。它那个价值观是一个很波动的状态。但整体来说,我觉得是在变好。
【主持人】好的,我觉得我们cover了大部分的东西,你让我再看一看,有没有什么问题,你觉得有什么问题我们漏掉的吗?
【嘉宾】我没有想过有什么问题要问,对。但是我倒是结尾的时候,我倒是可以有一件事情想说。昨天你们过来,然后你给我看那个Doc的第一眼,我其实当时挺打动的,就是那个Doc里面已经有很多对我的描述。就感觉你们已经对我……我不知道这是AI生成的,还是人做的?
【主持人】没有,我们看了很多,是人做的,挺详尽的。
【嘉宾】我觉得很多投我的投资人都没有这么样地去看过我的经历。在我跟他们聊天中,我发现他们不了解我的经历,他们不了解发生过什么,他们可能在别的侧面去打听了。但是这份Doc,还是我当时印象很深刻。我觉得包括融股的这段经历,给我的一些成长,就是很多职业本身,我们觉得会做的事情,其实它们不是自然发生。然后也许我原来觉得,一个做采访的人,他就应该对被采访者先有一个深度的study。但事实上很多的采访者,他们并不一定真的会做这件事情。然后也许我们觉得投资人他应该对Founder做了很深度的调查,但实际上大多数投资人都没有去做深度的调查。也许我们觉得一个PM应该好好做研究,大多数PM未必真的好好去做研究。有很多事情,它在定义里面该发生的,其实不会发生。我后来发现,一个人他只要能把职业里面该做的事情做完,其实就已经非常稀有。我昨天看那个Doc的时候,其实我觉得我愿意接受采访。本来我们也差点就要推掉了,但是我昨天看那个Doc的时候,我觉得我愿意。
【嘉宾】好好做一些采访,因为我觉得你们做的这个劳动,我是respect,我就想说一句respect。
【主持人】谢谢,谢谢,我也很respect你。然后我觉得就是,很多就刚刚聊到的,然后我的PhD,其实因为有很多波折,融资时候有很多波折,我们这个开源项目做起来也有很多波折。但我现在真的要我说结局怎么样的话,其实这三段波折或者过往,包括同年很多波折,它们波折之后的那个终点都非常的好。我的PhD第一年,这个退学地找导师不是很顺利,但是最后我找到那个导师,他是一个教科书般完美的导师;我们这个开源项目一开始也有各种各样的被打击,但走到今天我们有了一个就是这么好的团队,我们团队大家都这么的这么的有能量,就是这么有热情,还是这么团结;我们融资我前面也经历了很多各种各样的事情,但我觉得最后我们容纳了现在这些投资人,也是教科书般完美的投资人。
【主持人】是,我当时刚出来融资之前,对这块一无所知,所以我想去学点东西,我就去看了一些书,然后理解一下融资的书,怎么去融资的书,可能防范坑投资人陷阱相关那一类书,防范坑。然后我想理解这是什么东西,我那个时候很多名词都不知道的,我不知道什么叫Term Sheet,就是我在这样的状态下出了融资的。我也不知道什么叫做估值,什么叫做Term Sheet,我都可能就没有概念,很多基本概念我都不知道,都不理解。然后Pitch Deck是什么?Pitch Deck这个词我都没有听说过,什么叫Pitch Deck,是什么,要写多少页,每页写什么,对吧?对,是完全没有概念,就是没有概念到Pitch Deck这个词我都没有听说过,Term Sheet是什么东西?有个人跟我说,你们有没有拿到Term Sheet,Term Sheet是他们认识的,我在一个这样的状态里面。但是,所以我就去尝试去学习这东西,但是我从书本里面看到的,书本里写的都是美好的,书本里面告诉我的那个投资人和Founder之间的关系,是一个终身友谊的关系,是一个你们并肩作战的关系。虽然我早有准备,童话总是美好的,虽然我早有准备,但那个实际不是这样的。
【嘉宾】但现实总是复杂很多。但是我最后真的跟我们pair的投资人,这些partners,他们又回到了我当初在textbook里面看到的所谓的投资人跟founder之间关系,书本也没有骗我们。包括我以前,PSC之前,很多人跟我描述过的PSC导师跟学生之间的关系,可能也是过于美好的。但是我最后拿到了,就是那些美好的描述,他们都没有骗我。世界上存在那么纯粹、那么好的导师,存在那么好的投资人,存在这么好的采访者。但是绝大多数人他们没有坚持到,把那个跌宕起伏的过程走完,没有坚持到相信那个好的东西其实是存在的。只是说你要筛选,只是说你要有耐心,等着它最后显露出来。你要有这个耐心,让那些其实不是理想状态的沙砾自己剥落掉。然后很多人可能在中间就开始怀疑,然后放弃了,对,怀疑了放弃了,或者是他不再相信。就借这个机会我其实想说,就是那些好东西都存在,所有好的东西都不是编出来的。但是你要非常相信他,你要相信到你身边没有这样的人,你还相信他,然后有一天那个跟你一样相信他的人,有一天会跟你相遇,坚持。
【主持人】这一段特别好,刚刚我都有点想留那一张,这一段太好了。最后两个问题,就是你是一个逻辑如此缜密之人,但是就像你说了,这个世界上很多东西是乱的,或者他逻辑是不成立的,就很多random的地方,就世界是个草台班子,就是这件事情能自洽吗?还是说你其实是会suffer的?
【嘉宾】就我在我的逻辑里是自洽的,我的逻辑不受我看到的事情的干扰。suffer也有,就是会suffer,我其实很emotional,我是非常emotional的人。其实就是很多很微小的事情,会对我造成非常大的情绪影响。但是我能够把情绪影响跟我的价值观构建分离开。比如说我看到了很多事情,我不想看到,我不希望它发生,但他们都发生了,然后我觉得很不高兴。但是我看完他们之后,不会导致我觉得那个是正常的。我仍然会坚信那个我没看见,但我相信的东西是对的。我仍然会坚信,就像我刚刚说的,我仍然会坚信有一个我想看见的世界,但是我现在没看见,它只是我还没看见它而已。就这个事情,我可能会相信它几年十年的时间,我还相信它在那里,这个东西很难被改变。但是我过往的经历告诉我,他们其实都存在,最后我都遇到了他们,所以我有很多正反馈。但我觉得有很多人是没有看到正反馈的,所以你也不能说就是要求所有人都坚持。但是我觉得我是幸运的,因为我全都看到正反馈,就是我的正反馈循环让我可以在后面遇到这种类似情况的时候,坚持得越来越久。可能我第一次的时候
【嘉宾】我等了几个月,然后它被验证了。下一次我等了几年,它被验证了。再下一次我等了十年,它又被验证了。但我就知道了,它总是那边验证。下次我可以等20年,再下一次我可以等,就没有人生可能等完了。但是我想就是,至少我等到了,我觉得别人也能等到。
【主持人】你有没有想过,因为你是正确地去做这件事情的人,所以你等到了。比如说有些人他可能对自己的认知有误,他可能不是最正确的那个人,他可能不是有天分的那个人,可能他等下去就是等不到的。
【嘉宾】就是需要找到这个自洽吧。那比方说我,我等了十年之后等到了,但是我其实自己心理的一些认知,跟世界一直是不符合的。这十年里我一直都是很割裂的存在,我觉得也OK,我也可以一直就很割裂的存在,就算我整个人生都很割裂,我也不想妥协。其实你能不能找到那个边界很重要的。就其实这件事情OK,我想说有这个割裂其实是完全OK的,它不会真的很痛苦,人们只是害怕而已。但如果说有个人告诉你就这样,没关系,其实就真的没关系。但是首先是事实上,也没有绝对的正确,我也不能说我是正确的人,大家都是正确的人。但我只说每个人都有自己的想法,然后你所谓的正确在别人的眼中不正确,也是完全OK,没有任何问题。但是它的唯一重点就是,你是不是按照你自己的想法去认知和行动,还是你其实是被别人牵着走的,或者是你觉得自己在妥协。你只要不觉得自己在妥协,都没关系,哪怕你真的错了就错了吧,就也没关系。但是我非常不喜欢的是,就是大家都变成了不能执行自己意志,这样是不好的。就如果所有人都执行自己的意志,哪怕不和谐,那也是自然存在,其实本来就合理。
【主持人】好的,那以上就是我们所有的问题了,非常感谢。
【嘉宾】感谢,感谢,谢谢。
【主持人】好了,这就是我们今天的节目。不到两个月的时间,AI市场经历了开源模型的大爆发,而搜索它也成为了AI时代的核心技术层。大家怎么去看这段经历与你受到的启发,欢迎给我们写评论、写留言。如果大家喜欢我们的节目,可以通过小宇宙、Spotify、苹果播客、B站还有YouTube来找到我们。我们部分节目的文字稿也会收录在硅谷101的微信公众号上,感谢大家的收听,我们下期见。