148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”

【尤凯超】最后我们是怎么说动他的呢，就是晓之以情动之以理。就是最后跟他说你如果不跟我们一起创业，你赚到了很多钱，但是10年之后我们的项目失败了，你是开心还是不开心。

【尤凯超】那么比如说有的地方水流比较湍急，有的地方水流比较平缓，那你在这两个地方怎么样去设计你的发动机，使得你的发动机能够更好的利用这部分能量，这个就是所谓的模型和Infra的Co-design。那我觉得DeepSeek的这个深厚的Infra功底，可能是来自于他们之前做量化的时候对性能的一些极致的压榨。因为大家把token和电做一个类比的时候，可能会觉得电它是比较通用的，电它是可以调制的，但是token它是没有办法去做调制的。就是你没有办法说把一个DeepSeek模型的token转化为一个Llama的token，这个token它是带着模型的烙印的。

【尤凯超】大家好我是尤凯超，我本科和博士都是毕业于清华大学，然后现在是Infruight的联合创始人兼首席科学家。我现在的主要任务就是在维护以vLLM为核心的开源大模型推理引擎的相关生态，然后我们的目标是为AGI提供软件服务。我也是小俊播客的忠实粉丝，我们之前看到很多行业的前辈朋友们都来小俊这里参加过这个播客，像章鱼老师、杨植麟学长，以及Manus的季宇超我们都很熟。然后我也很荣幸有这次机会来这里，跟大家一起分享一下我的一些经历和看法。

【尤凯超】对对，那个是去年12月份的时候的事了。然后那个时候其实Manus还没有被Meta收购。然后但那段时间其实我也在忙着成立公司，所以虽然答应了要来，但没想到一拖就是半年。然后现在这个也终于来兑现我的承诺了。

【尤凯超】我大概是从2015年开始接触这个编程的。因为我在这个初高中期间，我的主要任务就是这个中考高考，就是正常的这个高中的学习，然后副业会做一些这个数学物理竞赛方面的学习，然后提高一些这个知识水平，算是一个我觉得比较典型的理科生吧。然后竞赛方面其实成绩也不算亮眼，就是物理竞赛有一个省级一等奖，用处不是很大，就是最后这个对高考也没有很多用处，所以竞赛结束之后我就继续准备高考。所以我并没有这个算法编程比赛的经验。但是这个有一个这个我对计算机编程的了解，就是我们在学数学物理的时候，然后当时接触一些辅助计算的软件，比如说我印象深刻的有一个叫做几何画板的东西，你可以用它去观察各种函数图像，然后去做一些这个物理的仿真的动画的演示。虽然现在可能没什么人知道这些软件了，就是技术发展的太快了，虽然我这个回想起来好像只是10年前，但是好像已经是上一个世纪的东西了，没有人记得了。但是当时这些软件还是给我带来很大的震撼，就是让我看到计算机能做很多事情。然后还有一个比较相关的事情是，清华大学在2013年的时候推出了学堂在线，这个基本就是对标国外的edX的这个在线教育平台。那么14、15年的时候就是我在学习竞赛的时候，那么学堂在线把很多清华的老师请来录制了一些教学视频。然后我当时一开始是在上面学习这个大学物理，因为我们中学的这个物理竞赛本质上就是大学物理加一些微积分。然后学完了这个大学物理和微积分之后，刚好这个学堂在线他当时推出了跟edX联名的一个Python的课程，然后我就跟他学了这个Python。那么这个算是我第一次认真的学习一门编程语言。虽然就是初中高中阶段我的主要任务是中考高考，但是我不太喜欢这种无意义的重复劳动，就是我不喜欢这个刷题，所以我这个更喜欢学习新知识。那所以我的很多备考的时间都是拿来学习这种各种课程，虽然说这个题目比较简单的时候他不会考到这些知识，但是我个人还是觉得学习这些课程能够学到一些新的知识，然后他对于我深刻的理解一些难题也是有帮助的。那这部分内容你是没有办法通过重复刷题来获得的，所以我个人感觉就是学到知识这个比较满足。虽然高考确实他最后就是我那一年高考他比较简单，所以我的这些能力可能也并没有体现在高考分数上面，没有用武之地。对所以最后其实高考分数也就是勉强擦着清华的分数线上来的。

【嘉宾】但是我觉得这个学习的过程还是很快乐的，就是确实是学到了这些知识我觉得是有用的。

【嘉宾】我觉得不太好说逆袭吧，就是确实高考分数线就是可能分数就是比分数线高那么两三分，但是我觉得这不是很能反映，就是你不能拿它去预测一个人在大学的这个过程。我觉得它更多取决于你在大学里面干什么，就是那个分数它只是一个admission，就是你进了清华之后应该把这个分数就忘掉了，你就应该接下来做大学想要做的事情。

【嘉宾】这个是比较老的历史已经过了好多年了，但是我觉得这个也不是一个卷吧，更多是说我觉得我还是比较享受学习，然后在大学里面确实我觉得学到了很多知识。那比如说你说发100多封邮件给老师请教，那其实十多门课然后每一门课，你每周给老师发个邮件请教那就有100多封了，所以它我觉得更多是一个坚持的过程吧。包括学习各种东西做的笔记，也是因为我觉得在大学里面学到了很多，然后再记录了很多，就是我并没有把笔记的数量这个字数什么的当做一个目标来优化它，所以我觉得更多是一个自然而然的就是学习的结果。

【嘉宾】我觉得这里面有几个主要原因吧，我可以稍微说一下。第一个原因是我觉得学术圈现在是一个礼乐崩坏的状态，我在刚接触人工智能研究的时候大概是18年，然后那个时候可能一届学术会议，它一年大概几百篇论文左右，然后这个时候我觉得它的学术社区比较健康，就是你投稿之后，然后审稿人可以给你一些比较有建设性的积极的反馈，它会告诉你说你这个地方做的好，那个地方做的不好，然后你应该这样去改进，就是我们真正的是在认真的讨论，怎么样把一个工作做得更好。但是后来学术会议的规模的扩张，它速度远远超过了社区成长的速度，这人工智能会议的投稿数，它每一年都是在成几何级数的增长，所以一个显而易见的问题，就是审稿人的数量和质量都远远比不上投稿的数量，所以在这个时候其实审稿的质量急剧下降，你的投稿就像抽彩票一样，就是你中或者不中，可能跟你这个工作的质量本身已经没有很大的关系了。那我是亲眼见证了这个过程，所以只能说比较痛心吧，但是这个大厦将倾它不是我一个人能够改变的，所以我就离开人工智能算法的研究，然后就不再把这个论文发表作为我的追求了。

【嘉宾】这个应该主要还是研究生期间的，就是我18年开始，然后像19、20年有这个趋势，但是我觉得到后面这个20年之后，这个趋势变得越来越严重，然后这也是一个逐渐的过程。对，我不是哪一天开始突然就不投了，更多是感受到这个趋势，然后就逐渐的就对这个投论文不再有那么大的兴趣了。然后第二个原因是这个，我发现人工智能算法领域的成果，其实它很多时候依赖于这个机器学习系统。怎么说呢，就是我们做研究的时候，我们认为人工智能领域的这个算法领域的天花板，至少就是我个人心中的天花板，就是何恺明老师，就是他的这个ResNet是吧，一战封神。然后后面每一次就是只要恺明老师的这个主页有变动，或者他又挂了一个新的这个arXiv的论文，我们这些同学就像收到了新的神谕一样，就是上天降下了一个神谕，原来又有一个新东西可以做了，对吧，然后我们就可以就去拜读这个恺明老师的论文。那那个时候其实我们这个私下讨论的时候，也经常会有这样的疑问就是，看完了恺明老师的论文，我们觉得这个想法实在是太自然了，就是浑然天成的感觉，一开始就应该这样设计。但是好像类似的想法，其实我也早就想过，可能在实验室的组会上，我们几个月前探讨这个问题的时候，我们也说这个，你这个东西这样设计是不是就可以了呀，我们甚至可能还做过一点小的实验去验证说这个东西有没有效果。那为什么最后成功的是恺明老师呢，这个除了他个人非常厉害的原因之外呢，我这个分析出来的一个结论就是，恺明老师做的事情，他不仅是方法简洁有效，而且他是做了大规模的实验的。那我们实验室里面的这些小虾米是吧，我们只是在玩我们这个玩具数据集，然后呢在上面就有点这个螺蛳壳里做道场的感觉，一个小小的数据集我们玩出花来了，但是并没有做规模化的实验。

【嘉宾】那当我尝试着把手头上的实验规模扩大的时候，显而易见的事实就是支撑实验的这个机器学习系统以及对应的数据，它其实才是决定成败的关键，而不是说你去雕这个交叉熵的五种加权方法。所以这让我更关注机器学习领域的一个进展。

【嘉宾】然后第三个原因是一些工业界朋友提供的反馈。上学的时候我非常喜欢参加一些活动，然后结交一些朋友，跟大家聊一聊现在工业界在发生什么。我印象比较深刻的是2022年有一个叫做WOWS大会，就是国内的一个机器学习和机器视觉的大会。我在上面有个poster，我去那边讲一个poster。在会场上我刚好遇到了张强玉老师，我就厚着脸皮拉着张老师在那聊了一个多小时，他也很有耐心跟我聊了一个多小时。张老师当时在旷视，他应该就是旷视的首席科学家。聊的时候我很惊讶地发现，他作为目标检测算法领域的一个大佬，他跟我们聊的其实不是说目标检测算法我们现在又发明了什么新的loss，效果怎么样了，他其实说的更多是他们当时面对的复杂硬件对于软件带来的挑战，以及像旷视也要设计一些为目标检测、CV算法所特化的一些硬件。这些为了特殊负载设计的硬件，它有多级的缓存结构，然后你需要手动控制在芯片多级缓存之间的数据流动。所以旷视的工程师每天最头疼的不是说参数怎么调，而是说英伟达的cuDNN代码里面又有这样的问题、那样的问题，然后我需要适应这个硬件去写这样的算子、那样的算子。所以这个是对我触动比较大的一个事情。我觉得或许还有其他种种原因吧，但是这三个原因已经能回答很多问题了，它们共同促使我从算法的研究转向机器学习系统的工程研究。

【嘉宾】绝对我觉得是有关系的。我觉得确实凯明老师的那个时代属于是算法研究的蓝海，那个时候还没有那么多人进来，所以算法那边能做的事情比较多。但是后面算法做的事情可能就是一些比较low-hanging fruit，都被大家摘完了，然后再往前面可能很难有一些根本性的变化，以及还有就是大家对于scaling law的这个信仰，就是你的基本算法其实不需要怎么变，你只需要不断地往上堆算力堆数据，你的效果就能够自然地变得更好。

【嘉宾】对，刚才说的那个转变其实是在博士期间，我本科也没有做很久的研究，当时也是跟随着算法的研究。我的研究方向其实我觉得很多时候还是靠缘分和时代的趋势。刚才说到我高中的时候在学堂在线上面学习，上面有一些课程，然后到了大学之后呢，我又可以通过像edX还有这些名校的公开课来学习进一步的知识。那个时候比较有名的公开课，像吴恩达老师的机器学习课程，还有李飞飞老师的计算机视觉课程，还有Christopher Manning老师的自然语言处理课程，这些都是非常有名而且非常好的公开课。我学完了这些课程之后呢，就尝试找个实验室做一些研究。当时刚好我们学院里面也有一个老师在做这方面的研究，所以我就从人工智能、深度学习这个方向开始研究。后面也是在这个老师手下继续，他就是我的博士生导师，我就在这继续读完了博士。

【嘉宾】有考虑出国，其实一开始是准备出国留学的，但是后面受疫情的影响比较大，刚好撞上疫情了，也不想那么折腾就留在学校里。本科期间做的事情主要是跟导师做一些我们叫做数据稀缺场景下的高效学习，就是提升机器学习算法的泛化性。但后来发现这部分研究比较紧贴天花板，就是别人已经做好了一个任务，它可能做得不是那么好，然后我再把一个通用的方法用上去，希望给它提升1%到2%的准确率，这个就很依赖于别人，就没有办法大规模的应用，所以后面实验室在这方面的投入其实也逐渐变少了。19年暑假的时候，我是去加州大学伯克利分校我们这个Mac Namee老师手下做过一段时间的数据研修，学习了一下美国那边的一些前沿的AI进展，也是开阔了眼界。当时其实已经有一些苗头就是在做大模型相关的技术了。回来之后也就是博士入学之后呢，研究方向逐渐在往大模型这方面靠。我是2020年开始读博士的，那个时候大模型其实已经在开始发展了，2020年应该就是GPT-3发布的时候。但是我们实验室的算力资源非常有限，所以我们没有办法做大规模预训练的一些实验。我就根据我们能支配的算力，研究了一些像大模型的微调的方法。这个做了一段时间，虽然有一些成果，但是其实也跟之前有一个类似的问题，就是它比较紧贴天花板。

【嘉宾】就是我们做了一年的时间研究各种算法，可能在原来的场景下也提高了1%到2%的效果。但是呢你会发现一年之后，大家有个更好的更大的预训练模型了，那你只需要简单的替换一下这个预训练模型，你带来的收益比我这个算法还大。那所以呢加上刚才讲到的一些原因，那我博士的后半段就从这个人工智能的算法研究，切换到了人工智能这个机器学习系统方面的研究。然后呢我是在2024年的时候，又申请去加州大学伯克利分校交流，然后接触了vLLM，然后再开始做这个大模型推理系统。

【嘉宾】应该先是暑期研修，就是这个交流，这个是在2019年的暑假。然后特奖是在2019年的年底左右吧。

【嘉宾】对，我可以把具体展开一下。就是2019年暑假刚才说的，就是我在Michael Jordan老师那里做研修嘛。然后Michael Jordan老师，他是隶属于一个叫做RISE Lab的实验室，这个实验室它是UC Berkeley的EECS下面的一个实验室。然后这个实验室它是专注于机器学习系统的设计，那么它其实就包括两部分，一部分是机器学习，一部分是系统。然后Michael Jordan老师他当时是负责这个机器学习算法的方向，然后我在研修期间也经常参加这个实验室的各种活动，所以也借此机会就是接触了更多机器学习系统方面的知识。

【嘉宾】对这些是一些这个线索吧，就是他们埋下了一些种子。然后我后面在学术研究期间，就是也零星地做过一些开源软件的建设，比如说2020年的时候，就那个时候也是疫情反正也没有什么事做，就只能困在这个宿舍里面。然后呢当时和本科同学翁家翊，一起做了一个开源强化学习的系统叫做天授，当时还是训练这个游戏机器人，就是玩一些这个Atari这些视频游戏。然后2022年的时候，我也做过一些像把我设计的一些机器学习算法，贡献给一些主要的开源社区，像这个OpenMMLab的一些计算机视觉的库，以及像PyTorch这些机器学习库，所以在开源社区里面也算有一些影响力吧。然后2022年底呢，这个就是ChatGPT发布了，然后呢我就是看到当时我们还在一起玩泥挖的这个朋友，就是秦苹果同学，对对秦苹果同学，在职务上这么称呼他，对，就是翁家翊他现在已经是ChatGPT的训练师了。然后呢当时OpenAI的每一个博客都是卷卷有他名，所以就是他已经属于是标柄史册了。那那个时候我就在想，就是我未来要走向什么方向嘛。我当时也跟他请教了一下，然后发现就是大模型相关的研究呢，几个方面吧，然后一个是这个数据和算法，这些是跟公司绑定比较强的，就是你的这个算法研究和数据研究，都需要公司的比较强的支持，公司的这个大量的资源。然后呢其中有一部分是机器学习系统，那么这一部分你是可以在实验室里面进行小规模的研究。

【嘉宾】然后可以很容易地扩展到大规模的场景。所以这个也是坚定我对于研究方向的一个转变。然后就是到了23年的时候，这个疫情已经基本结束了，然后国际交流就恢复了。那这个时候呢，我们学院的访问教授就再次来我们学院访问。但是那个时候就是UC Berkeley的当时叫RISELab，然后四年过去之后已经叫这个SkyLab了。23年秋天的时候，Ion Stoica老师再次来我们这里访问的时候，我那个时候已经比较坚定了，就是我想继续做机器学习系统。然后呢我就跟他说，我能不能去你那里交流访问。那这个时候我是跟他提了一下说，四年前我其实问过你这个问题，然后这四年里面我也在一直探索，就是我能做什么事情，然后如果我做出来一些有意思的事情，是不是会有人会用。那确实这个效果也是很好的。所以他也是看到这个四年前的一个青春少年，然后四年之后还跟他说，他一直在践行四年前他给的一个建议，所以他也非常感动，然后就同意了我的申请。所以我在2024年的时候就是在SkyLab交流，然后刚好就是赶上了这个vLLM项目的发展。所以说就是很多的机缘巧合吧。但是我觉得如果没有19年的暑期研修呢，可能比如说我就没有那么早地加上这个卓汉的微信，我可能见Ion Stoica老师的时间也会更晚一点。但我觉得我的整体的大方向是不会发生变化的，就是这个大方向它其实是很多事情积累的结果，我觉得我依然会从这个算法研究转向机器学习系统。这一次重大决定其实我是酝酿了好几年的，有一种冥冥之中的感觉，冥冥之中以及我觉得这个是时代的趋势。

【嘉宾】底层思维我觉得Michael Jordan老师更偏向学术和理论一些，他做的是机器学习理论。当然他从来不把自己叫做AI研究者，他更多的是研究这个机器学习算法背后的一些理论的insight，他也做很多像博弈论啊、经济学分析啊之类的事情，所以他可能更偏理论一些。然后Ion Stoica老师更偏系统一些，然后他的追求很简单就是real world的impact。所以他做了很多开源软件，然后很多开源软件后面都孵化成了重要的项目，然后成为了工业界的基础。

【嘉宾】对，我追求的是后一个。而且我觉得就是他们两个肯定没有优劣之分啊，但是我觉得在当下的时代啊，后一个是更值得追求的，前一个比较难追求。就像我跟孟家一聊到的，就是前一个那种东西，你要能做出impact只能在世界上很少的地方有这样的坑位能够做出这样的impact。

【嘉宾】对，他也是做的AI Infra。就是我们当时一起做那个TX项目，也算是一个比较小的机器学习系统。然后其实他当时也是做了一些算法方面的尝试，然后其实也有很多挫折，就是你可能提出一个算法然后投稿论文，然后对方说你这个不够novel没有用。然后他最后可能就觉得那我不如写一个系统，就是我告诉你说这些东西就是训出来你就是牛。

【嘉宾】可能不算是惺惺相惜吧，更多就是我觉得我们还比较志同道合，就是大家都觉得这个事情比较有意思，然后就一起做。

【嘉宾】对，我觉得充满了希望热情。就是而且我刚开始做研究的那个18、19年，我觉得还是有一些人在踏实做研究的，然后做研究就是做算法研究，也还是能够被人看见有人认可的。然后大概我觉得20年之后，可能这方面的兴趣就不是很大了。当然就是特奖评选它是19年年底嘛，所以它凭借的是19年之前的成果，然后我刚好也有一些成果，所以就去参加了一下。

【嘉宾】对，我觉得肯定是有兴奋的因素，就是获奖肯定还是比较开心的吧。然后获奖之后呢也是朋友圈变得更大了，然后我可以接触到更多的优秀的同辈，那这个是我能感觉到的一个明显的好处。但是我觉得整体上来说就是这个特奖这个事情，它其实是在被淡化的，就是大家不再赋予它过多的含义。因为清华其实有很多奖学金，然后特等奖学金其实只是其中之一，然后有些系其实有很大额的奖学金，就是比特奖其实奖金多很多很多，所以特奖只是奖学金之一。然后我觉得特奖它是一个特殊历史时期发展的一个产物吧，就是当时社交媒体发展的比较快。

【嘉宾】然后这个学校当时大力宣扬特等奖学金的评选，然后出现了像马东韩和马东欣这个双胞胎的双料特奖，然后像陈立杰这个理论计算机科学家，这种有一些现象级的话题。然后后面就感觉有点变味了，就是每年的评选你可能都可以看到在这个社会上有一些不小的轰动，然后大家就会说这是一年一度的神仙打架。但是客观上来说，就是很多特等奖学金获得者在获选的时候，其实也是志气未脱的少年，就是他一般是大四上学期的时候评选，然后其实也就是一个本科生入学三年左右。那么把这样一个同学过度地曝光在媒体的聚光灯下，其实很容易对这个获奖者的正常的学习科研生活都产生不必要的干扰。所以我觉得我还是比较幸运的，就是在我参选的那一年学校已经意识到了这一点，所以当时取消了特等奖学金现场答辩的直播，然后后续其实也有意压低宣传。所以再往后大家可以看到其实这个特等奖学金的话题，在社会上的讨论度是越来越低的，然后现在可能基本上就是一个清华大学的普通奖学金，社会上其实议论的人已经没有那么多了。

【嘉宾】对，我觉得这样子才比较好。但是对于获奖者本身总是开心的，就是我获得了一个认可。但是我觉得之前的讨论其实有点太多了，尤其比如说当时讨论比较火热的时候，大家总会说今年的特奖评选是评选这一届清华大学的学生里面最厉害的10个本科生。我觉得这个说法本身就不是很恰当，因为这个学校里面每个同学有自己追求的方向，你其实很难拿一个统一的标准说这个就是最厉害的10个人，然后他比其他人都厉害。我觉得每个人都有自己的方向，所以不应该拿一个统一的标准去衡量大家。

【嘉宾】我当然可以继续这样想，因为我现在已经不在那个舞台上了，我已经退下来了对吧。如果我要对这个新入学的同学说几句话的话，我觉得这几句话还是适用的，就是来清华更多的是追求自己的成长对吧，而不是说我在清华里面又看到了什么什么样的人。

【嘉宾】Lokmi那个工作应该已经是2021年的时候了，所以那个时候其实我已经在思考着如何转方向的问题了。也是另一个趋势，就是刚才说到这个算法研究，就是这个投搞比较混乱，然后你很难有比较确定的让它中稿。那么当时我其实发现的另一个事情就是，我们做算法研究很多时候需要跟别人争论说我这个东西多么创新，就是我的novelty有多高。但是还有另一个方向就是你跟别人说我这个东西加速了多少倍，这个东西是比较客观的。然后当时我们做的那个算法宣称是跟其他算法相比有几十倍的性能提升，然后这个事情是可以被验证的，你也可以分析出来说这个背后的加速原理是什么。所以这个东西让我觉得就是机器学习系统它是一个更确定的领域，就是我可以明确地知道我做的贡献是什么，而且可以很明确地量化。你可以说我的东西不novel，但是你不可以说我的东西没有用。

【嘉宾】我觉得我能理解它是一个过程。

【嘉宾】对，就是它是一个过程。像刚才我说的我发现机器学习系统这个领域，我投入更多的时间我做更多的优化就能有更多的收获，那这个时候我就逐渐地不再把精力投入到算法研究上面了，就没有一个关键的事件。

【嘉宾】我觉得没有，就是我们之前的认知一直都是这样的。就是算法做顶级的算法研究它是有用的，但是你要找到这样发挥这样职能的position是比较困难的，可能世界上其实也就只有那几个有限的位置。那么在不在那几个位置上没有对应的资源，即使做出来这样的算法也是很难发挥作用的。就像比如说我没有凯明老师的资源，我其实想到了他那些论文的idea也没有用。

【嘉宾】那这个衡量标准就是你做的东西有多少人用，然后对大家是否带来了真正的收益。比如说你的GitHub的一个项目有多少人star了，然后有多少人发来感谢信，就是在issue里面说我用你的这个东西，然后给我提高了多少的效率。

【嘉宾】对，这个时候论文只是一个副产物。就是有些算法，有些系统工程的实现我们做的很好了，然后也已经有很多人在用了，那么这个时候我们再把它写成一个论文，把里面的一些有价值的东西给它列出来，然后这个时候审稿人其实一般都不会说什么，就是其实它可能也就是我们算法的、我们这个系统的用户，所以这个投稿的过程都比较顺利。

【嘉宾】没有纠结，就是我觉得这个过程是比较快乐的，因为它的正反馈是不断累积的。你做一个事情，你说我这个东西给你加速了两倍，然后我明白这个背后为什么加速了两倍，这个原理我是确定的，所以我也可以很自信地说，别人用这个东西就是能加速两倍。

【嘉宾】那这个过程中别人给我的反馈是持续不断的累积的。相比来说，比如说一个算法研究者，他提出了一个新的算法，然后他说他这个算法在他的场景下提升了2%到3%的准确率。那可能别人尝试复现的时候，又会因为复现的场景不一样，甚至可能说你这个算法是不是反而降低了准确率。那这个过程中，其实我觉得很难积累一个正反馈。

【嘉宾】这中间其实就是在做一些探索，就前面说到的一些方向的转变，都是在这个过程中逐渐积累起来的。然后因为中间也有很多疫情的因素，有一些你可能不能出国交换，所以只能做一些自己的探索。他们那边呢，欧美那边还是比较热火朝天地在干大模型。所以这个也是当时疫情结束之后，然后ChatGPT出来嘛，就是给大家有点当头一棒的感觉，对吧？就是我们这几年在干什么，对比对方这几年在干什么，然后人家已经干出来了一个这么Amazing的东西。

【嘉宾】对，VLM项目的诞生应该是23年中左右，大概6月份左右开源的。然后呢这个工作肯定是更早地在做，大概我觉得22年年底他们应该就开始在做这个事情了。然后他们做这个事情，写了一篇论文，然后这个论文投稿，最后中稿了之后他们放出了这么一个原型系统。

【嘉宾】对对，主要是作为实验室的一个科研项目来开展的。

【嘉宾】对，他们实验室就是，我觉得跟有一些历史一脉相承吧。包括我做VLM，我觉得也是受到这个伯克利重工业软件的一个传统的影响。就是伯克利它有很悠久的开源软件的历史，包括我们做操作系统里面的BSD，然后呢芯片领域的这个RISC-V，然后还有存储领域的RAID，然后呢再到后面大数据分布式机器学习系统领域的这个Spark、Ray，其实都来自于伯克利。所以说伯克利历史上它已经产生了很多很多的著名的开源软件，而且这些软件其实都是学生在读期间发起的，就是它是从学生的一些research的project开始的，然后呢最后变成学生主要维护，然后再把这个社区发展壮大，然后再变成这个工业界的一些基础设施。

【嘉宾】对，这显然是一个非常困难的事情。

【嘉宾】对，因为每个学生他有不同的周期吧，就是他处在他的博士期间的不同阶段，对吧？比如说刚入学的博士生，那么他可能急着需要发表一些论文来支撑他的毕业，然后呢所以他需要去引导一些新的project，就是他很难参与到别人的project里面。他可以通过参与别人的project去练手，去学习如何做research，但是现在的博士生就是都很强，就是可以说他们在博士毕业之前的成果可能都已经够博士毕业了。那么他们接下来要做的事情，只是把他们的这个研究能力在博士前一两年的时候再做出一些新的成果，然后方便他们能够毕业。所以就是第一二年级的博士生同学，他们都希望有一些新的方向做，他们不希望沿着原来的老路去巩固一些现有的知识。然后呢就是博士太后期的同学，他主要急着找工作，因为他马上就要毕业了，要去工业界，所以说他不太会花时间在这个开源项目的维护上面。

【嘉宾】我当时正好处在这样一个时期。因为我之前的一些算法研究也基本上够毕业了，然后呢我个人也觉得就是我想转变一下研究方向。然后呢转变研究方向的话，我并不希望就是在这个机器学习系统领域有一些论文的发表，我更多的希望是拿到一些这个Hands on Experience，去学习这个系统就是是如何Build的一个系统的。那所以我对这个纯工程的这个问题是完全OK的，就是你让我几个月都在做工程的实现我都是OK的。然后以及我当时觉得这个vLLM项目有比较重要的，是一个比较重要的历史机遇嘛，所以我都是就是比较全身心的投入在里面。

【嘉宾】第几号的话我觉得我算是第四个比较主要的吧。前面就是一开始比较主要的同学是这个，就是论文的两个作者嘛，一卓汉和乌苏匡。

【嘉宾】然后他们也是这个开源项目一开始的主要维护的同学。然后接下来主要参与的同学是Simon，就是他现在是我们公司的CEO。对，然后他其实也是一个开源老兵吧，就是他跟我差不多大，应该比我可能年纪还要再大一些。但是他当时本来准备博士入学的时候，他quit了，然后去参与Anyscale的创业了。然后创业了几年之后再回来读博士，所以他已经有比较深厚的这个开源社区的相关的经验。然后他也不是那么看重论文，更多的是看重这个对现实世界的impact。他也觉得这个项目比较重要，所以他应该是第三个这个全职投入的同学。然后第四个应该就是我了。就是我过去的时候我也是一个类似的想法，就是反正我有时间我也愿意投入，然后这个项目也缺人。然后其他的同学就是这个项目他肯定就是这个论文本身，他的作者有很多人，但最后就是其他同学都是因为刚才说到的各种原因，他们都去找别的事情做了。

【嘉宾】我觉得不需要吧，就是更多看你能在里面做什么贡献。其实当时这个开源项目他整体处于一个非常缺人的状态，所以我觉得只要投入热情。

【嘉宾】用真心。

【嘉宾】首先就是这个项目发展得很快，然后呢这个项目也确实当时缺人。然后我当时有一个判断就是这个，就是当时因为GPT已经很火了嘛，然后我当时一个判断就是大家其实当时都在谈论怎么训练模型，但是很显然就是你把模型训出来之后，你需要去做推理。那么vLLM就是处在这样一个地位就是做大模型的推理的，所以我觉得他未来非常的有前途。然后这个推理也是一个非常重要的事情，所以值得投入。

【嘉宾】对，就是我做vLLM是2024年的事情了。但是我关注到vLLM是2023年的事情。对，2023年这个年底，就是我当时向斯托伊卡老师申请交换的时候，我其实当时已经在里面跟他说的就是我去做的话，因为我需要我要propose一些这个idea嘛，就是我去做什么。那当时我这个提出的就有这个大模型推理这一块，然后这个时候vLLM已经有了。

【嘉宾】对，他已经存在了。所以我说我可以在vLLM里面做一些事情。

【嘉宾】对，我觉得这里面可能需要区分两个概念，就是vLLM和他对应的论文PagedAttention那篇论文。就是vLLM的起源是那篇论文嘛，然后那篇论文的核心是一个PagedAttention算法。那么它是借鉴了操作系统的虚拟内存管理的机制，来管理这个自回归生成过程中的大模型推理的过程中，这个产生的中间状态也叫KV cache。那其实时至今日，就是vLLM他早就不是PagedAttention算法了，他是一整个大模型推理的系统，他是这个大模型高效运行的一个底座。所以vLLM他解决的问题其实是，这个在模型和硬件都飞速发展，然后互相耦合的时候，你如何去提供一个高效的推理服务。而PagedAttention本身它的原理就是说，如何去管理自回归生成过程中的这个中间状态，也就是KV cache。

【嘉宾】我觉得不能算一个很大的创新，就是任何一个认真的分析大模型推理过程的这个机器学习的研究者都能够想到这个想法。所以从学术创新的角度来说，PagedAttention算法的创新性甚至是偏低的。所以他当时投稿这个是投稿到SOSP的2023这个会议上，也是一个非常顶级的系统会议。但其实审稿人就已经提出了很多批评说，你这东西too simple。

【嘉宾】就是你这个想法太直接了，然后没有什么knowledge。他最后能发表，完全是因为他们做得很早，而且做了非常丰富的实验，所以最后才是一个以低分的过线的状态被会议接受了。然后vLLM是PagedAttention这篇论文被接收之后，作者团队开源出来的这个推理引擎。所以这也是为什么你说我们认知vLLM的时候，不能够只认识到它是PagedAttention，它应该是它后续做的一系列的事情。vLLM是一个推理引擎，它代表着一个推理的生态系统。PagedAttention以及Continuous Batching，这两个技术是这个大模型推理过程中的核心的技术，当然也涉及到很多其他后来的这个推理优化的技术，他们都是在vLLM这个项目里面的。

【嘉宾】论文接收之后，因为系统的论文，他们都有很多要求Artifact Evaluation，就是说你的系统需要被别人复现过，然后你的这些数字都需要被别人复现出来说你确实有这些收益。所以他们本来就有一个原型系统，然后他们后来就是把这个原型系统开源了。我觉得这个也是跟Matei Zaharia老师的这个理念有关系，因为Matei Zaharia老师他是这篇论文的一个指导老师，然后他也很早地看到就是开源推理引擎里面还藏着一个巨大的机会，所以他就推动这篇论文的这个学生团队，把vLLM当做一个很重要的开源项目在维护。然后不是所有人都同意Matei Zaharia老师的观点嘛，以及受限于刚才说的各种的这个每个人当时的一些客观的选择和情况，所以最后主要是这个乌苏格和卓翰两个人在继续维护这个开源项目，然后慢慢地有了Simon，有了你。

【嘉宾】应该很容易。

【嘉宾】对。

【嘉宾】Simon应该也是主动的。

【嘉宾】对，我觉得就是每个人追求的目标不一样吧。就是比如说有的人他追求金钱，就是你今年要赚到多少钱对吧，然后有的人追求权利啊，你在公司里面爬的多高，是一个多高的这个领导的地位。那我觉得我追求的就是意义，就是我做的事情是不是有意义，然后我当时觉得vLLM有很重要的历史意义嘛，值得我的投入。然后这部分决策也是就是受到Matei Zaharia老师和Matei Zaharia老师的比较大的影响。然后其他同学我觉得也是类似吧，就是加入的同学很多都是因为这个原因加入的，当然离开的时候可能有些人也有一些自己的原因，这个也不能强求。那我觉得整体上来说就是有一句话叫做，仓廪实而知礼节，衣食足而知荣辱。那我觉得也是因为我们这个时代，这个物质追求这方面已经给我们有一个基本的生活保障了，那么让我们能够有更多的时间和精力去追求一些非物质的这个精神需求。而且就是做计算机方向的技术同学，其实它的基本的生活需求非常简单对吧，就是有吃、有住，然后有电脑能上网就可以了。所以就是我觉得这样艰难的环境，为我们筛选出了一批志同道合的人吧。他们热爱开源，然后热爱技术，然后跟我们一起这个同甘共苦，就是为我们的项目做了好几年，所以后来他们也就很自然地变成了我们公司的这个初始创业的团队。就是我觉得比较感慨，就是这个中学课本里面，送东阳马生序里面这个叫做，以中有足乐者，不知口体之奉不若人也。我觉得我们这些同学就是非常适合这一句话，因为我们心中就是做我们认为快乐的事情，所以呢我们就不觉得这个吃的、喝的、穿的享受不如他们。当然现在我们这个有了资源，我们也会让我们的同学在实现精神追求的同时，有更充足的这个物质资源，这样子让自己的生活没有后顾之忧。

【嘉宾】对。24年我觉得主旋律其实就是一个重构。因为23年的这个论文发布嘛，然后再是23年的一个prototype出来，然后这个prototype需要从实验的原型走向一个生产级的可用。在这个过程中我们调研了很多，像业内其他的推理引擎的设计，然后最终在年底的时候推出了这个从v0到v1的一个重构的计划。然后25年的主旋律就是一个大规模部署，就是硬件和模型都变得越来越大，然后这个开源模型的发展的重心从欧美转移到了中国。然后这里面比较巧的一个事情也是25年，就是因为24年我交换结束了，然后25年回来准备毕业，然后当时这个vLLM社区在国内还是一片空白的状态，然后我刚好从伯克利回来，我就把这个丛林开始搭建了中国的vLLM社区，然后也刚好支持了大量的中国开源模型的发布。我那个时候刚好是中国开源模型爆发的一年。

【嘉宾】对，就是25年年初的时候这个DeepSeek-R1。

【嘉宾】对，然后25年年初的时候R1，然后再是25年春节的时候这个R1开始爆火。所以到后面也就是这个中国的开源模型就像雨后春笋一样不断地发布出来。我觉得就是这两年确实是很多风风雨雨吧，然后尤其是像刚才说到的人员的不断变动。因为我们是做一个开源项目嘛，所以人来人往的就是有人参加，然后又有人走。然后我们在这个过程中还要持续不断地去面对这个新模型发布的情况，还要在这个过程中去推动整个项目的维护和升级，这个整体是一个非常大的挑战。所以我回顾历史的话就是往回看，我觉得我不敢说我们做得非常好，只能说我们撑过来了。

【嘉宾】这一次重构其实主要就是为了解决这个模型和硬件的发展对于推理引擎提出的一些新的挑战。那打个比方，就是比如说我们现在经常喜欢把token比作是电，那这个过程中的推理引擎就像是发电机或者说是电力系统。然后我觉得模型可能更像发电机吧，我们后面可能可以做一些类比。然后硬件它就像是你的像风力、然后光伏这些自然资源。然后推理系统要做的事情就是你需要把这些自然资源用发电机把它转化成电，然后再传递到每一个人的手中。所以本次重构就好比说我这个发电系统整体上从这个火电过渡到新能源发电的一个状态。那么从用户侧的角度来看，它的使用方式可能差别不大，你可能都是电是吧，你把插头插上去就能用。但是从推理引擎的视角来看，其实背后的这个工作原理发生了巨大的变化。那所以从中端用户的视角来看，其实推理引擎承担了一个非常大的责任，就是它屏蔽了这个模型和硬件的复杂性。用户选择不同模型的时候，就比如说你在应用里面，一个应用它可能支持多个模型，那从用户的角度来说，你可能只是从一个下拉菜单里面点了一个模型，或者你只是从这个请求的参数里面改了一个参数说，我请求的今天是DeepSeek明天是千问。但其实从背后的这个推理引擎来看，不同的这个模型它的支持效率、它适配的硬件其实是千差万别的。所以这里面推理引擎承担了非常重要的任务，然后在这个过程中模型和硬件又在不断发展，所以他们对推理引擎的要求其实是在不断更新的。那么V0和V1只是一个我们从名字上就能够看得出来的非常大的变化，但其实类似的这样的小变化我们其实一直在做。所以你可以说就是vLLM它其实一直是在重构的过程中，然后这里面最困难的就是你需要保持一些用户的兼容性，对吧，就是你背后支持的模型、支持的硬件不停地在变，但是你要给前端的这个终端用户一个比较统一的体验，就是我用vLLM我就可以保证说我在各种硬件上可以跑起来各种模型。

【嘉宾】对，24年的这个开源的重心还在美国那边，欧美，然后像Meta、像Mistral这些的。

【嘉宾】当时其实支持的还不算很复杂，因为当时就是这个模型和硬件它还没有很耦合。然后只有一些比如说一些attention算法设计的比较复杂的时候，对推理引擎的影响比较大。但总体上来说还是在做各种推理优化，就是模型的结构在那一年没有发生巨大的变化。

【嘉宾】对，是在我们意料之外的。

【嘉宾】我就是24年的12月份结束交流，然后那刚刚好碰上。对，就是我结束交流的时候就是DeepSeek V3发布的时候。对，然后回来1月份然后马上R1又发布了，所以是在我们意料之外的。

【嘉宾】我觉得不能说措手不及吧，更多是说我们没有预料到它是一个这么大影响力的事情。因为DeepSeek跟我们的合作其实很早就开始了，就是你从23年、24年那段时间，因为DeepSeek它内部用的就是vLLM，就后续加了一些它自己优化的一个变种。所以它其实从DeepSeek-MoE——DeepSeek-MoE我觉得算是V1吧——然后它后面有V2，然后再发展到V3，它跟我们一直是有联系的有合作的。然后只是在24年的时候，DeepSeek还属于社区里面的一员，就是它只是一个泯然众人的一个模型厂商。

【嘉宾】这个还是给我们带来比较大的震撼的，就是DeepSeek的Infra同学做了很多的优化，然后我们需要学习。就是他们在推理引擎方面虽然是基于vLLM做的，但是比我们做的往前面走了很多，所以我们当时是在不断地跟他们学习的过程中。

【嘉宾】对对，就是DeepSeek爆火之后，然后中国的这个开始了一个开源的浪潮吧。尤其是这个25年的7月份，我印象很深刻，因为我事后回想起来，感觉应该是当时这个WAIC快开会了，然后很多公司都是在这之前就像发布产品一样，就是把自己有的模型都发出来了。

【嘉宾】一直在，然后已经有了。

【嘉宾】这个社区的搭建，就是因为这个项目本身诞生在美国，然后24年的主要的开源的阵地也是在美国，所以整体的这个沟通渠道也是偏美国的。比如说我们是用Slack进行沟通，然后我们后来就是在国内跟大家沟通的时候就发现，我们当时跟大家说的就是VLM社区是一个很包容的社区，那中国美国的同学都可以一起沟通，那我们有Slack的这个沟通机制，那大家都可以进来，那里面就遇到了两点问题。第一点就是国内的同学他肯定更习惯说中文，那么在Slack里面大家主要还是说英文，那么这是一点语言障碍；然后第二点就是因为各种各样的原因，那么国内的同学用国外的软件的时候，还是有一些不方便的因素存在的。那所以呢为了解决这些问题，我们就开始搭建一些这个VLM的中文社区，那比如说一些这个公众号啊、小红书啊、这个知乎啊这些宣传平台，然后包括这个跟国内的一些大公司建立一些沟通和联系的渠道啊。因为像DeepSeek和Kimi他们都是公开的说过，他们就是用VLM的，那么之前呢我们跟他们的沟通是非常少的，因为这个时区也不一样，然后呢人也没有办法见面，然后呢我回国之后呢，我就是啊也走访了一遍这些公司，然后跟他们了解就是他们用VLM在做什么，然后遇到了什么样的问题，有什么样的痛点。对因为我在这个24年的时候做VLM比较多，然后大家也都比较认识我，所以就是我就这样把大家串起来。

【嘉宾】我们24年的年底就在讨论这个事情，就是当时的背景就是其实我们在考虑这个项目的长期维护，然后Soha老师他说，我们应该有一个公司来支持这个项目，不然这个项目最后会凉掉的。然后但是我们几个人就是有一些同学还比较犹豫，这个项目能不能找到一个长期的维护者都是一个问题，那所以Soha老师就说，那我们就参照这个像Linux之类的项目的经验，把它捐给一个基金会，那么这样子能够保证它的长期的开源和维护，所以就把它捐给了这个PyTorch基金会。因为我们跟PyTorch的合作也比较紧密，就是我们相当于是PyTorch是一个底层的机器学习框架，然后我们是建立在之上的一个推理引擎，所以这个合作也比较自然。但是就是PyTorch基金会它本身还是一个偏治理结构的一个基金会，就是它不参与你的这个技术治理，所以代码什么的其实还是自己要写，然后它更多的就是，我们把这个项目捐给这个基金会，然后就意味着说这个项目它至少不会变成一个闭源的项目，就是它始终是开源的。

【嘉宾】对，成立公司我们是在做这个项目的商业化以及技术运营，然后这个项目它依然是一个PyTorch基金会下面的项目。就比如说PyTorch基金会下面它有好多一级的顶级项目，那比如说PyTorch也是一个顶级项目，VLM也是一个顶级项目，那么PyTorch项目本身它还是Meta在做主导，那么基金会它可能承担了一些比如说活动的举办，然后像这个VLM或者和PyTorch的商标属于PyTorch基金会，所以它更多的是一些辅助性的角色，所以它能承诺的是你们必须是一个开源项目，它能够保证这个事情。因为比如说VLM的商标现在是属于PyTorch基金会的，那你不能把VLM闭源了之后，然后再说我这是VLM项目。

【嘉宾】伯克利它是一个学校，那么你说这个项目属于一个学校的时候，你还是要从学校里面找出一个具体的人来承担这个职责的，那么学校里面没有一个这样的机构。

【嘉宾】实验室就是前面说到就是David Patterson老师说，你实验室应该只开五年，五年之后你就要关掉，就是你要开一个新的实验室，所以实验室它不是一个具备这样资格的一个实体。

【嘉宾】对，基金会它是一个独立的法人实体，所以它可以做各种，比如说它可以注册商标对吧，它可以有自己的法律团队，然后它可以接受募捐，然后它可以为这个项目投入各种各样的资源。

【嘉宾】我们公司现在就是为我们项目的技术管理和日常运营的主要的参与者，所以说我们把这个项目捐给PyTorch基金会，更多是从法律上明确了它一直是一个开源项目，而且它的商标属于社区。

【嘉宾】但是它的具体的技术发展以及它的商业化，我们都是可以由我们公司来做的。当然也不只是我们公司在做，还有社区里面其他的公司，比如说Red Hat，比如说英伟达、AMD，他们都在跟我们一起做技术的维护，他们也可以对这个项目进行一些商业化。

【嘉宾】对。如果这个项目属于我们公司，那可能它的商标也会属于我们公司。那么任何一个人他用VOM，他用了它的logo，可能都需要向我们申请。那现在它是属于一个开源项目，它的这个像商标、使用权都是在公共领域的。我们只是作为一个技术参与者和技术领导者在引领它的发展。

【嘉宾】还没有定。

【嘉宾】对。这个可能就可以说到我们几个人成立公司的这个过程吧，其实是相当的艰难的。因为就是央斯多一克老师，他有非常坚定的信念，就是说这么大一个项目，如果没有一个公司来支撑的话，他一定会凉了。就是他说的就是Linux项目，如果没有Red Hat的支持，那么Linux不会发展到今天。然后同样的像这个Kubernetes，如果没有Google的支持，它不会发展到今天。同样的PyTorch，如果没有Meta的支持，它不会发展到今天。类似的你还可以举很多很多的例子，像Spark它要有Databricks的支持。那么Wilhelm项目，它的体量已经达到了前几个项目的体量，就是它的历史意义已经很明显了，但是没有一个这样的公司在支持这样的项目。就是有一些其他的公司也会支持，比如说当时Meta在用Wilhelm，然后英伟达也用，AMD也用。那么他们更多是一个参与者的角色，他们很难做出一些战略性的决策。他们之间可能本来就会打架，因为可能Meta是AMD和英伟达的客户，然后他可能会说，我要做这样的事情，然后我要你们实现什么样的东西。那么社区里面其他的公司可能不会服务他们，所以很难在他们的领导下做这样的事情。所以Wilhelm项目的长期发展需要一家公司的支持，这个事情是非常明确的，我们也都是认同的。唯一需要我们明确的是，我们是否愿意来创立这家公司。那么这个事情其实是很难做决定的。这个我可以说一下我们几个人的各自的心路历程。就是因为创立一家公司，它的优点很明显，就是可以支持Wilhelm更好的发展，你们都能成为这个公司的创始团队，很好啊。但是缺点就是说，你需要承担很多原来不熟悉的一些非技术的任务。比如说创立一家公司，你要去学习融资，你要去学习招聘，然后你还要去考虑商业化。所以这里面其实是有相当大的阻力在里面的。

【嘉宾】我们就是要考虑到，我们其实都是学生团队，然后我们原来很舒适的那个区域，都是说来了一个技术问题，我们怎么拆解它，然后怎么把这个技术问题解决掉。那么现在要我们做的是成立一家公司，然后要把这个公司就是抚养长大的感觉。所以对这个路线的选择，其实就是困扰了我们两年吧。

【嘉宾】对啊，就是因为我说的老师多一个老师，他是非常明确地说，你们几个同学就应该开一家公司来支持伍佑。但是从24年就开始说了。

【嘉宾】其实我觉得他应该从23年就开始说了，只是23年的时候我还不在，然后这里面我们几个人的选择里面。

【嘉宾】我算是决定得比较早的。因为我24年还在伯克利交流的时候，我们已经有不少同学在硅谷创业了。然后我跟他们沟通的过程中，也是近距离观察了一下这些创业者的一些状态，也跟他们沟通了一下创业过程中遇到的问题，以及这个关键的选择，就是你是创业还是上班，对吧。然后也是跟一些投资人进行了一些初步的对话。最后我得出来的结论就是，即使创业失败，最坏的情况下，你也不过是少拿了几年工资。但是如果不创业的话，那么Wilm项目最终没有办法长期发展。所以我在24年年底离开伯克利交流的时候，我就已经下定决心要参与Wilm的创业了。当时因为其他几个人还没有定，我也不能自己一个人创业，所以我做的选择是我接了SkyLab的博士后的offer。我当时说的是，我会为Wilm的创业公司再等两年，直到大家出来一起创业，这么地义无反顾。

【嘉宾】还有一个故事就是，我当时快结束交流的时候，我也找了我本科期间交流的老师Michael Jordan老师聊了一下。我跟他说，我们现在做的Wilm项目势头很好，但是如果我去找别的工作，也会有很多人给我很多钱，然后做博后又非常的清贫，这个时候要怎么选。他跟我说，从他的角度来说，根据他过来人的经验，长期地看，肯定是要继续支持Wilm的。就是因为我跟他也合作过很多，也觉得就是过来人的保剑锋从磨砺出的一个历史经验，然后我觉得就是非常值得遵守。所以这个大概是我的一个心路历程，就是我觉得我们最终还是要创业的，然后现在只是时机未到，所以我就先等一等。

【嘉宾】不好说我是不是第一个，但我是比较早决定的。我们的CEO Simon也是很早决定要创业的，所以我说不好说我跟他到底谁先，但是我们都比较早地确定了。

【嘉宾】我觉得可能他更适合CEO。因为当时我们在维护社区的分工方面，他就已经展现出一些CEO相关的能力了，就是在管理整个社区，要跟大家进行一些沟通。所以我觉得明显他是更适合CEO的。也就是说为什么我不会一个人出来创业，因为我觉得人还不够。然后这个Simon，就前面说的，他本来也有一些创业公司的经验，他已经参加过一些创业了。所以他也认同杨立克老师的观点，其实我们都认同杨立克老师的观点，就是你必须得有一个公司来支持，我们才能够长远的发展。其实我们当时就在有意说，这个公司是不是我们来开。然后这个Simon他也在Character AI待过一段时间，所以他当时尝试过通过Character AI的帮助来帮助我们项目的发展。比如说从Character AI里面找几个人来维护，然后Character AI里面找一些机器的资源来帮助。但是最终还是发现就是没有办法靠别人，因为公司有自己的事情，你不可能把公司里面的人无限制地耗来做我们相关的事情。而且始终这不是我自己做出来的东西，我对它感情是不一样的。

【嘉宾】你很难说服公司的高层说，我有一个正经业务的公司，然后我需要全力来支持我们开源项目的发展。所以最后就是发现，靠别的公司是靠不住的，所以摆在我们面前的选择就是只有自己开公司。然后这个最摇摆的就是我们的CTO乌素同学。对啊，他是PagedAttention的作者，然后他可以选择的机会太多了，对吧。就是24年年初xAI刚创立的时候，其实当时马斯克就邀请他去参加Infra的建设，就是他如果去，他就是领导xAI的这个技术建设。那尽管说xAI现在失败了，团队散了，但是如果他当时加入xAI，那么他后来能够获得的财富，对吧，就是这个是一个天文数字。25年的时候Thinking Machine Labs创立，这个时候创始人又邀请他去负责基础设施建设。那后来这个Thinking Machine Labs的估值也是一路飞涨，所以说摆在他面前的这个机会，属于是太多太好了，所以他的犹豫也是人之常情吧。

【嘉宾】最后我们是怎么说动他的呢？就是晓之以理，动之以情，就是最后跟他说，你如果不跟我们一起创业，你赚到了很多钱，但是10年之后我们项目失败了，你是开心还是不开心？我们问了这样一个问题，然后他也想了很久，然后最后发现他的答案跟我们是一样的，就是你赚多少钱，如果我们项目失败了都不会开心。对，所以就是在这样的情况下，我们把这个我们三个最坚定的人搞定了，我才拉上船了。然后还有很多其他信念很坚定的合伙人，像这个Roger也跟我们一起做这个开源项目做了很多年。然后呢还有我们的founding engineer，就是说公司一创立的时候，他们就加入进来了。我觉得我们都是有一个共同的愿景吧，就是大家聚集在这个公司里面，然后我们都是想做这个AI时代的推理引擎，我们想为接下来的智能时代打好这个基础设施。那我们每个人其实都可以在这个市场上拿到一个很高的offer，但我们最终选择了创业这条路，就是我们希望把这件事情做好。

【嘉宾】然后其实类似的问题，一直持续到这个公司创立的前夕。就是我们准备注册公司的时候，某家顶级大厂的一号位知道我们要创立公司了，然后他就直接给我们打电话，然后说你可不可以不要创立公司，你来我们公司，然后我们可以给你们四个创始人年薪2000万美元的工资，每个人，对，每个人。然后说你可不可以来我们公司帮我们做我们的技术设施和推理。反正我们当时都已经坚定了，我们信念比较坚定，然后就直接爽快地回绝了，没有一个人犹豫。所以这也是我们这个创业的一点故事，所以我觉得就是我们公司创立之初，其实就已经是经受住了巨大的考验和诱惑，我们其实都已经是并肩作战很多年的一个老战友了。

【嘉宾】就是他去过一段时间。

【嘉宾】对，就包括他在Google、Google DeepMind也做过一段时间，就是他以学生身份，然后兼职的状态。所以我们当时是把他从Thinking Machine Labs拉出来的。

【嘉宾】李卓翰没有加入，是因为他毕业的比我们早，他24年就毕业了。那个时候他如果创业只有他一个人，因为其他的同学都是学生，然后学生是非常廉价的。

【嘉宾】比较困难吧，因为确实他已经在公司里面做了一些事情了，然后就是你把人家拉过来，需要影响到别人原来的团队，所以这个事情还是比较困难。然后乌塑格同学还没有陷入太深，就是我们觉得还有机会拉回来。

【嘉宾】因为我决定的比较早，所以我前面说我接了Post-Talk的offer，所以我其实没有看其他家的offer。就是我跟大家聊都是在说你们用VM然后怎么用的，然后大家一起看看怎么合作，没有跟他们说你要不要我去你那儿工作，然后你给我多少钱。

【嘉宾】推理过，但是还是那句话，就是我们觉得VM项目比较重要，我们都想做成它，这是同样的一个问题。我们四个人吧，就是卓汉、屋苏格、萨蒙和我，我觉得答案都是一样的，就是如果我们自己赚了很多钱，但是为我们项目失败了，我觉得我们都是会后悔一辈子的，所以我们都比较坚定，就是要把这个公司开出来。

【嘉宾】对，就是包括这个Simon、Wusuk、我和这个卓翰，然后还有Red Hat的一些同学。

【嘉宾】我们是有一些例会的，就比如说我们几个决策的同学可能每周要碰一下。然后这个committer我们可能就碰的不会那么频繁，我们更多是在一些channel里面去聊，大概是一个就是每周可能碰一次。

【嘉宾】引擎的独裁者，对。引擎的独裁者就意味着有些时候你需要对方向进行一些取舍，就是不能够做一个老好人。那这里面比如说，我做的比较强硬的一个选择，就是基本上把一个叫做beam search的功能从引擎里面删掉了。这个其实持续不断的有人会来跟我们抱怨，尤其是做推荐系统的同学，他们的经验是他们觉得beam search在他们的场景里面比较重要。但是我们从这边看到的情况是，大模型的推理，我们主要的workload，它的推理形式已经不再适应beam search的这种算法的发展了。所以beam search的算法如果我们持续要维护它的话，只会给模型和推理引擎的适配带来越来越多的复杂性，不可维护。所以我就把它删掉了。

【嘉宾】其他的，我觉得就更多是在一些支持的优先级上面了。因为项目这么大，你最重要的事情就是定好优先级，那么你需要支持什么，以及不需要支持什么，不想支持什么。那么比如说，我们现在支持的优先级明显是在大模型上面的。那么很多非常小的模型的支持，我们就没有把它列为高优先级的事项。比如说几百兆的模型，其实推荐系统里面有些人是在用的。那么现在我们给他的说法是，你可以用我们，但是如果你有这方面的性能优化的需求，我们并不会接。

【嘉宾】对，我觉得最大的挑战就是刚才说到的，就是你要梳理事情的优先级，要做什么，更重要的是不做什么。然后当一个项目有2000多贡献者，尤其是最近今年Coding Agent的发展的特别火，所以贡献代码这件事情已经变得非常简单了。所以我们在作为项目管理者的时候，我们最重要的要做的事情，是要屏蔽这个噪音，要找到真正值得做的这个事情，然后引导这个社区往这方向发展。这里面有一个数据，就是2025年的时候，GitHub发布过一个统计数据，就是按照贡献者的活跃度来排序，vLLM是整个GitHub上面最活跃的项目。一方面我们也很荣幸，另一方面其实这个也给我们带来一些我们叫做幸福的烦恼。比如说今年5月份的时候，我们发现部分培训机构通过提交垃圾代码的方式来包装学员的简历。就是它提交一个没有什么用的PR，然后想要合并到vLLM里面，然后它就可以在学员的简历上说我是vLLM项目的贡献者，然后希望通过这一点提高学员的简历通过一些面试的概率。这个其实对我们来说是一个非常大的变化，就是它彻底打破了我们对于开源社区的用户都是善意的这一基本假设。所以我们现在就只能引入一些认证机制，比如说我们会更多的重视来自一些知名机构的贡献，我们会忽略甚至拉黑一些看起来就很像机器人的账号，比如说它10分钟之内给你提交了20个PR。

【嘉宾】这种人一定是机器人，没有任何的人力的参与，就全都是coding agent。我们叫做AI Slop，就是完全没有营养的东西，所以你可以放心地把它block掉。所以我觉得随着这个AI和coding agent的发展，未来的开源社区的演进方向，它会更多的掌握在机构和这些重要的贡献者手中，一些个人贡献者他能做的事情其实会变少。就是整体上来说，代码变得如此廉价，以至于维护者他花时间去看别人的PR，不如说他自己来让coding agent再写一遍，然后他自己还有更多的context说我想让coding agent怎么写。所以我觉得以后开源社区会更加的重视反馈，那么社区它会变成维护者和用户这两个部分。用户你就只需要提交bug report或者feature request，你只需要说你用的过程中遇到什么问题了，或者说你有什么其他的想用的东西，你就不需要贡献代码了，然后只需要维护者自己来贡献代码就可以了。

【嘉宾】我觉得这个是开源社区的整体的演进方向，就是coding agent的发展，尤其是今年在写代码能力上的突破，确实是远超我们预期的。所以这个对于很多开源项目的维护都造成了类似的问题。这个就是PyTorch的一个核心维护者叫做Edward Yang，然后他也写了一个类似的博客，就是说我们现在已经没有精力去看大家的PR了，所以与其花时间去看别人的PR，不如我自己重新写一遍。

【嘉宾】OpenClaw感觉已经变成了纯AI治理的方式，就是AI提交PR，然后AI来审，AI来合并，已经变成了一个AI自治的社区。虽然这个社区它接下来演进的方向是好是坏可能不是很好说。

【嘉宾】我们这个地方还是很难让AI完全自动化的，还是需要我们很多的参与者有历史的insight在里面。然后我们做的很多事情其实它不是来解决现有的一个问题，它很多时候是解决接下来将要发生的问题。比如说我们要解决，我们要支持接下来三个月内要发布的新模型。所以我们在维护代码的时候，我们不只是看它如何支持现有的模型，我们脑海里还必须想着接下来三个月支持的模型在这些代码里面怎么支持，以及包括接下来半年、接下来一年要推出的这些新硬件要怎么支持。所以我们这个项目维护的过程中，必须是带着大量的个人的context去做的，所以这一部分目前还没有办法交给AI去做。

【嘉宾】对，就是创始团队需要在这撑着。如果这个主要的团队的主心骨发生了变化，那肯定需要会有一个阵痛期，就是它需要转型，它需要适应，所有的合作伙伴都需要去适应它的新的领导。

【嘉宾】我觉得换过领导之后，这个项目基本上

【嘉宾】我觉得coding agent的发展给大家带来一个虚拟的假象，就是觉得好像所有的软件都变得很容易写。但其实有一些顶层的系统设计，包括长期的维护，还是需要人来设计的。我觉得AI它可以帮我们走完90%的路程，但是还有10%的关键的画龙点睛的那一部分，是需要人来提供支持的，需要提前预判顶层设计。

【嘉宾】当然我觉得第一重要的就是，这个开源项目它确实是在解决一个大家都关心的问题，这个是最根本的。如果你解决的是一个没多少人关心的问题，这个项目它就长不大，这是一个根。

【嘉宾】然后第二点就是，有了这么一个重要的需求之后，那么能不能撑起这样一个项目，这背后就涉及到刚才我们说到的，需要有一个创业公司在背后运营这个项目，去组织这个项目，所以这也是很关键的一点。然后我觉得就是像这个创始团队持续在推进这个项目，这也是很重要的一点。然后我觉得就是有了这些天时地利人和，然后就是把这些事情持续推进下去。

【嘉宾】他还是我们之中比较偏技术的同学。因为很多历史上的技术角色都是他做的，所以他来做的话，会有比较好的延续性。所谓根正苗红，他可能是那个根，就是第一个人。

【嘉宾】对，我觉得这个对于社区的号召力也会有比较大的影响。

【嘉宾】我觉得这些还是有比较多的例子的。尤其是一些开源社区没有公司在背后支持。比如说很多历史上的很著名的项目，其实都是有几个人在艰难维持。比如说像这个OpenSSH，这个其实是大家都要用到的一个计算机的基础设施，就是一个SSH的加解密。那么他的维护者其实就只有那么几个人在自己维护。然后呢，这个事情是直到大概十多年前出现了一次事故，就是他的一个漏洞被人破解了，导致可能全世界都在裸奔，就是你的密码可能大家都能看得到。除了这个事情之后

【嘉宾】对，我们提前做了这个事情。而且就是 Berkeley 这边的历史渊源表明，只有有这样一个创业公司在背后支持，这个项目才能够健康地发展。

【嘉宾】对，我觉得得是一个创业公司。如果是一个大厂的话，他很容易带来这个大厂原来的一些偏见或者说立场，那这个时候他很难去融合这个社区，就是可能有别的大厂不服他，所以说所有人不会跟他一起走。那么这个创业公司又是这个项目的创业团队，然后在社区里面带着大家一路风风雨雨这样走过来，那我觉得他的号召力包括他的中立性、公正性，大家都是比较认可的。所以我觉得这样的项目可以比较 promising。

【嘉宾】那样的时刻，我觉得就是 Qingsong 老师告诉我们说，这个公司再不成立，这个项目就要完了。几年几月几日可能找不出一个具体的时间吧，但是应该是 25 年左右的时候。因为 25 年左右的时候，我们做的一个主要的任务是大模型的大规模集群级别的部署。那这个时候我们其实遇到了很多问题，一方面就是说人力资源的问题，就是我们在以开源社区的方式运作的时候，参与这些事情的人都是不确定的，人来人往的，有些人新加入，然后有些人离开，那么这个事情是没有办法支撑你。然后另一方面就是这个法务上的问题，就是我们跟很多公司合作是有些保密性的，因为我们经常做很多新模型发布之前的支持，包括新硬件发布之前的支持。那么在这个过程中，对方法务经常会要求说你需要有一个我们叫 NDA，就是保密协议。这个保密协议谁来签？这是一个很尴尬的问题，因为开源社区它不是一个实体，所以对方的法务经常就会说你背后是哪些人在做这个事情。然后呢，他可能还会需要检查说，你这次来做的是这些人，下次来做的可能是另一些人，那么这些变动的人里面有没有我的竞争对手，我是不是要对他进行做一些背景调查，才能够允许他来接触这些信息，对吧。这些其实都是一个开源项目没有办法完成的事情。然后呢，除了人力资源之外，还包括这个机器资源的问题。那么我们做大模型的这个大规模部署，其实在 24 年的时候，这个事情为什么没有这么突出呢？因为那个时候模型还比较小，然后呢你搞到一台机器，单机单卡的就可以做很多事情了。那么那个时候也有一些公司比较热心慷慨地给我们捐赠了一些机器。但是到了 25 年的时候，因为整个的规模上去了，我们要做的很多优化都必须是集群级别的。那我要别人给我一个集群的时候就很困难了，就是他给我一台机器已经是顶天了，就是他能支持的最高力度。然后呢我们这个时候为了做一些这个集群级别的优化……

【嘉宾】我们就只能去各处祈讨。然后呢我可能首先需要花一个月的时间劝对方说给我这些机器，然后呢我拿到了这些机器之后，我需要马不停蹄地规划说我今天要做这些事情，明天要做那些事情，因为可能我这些机器一个月之后就到期了。然后呢对方给我这些机器也不是一个有保障的事情，他们内部如果有一些紧急项目，他是不是接下来比如说我一周里面我一三五我可能要自己拿过来用，然后呢二四六给你用，甚至可能紧急通知你说接下来一个小时我马上要用，对吧。所以这些事情就给我们带来很大的阻碍。所以我们二五年其实我觉得说实话我们做的很不错，那么这些事情就导致了我们已经很明确地看到，就是没有一家公司的支持，这个项目已经无法继续往下发展。

【嘉宾】对，整个项目的这个情况是已经不得不需要一家创业公司了，然后我是一直在等着这个创业公司。所以我一直是在内部呼吁说，我会不停地说，你看我们现在又遇到这个问题了，对方又找我们来签NDA了，我们现在签不了了。然后我们要是有一个公司多好，然后我就在不停地说这样的话。然后最后也是二五年的时候，因为刚好大家都那一年毕业，所以我们最后就说那真的开个公司吧。

【嘉宾】Simon跟我是一样的看法。

【嘉宾】对呀，就是她下定决心就是我们……不然她那个问题。对，我们找她就是逼宫了，就是说你如果不做，我们自己；你自己想一想，如果你不来的话，导致我们项目失败，虽然你赚到了很多钱，但是你会不会快乐？然后对，就她想了几天，然后最后回来了，她当场没有给出答复。

【嘉宾】可能是快到七八月份、八九月份的时候了吧。然后到年底就开始成立公司。

【嘉宾】我觉得这部分还是比较顺利的，因为硅谷的VC对我们整体是一个期待已久的状态。就是虽然我们决定成立公司是在二零二五年的年底，但其实他们二三年、二四年的时候就已经在跟我们接触了，而且那个时候就已经在给我们这个开源项目提供资金了。所以我觉得这里可能可以重点讲一下，比如说像a16z，他们在二三年的时候就给VM项目提供了一笔资助。

【嘉宾】对，这个是资助，是单纯资助给开源项目发展。

【嘉宾】当时应该是几十万美元的级别。对，然后呢这个像二四年的时候，SOSV和真格这两家也都给我们这个以开源社区的形式给我们捐赠了一笔钱。所以他们其实很早就注意到了我们，而且也跟我们一样认可，就是VM是一个很重要的项目，所以他们愿意投入一些早期的资源来支持我们。当然他们也是说，就是如果我们创业的话，那肯定是大力支持我们。所以当我们把这个最终的消息说，我们几个人最终决定要创业了，我们要有一家公司，那这个时候我们再去找他们的时候。

【嘉宾】他们其实都比较爽快地说其实我钱已经准备好了。

【嘉宾】对，他们一直在等我们其实。对，所以虽然这个我们种子轮融到的这个资金比较多吧，但整体上还是投资人在主动找我们要投资的阶段。就是我们即使种子轮融完之后直到现在，其实也不停地有人在说我这里有很多钱，我可以直接给你们就是几千万美元的这个SAFE，都可以直接给你们，然后你们下一轮融资的时候把我们考虑进去。但是我们现在还是一个谨慎乐观的态度吧，就是我们希望把这个融资和公司成长的速度相匹配，就是我们不是为了融资而融资，不是说现在有钱我就要去拿。更多是看我们这个公司现在发展到了什么阶段，然后需要把钱拿来做什么事情，然后再去看下一轮融资。

【嘉宾】没有做过横向的这个历史的对比，但应该确实是比较大的吧。

【嘉宾】核心还是我们在这个生态里面的地位，就是当你去看这个开源模型生态的时候，每一个模型的发布背后都跟着vLLM的支持，每一个芯片厂商都会主动来靠近我们说他希望得到vLLM的支持。那么这背后的市场其实是一个多少Billion的市场，所以其实给我们的投资相比于我们产生的价值来说，我觉得并不算多。

【嘉宾】对，就等我们要做这个事情。当然如果我们不做，可能有其他人来做，但是不一定有我们这么好的站位。

【嘉宾】确实，但是这个可能就属于马后炮了，以及再往前面一些时间其实我们也没有那么多时间，就是我们比如说在准备一些毕业什么的事情，然后也没有时间来做这些事情。所以更多是在像7月份我毕业了，然后秋季学期乌素格和塞曼他们也都快毕业了，所以刚好是这么一个时间点吧。其实我已经是在不断地催促说我们该创业了。

【嘉宾】对，就是为了等他们创业而接的博士后，所以我一直在不断地催促说我们应该创业了，再不创业又有一二三四五这么多条问题。

【嘉宾】杨斯多一克老师是我们的创始人之一，然后他现在属于一个advisor的角色，就是一些重大的战略决定我们都会问他，因为他有很多的创业的经验。他包括他是Databricks的创始人，然后也做过像最近的LM Arena，所以他对整体的行业的水温都比较了解。所以他会给我们一些建议说这个阶段这个公司我们现在该做什么事情了，接下来该做什么之类的，所以他给我们一些high-level的一些建议。然后我们主要创始人这个四个人里面，就是更多的还是有什么事做什么事吧，有技术的就做技术，就做非技术，然后看谁有更好的context来handle这个事情。比如说有一些公司原来是我对接的，那么对方再来找到对接那就我出马，然后有一些事情原来是像乌素格在做的，那么现在这个事情需要继续往下推进那么就他去做。所以我觉得我们四个还是比较四位一体的状态，我们四个人可能是同样的一个共享一个大脑，然后只是需要谁的时候谁出马。

【嘉宾】对，我们四个一起吧，还是仁慈独裁者，四个一起。然后因为我们四个人做的事情没有那么多overlap，就是各自有各自的这个之前负责的一些东西，所以说肯定就是这个方向如果是你负责的，然后你又意见比较坚定的话，那你就做就好了。

【嘉宾】我觉得没有，就是这个事情对于社区来说是一个好事。因为他们其实也都在期盼着我们开公司，就像刚才说的，我们跟很多合作伙伴合作对吧，那么对方想要我们签保密协议，那没有公司的话签不了，有公司之后，我们可以跟对方签保密协议了，他们的法务也很开心。然后还有就是有些公司，就刚才说到的一些算力的问题，那我们之前合作的时候，经常会对对方说，我们合作一起做这个事情，你能不能给我们一些算力支持。那对方也很尴尬，就是因为公司里面的算力都在公司内部，它很难给我们公司外部的人支持。那最多就是，可能像刚才说到的有一些公司给我们提供一些资金的支持，但是我们要去买，比如说这个资金放在谁的口袋里，都是一个问题，不能直接放在个人的口袋里。然后你去买一些东西的时候，比如说买算力的时候，那对方可能也会要求一些资质的证明，你是不是一家合格的公司，对吧。所以说这些东西，其实在我们成立公司之后，都得到了很大的缓解。而且我们有了公司，有了人力资源的支持，有了硬件资源的支持，我们可以把很多原来做不好的事情做得更好。那比如说我们可以招聘更多的人来支持我们项目的发展，然后我们也可以有更多的机器的资源，来验证我们原来验证不了的事情。所以整体上来说，对社区来说是一个非常大的促进。社区对于一个开源项目的意义，它并不是说它能够在这个项目里面能够写多少代码，或者说它在社区里面说话有多少人听，更多的是说这个项目能不能给它带来一些收益。比如说新模型发布的时候，这个项目是不是又能够支持了，然后新硬件发布的时候，这个项目是不是又能够支持了，然后一些新模型、新的推理引擎特性的发布的时候，这个社区是不是又能够支持了。所以他们更多是一个从用户的角度来看这个事情。那么我们公司的成立，对我们项目的发展，尤其是对用户来说是一个很好的事情，因为这个项目现在更有保证了，然后各方面也发展得越来越好了，所以他们都是非常支持我们做这个事情的。

【嘉宾】我们不接这样的商业客户。我们现在是供少于求的状态，就是我们能支撑的商业客户，远远小于想跟我们做商业合作的客户，所以我们可以非常爽快地拒绝我们不想做的事情，所以我们目前做的事情，都是跟社区发展一致的事情。

【嘉宾】主要是我们四个在公司里面决策。

【嘉宾】PyTorch 基金会，所以就是他在我们项目的日常的管理过程中，就是他不参与技术管理。所以我们目前主要是可能每一个季度会向 PyTorch 基金会汇报一下这个项目做了什么，然后其他的没有很多别的了，他只是一个象征性的意义我感觉。

【嘉宾】他作为一个持续的开源项目来存在。

【嘉宾】就是他是那一道保险杠，保证这个项目他不会闭源。

【嘉宾】然后具体的技术都是我们自己在做。

【嘉宾】没有。因为如果我们想做闭源的话，我们就可以自己去找家公司做了，就是我们觉得这个开源推理引擎，它是很重要的事情，而且需要坚持下去。

【嘉宾】对，这个起名字是一个相当困难的事情，我们为此讨论了好几天。然后最后起名 infract 也是因为我们公司主要做的事情是想做 infra，所以就有一个 infra 在里面，然后配套了一个，我们希望是 bring infra into action，就是把推理做到行动里面，让它真正的跑起来。

【嘉宾】十年后这是一个相当长的时间了，我们已经很难预测AI会发展到一个什么样的程度。但我们的预期就是Infrax希望能把大模型推理这件事情做到一个基本解决的状态，就是大家想起推理，就会想起vLLM，然后想起Infrax。

【嘉宾】商业模式的话，我们整体还是围绕大模型推理技术和vLLM的生态，然后一边建设vLLM的生态系统，一边去做商业化。所以我们在探索好几种商业模式，比如说我们公司可以有机器，然后有软件，我们最后就给大家提供一个叫做endpoint service，对方只需要直接从我们这里用token就可以了。我们也可以在探索一些像我们叫做BYOC的模式，就是客户有机器，然后我们提供软件，然后我们产生token，可能是给你内部自己用。然后也可以是一些纯生态合作伙伴类似的探索性质的，就是我们跟一些战略性的客户一起去探索这个怎么把vLLM的生态建立得更好，这方面也可以有些商业合作的机会。整体上来说我觉得就是我们希望做到一个按量收费的状态，就是我们不是技术外包，我们不是在售卖我们工程师的时间，我们产生的价值取决于我们为你多产生了多少token，为你的这些机器又节省了多少成本，所以这个是我们一个整体的逻辑。

【嘉宾】我们现在公司大概30多人，接近应该快到40了，我们还在持续的招人，再从一个像社团的一个组织变成公司这样的组织的过程中。

【嘉宾】我觉得公司确实还是挺不一样的。就是我们之前在做开源社区的时候，一个很困难的事情就是你没有办法从上到下的去强制推进一些事情，就是你没有办法去规划，因为这些参与的同学他们都可能有自己的工作，所以他们不是全职在做这个事情了。他们可能内部有一些其他的比如说紧急的事情，那么今天就来不了了。所以我们只能是一个best efforts，或者是一个许愿的状态，就是我求求大家这周把这个做完吧，对吧。然后现在我们有了公司了，就是这些同学都是我们的全职员工了，对吧，然后我们也有专门的资源可以去推进这些事情了。那么我们可以引入更多的计划，我们说我们这个季度要完成什么事情，然后分给这个小组，你这个小组你接下来这一周应该要做什么事情，就是我们可以有更多的计划。

【嘉宾】就是我们几个创始人之间，就是每天都会同步一下一些相关的事情，所以我觉得关系应该还是更紧密了。就相比于之前开源社区的时候，大家可能像同学，对。然后开源社区的时候，可能沟通还没有这么紧密，因为那个时候可能大家都是松散的组织在一起的状态。然后现在大家是为了共同的一个目标去奋斗，然后大家可能都需要看这个公司里面发生了什么事情，然后大家需要一起来解决。

【嘉宾】今年的规划，我觉得目前还是在聚焦这个开源大模型推理的生态方面。那么包括接下来即将要发布的一些下一代的这个推理引擎，包括这个下一代的模型、下一代的硬件，怎么样做到更好的这个推理，然后包括针对下一代的这个复杂场景，就是大家怎么去用这个token的这些东西。我觉得我们需要用开源的vLLM给出一份满意的答案。

【嘉宾】我们现在很多人把这个token比作电力，对吧，然后我觉得可能可以从这个比喻开始吧。我们可以把硬件就想象成这个自然资源，就是你比如说不同的地方，它有这个不同的风力和不同的水力，还有这个光伏太阳能，然后呢，模型我觉得可以把它比作是一个发电机。那么有这种大风车的风力发电机，也有太阳能的那种光伏发电机，也有这种机械式的水力的发电机，然后推理引擎就可以把它比作是电力系统。那么它把这个模型跑在硬件上，然后再把这个token发送给用户，分发到这个千家万户。那么这里面的co-design的程度，它其实就决定了它的发电效率。那么比如说有的地方水流比较湍急，有的地方水流比较平缓，那你在这两个地方怎么样去设计你的发动机，使得你的发动机能够更好的利用这部分能量，这个就是所谓的这个模型和infra的co-design，就是在同样的自然资源的情况下，配上可能不同的发电机，然后它有不一样的发电效率。

【嘉宾】我觉得要讲清楚这个事情的话，可能就要讲清楚一个概念叫做Hardware Lottery，就是硬件彩票。这个也是这个，应该不是David Patterson，是另一个学者写的，就是他说的是，在几十年前，还是摩尔定律比较有效的时候，那个时候其实软件和硬件的发展，基本上是一个各司其政的状态。那么你写软件的人，你其实不需要考虑那么多硬件的特性，因为硬件的通用性能，它每隔两年就翻一倍，然后软件的性能自然地就会跟着变快。但是现在的问题就是，摩尔定律的那个黄金时代已经结束了，就是你没有办法再通过制程，然后得到通用性能的提升，所以现在其实已经进入了一个专用时代。就是因为黄经常说这个黄氏定律，就是说你的算力可能你每隔两年又会翻几倍，但是这个算力它其实都是专用的算力，就是它没有办法做到通用。那所以如果你的这个算法没有利用到这些专用的算力，你就没有抽中硬件的那个彩票，你就吃不到这个时代的红利。

【嘉宾】比如说我觉得就是，这个深度学习非常自身的Hinton老师，他当时强推了一个叫做Capsule Network，那个东西就是他觉得从概念上非常make sense，但是那个东西在GPU上不友好，所以它得不到广泛的应用，或者说至今他没有得到广泛的应用。如果他需要得到广泛的应用，可能需要一个专用的硬件。所以说就是模型的结构，它决定了推理效率的一个上界，如果你的这个上界太低了，那系统工程师就无力回天了对吧。你已经做成这个烂样子了，那他再优化也就这个样子，所以你必须得把两者结合起来看。

【嘉宾】对，可以这样说，因为它非常适合并行，这个并行指的就是它里面有大量的这个矩阵乘法。

【嘉宾】理想情况下这两个肯定是要协作的，但是实际情况是，因为硬件它已经造出来了，所以很多时候是算法需要去学习硬件的发展。当然硬件一旦走错了，它就几年的时间它就走错了，这对硬件公司来说是一个巨大的挑战。所以它需要不断地踩着时代的脉搏，去压注下一个有用的硬件长什么样子。但是一般来说，还是算法和模型结构适配硬件适配得多。

【嘉宾】一个比较著名的例子，我觉得可以说就是RoPE，这个叫做旋转位置编码。Transformer出来之后，说位置编码这个事情，我觉得你少时候可以找到上百种位置编码的这个实现，但是它们其中很多的实现都需要修改其中核心的attention的实现。就是你的位置编码变了，那么你的attention kernel需要重新写，比如说一个叫做ALiBi的技术，它是Attention with Linear Biases，所以它就没有得到广泛的应用。那RoPE流行起来的一个很重要的原因，就是随着训练长度的提升，那么大家需要位置编码，然后同时又FlashAttention。

【嘉宾】解决了训练长度的问题，所以Flash Attention就变成了一个训练必须的东西。然后在这个时候，你的大部分的用户是没有办法，就没有那个能力去修改Flash Attention的。所以这个时候大部分需要修改Attention内部实现的位置编码就被干掉了，就没有人去尝试了。而ROPE它的好处在于，它是一个绝对位置编码，就大家希望是一个绝对位置编码，但它同时又是一个相对位置编码。但是它是一个以绝对位置编码实现的方式，所以它有非常良好的性质。而且它是可以把它独立注入到Query和Key里面，它是独立在Attention之外的，你可以在Attention之外独立地做这个ROPE，所以它跟Attention是互补的，所以它就变成了一个最佳搭档。所以说就是模型结构设计的好，那么它就可以跟Infra有一个Co-design，就是一个共鸣的效果，就是大家可以互相提高，能够有一个更高效的实现，那么你的整体的训练推理效率都会提高很多。

【嘉宾】对，我觉得就是DeepSeek的Infra团队，我觉得可以说是全球顶级的这个团队，是不是第一我不好说，这个可能见仁见智，但是绝对是顶级的。然后Infra的能力强，也就能够高效实现的模型结构就更多，所以他们的算法研究员就可以更快更充分地去探索各种选项。然后这里面我觉得还有一个，就是他们的算法同学其实也都是懂一部分Infra的，比如说在24年年初的时候，就是当时DeepSeek探索MoE，就是DeepSeek MoE的一波，那么其实是DeepSeek的一个算法同学写出了这个MoE的，当时还是比较粗粒度的MoE的一个比较高效的实现。所以他们其实在探索MoE方面，Infra探索了很多，然后包括后面这个细粒度MoE，也是他们在推理系统里面第一个做出来的。所以说Infra的能力，对于DeepSeek同学的这个算法探索起到了非常重要的作用，同时他们的算法同学也会学习Infra的知识，使得自己的算法设计能够更对Infra友好。

【嘉宾】我觉得招人的时候如果能招到既懂算法又懂Infra的同学，这个肯定是非常好的。然后后期的组织结构上面可能确实一起办公会更好一些。比如说一起办公的同学，大家日常的讨论，对吧，这个Infra的同学每天讨论的是什么事情，那么算法同学耳濡目染的也就知道了，原来我有这样的一些东西要考虑；然后算法同学一些日常讨论，Infra同学也是耳濡目染的，就是会有一些潜移默化的影响。对。比如说如果Infra团队太主导，它有的时候也会忽略到算法上面的一些事情。比如说MoE里面，那么就曾经出现过一些Infra同学为了MoE的均衡而选择了Expert Choice的这个事情，那么这个事情在算法上面其实是不能被接受的，但是在Infra上面你可以让它跑得很快，所以这也是一个Infra和算法过度倾斜到Infra的一个例子。

【嘉宾】我觉得很多公司里面是算法的话语权更高一些，然后Infra很多时候是一个被动接收的状态。对。

【嘉宾】就是DeepSeekSparse，它是一种新的投机解码的方法。因为自回归的建模的大模型，它的推理整个就分为预填充和解码两个阶段。那么预填充它是处理用户的输入，然后解码阶段它是处理模型就是自己在输出。然后因为它是自回归的，所以你模型解码阶段只能一个一个token的生成，这个效率比较低。然后投机解码它就是说，我根据当前的输入，一次性的猜测我接下来要生成的几个token，然后把解码的过程变成一小段的预填充的过程，那么它一次性可以处理多个token，就可以提高处理效率。

【嘉宾】在DeepSeekSparse提出之前，业界其实已经研究了很多的投机解码的方法，比如说常见的EAGLE，以及同样是DeepSeek提出的MTP的投机解码，他们的特点就是猜测的长度比较短，一般可能就猜测3到5个，但是接收率比较高。DeepSeekSparse的技术路线属于是DeepSeek Flash的系列，那这一部分我们其实最近几个月也都一直在关注，所以DeepSeekSparse它不算非常吸引的内容。DeepSeek Flash路线的特点就是它一次性会猜很多个token，比如说16个token。那我们vLLM和NVIDIA其实最近刚刚发布了一个技术博客，就是在介绍vLLM里面的DeepSeek Flash的支持，这样的话可以对某些模型达到每秒上千token的速度。DeepSeek Flash的缺点就在于它猜的token很多，但是它猜错的也很多，所以它模型验证过程中存在一个算力浪费的问题。DeepSeekSparse对于DeepSeek Flash的改进就是说估计一下这些猜的token里面哪些是准确的，哪些是不准确的，然后大概率不准确的token你就不要再去验证了。所以比如说模型猜测了16个token，那你简单统计一下这个模型最后输出的一个置信度，可能发现只有前8个token是准的，那你就只需要验证前8个token就可以了。所以说DeepSeekSparse大概是延续的路线，再改进DeepSeek Flash。

【嘉宾】DeepSeekSparse对我们来说其实并不意外，就是因为我们已经做了几个月的DeepSeek Flash相关的优化了，然后DeepSeek Flash的这个接收率的问题，也是DeepSeek Flash的研究圈子里面的一个共识。然后像在DeepSeekSparse提出来之前，腾讯的元宝团队其实已经有发布了一个Decard工作，然后上交的同学其实也有提出一个叫做Domino的工作，都是通过类似的思路来解决这个问题的。所以说你说DeepSeekSparse在算法上面有多么normal，我觉得并不能算很normal。

【嘉宾】那我们跟DeepSeek团队、跟腾讯元宝的团队也都有很多的沟通，大家很快也会看到元宝里面支持这些算法。但是就是创新性是一回事，然后能不能把创新的想法扎实的做出来又是另一回事。我觉得DeepSeekSparse是继承了DeepSeek一如既往的非常扎实的Infra的基础，把这个推理优化压榨到了极致，这也是我们在跟他们学习的一点，就是怎么做到更好的推理优化。

【嘉宾】然后其实这个也是另一点，就是算法跟Infra co-design的部分，就是有没有一个好的推理引擎上的实现，是决定一个投机解码算法能不能大规模使用的一个关键。那DeepSeek的推理引擎团队非常强悍，所以也为这个算法团队研究投机解码提供了更大的探索空间和更多的反馈。这刚好是一个co-design的案例。

【嘉宾】那Infra应该还不错吧。我觉得应该不懂AI Infra，他们团队里面当然有一些懂AI Infra的同学，因为你开出很