146. 对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

【嘉宾】确实我们不做人性，因为他没有说做人性，我又不来了，你知道吧？我其实一直很想做的就是机器人可以造自己。我觉得这个是机器人发展的一个可能会是一个里程碑，因为它就像一个种族是有延续性的，是可以通过自我的一种繁殖。我觉得机器人能够组装造自己就是一种繁殖的体现。第一篇是π0，它的关键词应该就是能力。第二篇是π0.5，它的关键词是泛化。然后最近的这篇是π0.6星，它的关键词是表现。

【嘉宾】我觉得都很关注，这是一个不可忽视的一个部分。

【嘉宾】大家好，我是柯利一鸣，平时朋友都叫我K，我每天平时的工作是教机器人能够更快更好的去完成任务。然后业余的时间，我是非常喜欢人文、艺术这些东西。写小说也是一种可能表达这种情绪的方法，很高兴今天能有这样一个机会，梳理一下自己在研究中的想法和大家分享。

【嘉宾】我觉得都是有一些创造力的需求的。比如说这个机器人他现在完成很多任务还不够好，你需要想一些新的方法。而且小说可能你真正想写的故事还没有被写出来，你也是需要把它创造出来。很多时候需要一些比较天马行空这样的想法。另外也是有一种执行力，像我在做研究过程中，其实经常是有了一个想法以后，慢慢的把这个想法落地，中间需要一些工程、写代码这样的事情。而且小说有的时候是有了一个命题，为了让读者感受到这个命题，开始一个字一个字的在那里码。

【嘉宾】平时写的比较多的是科幻小说，这个也是我最爱读的小说分类之一。科幻小说的话，我觉得肯定是和我们现在生活的硅谷现在的时代有一些关系，因为我在科幻小说中，比较痴迷的一些类型都会涉及到两个命题。第一个是生产力变化以后，人们的生活是怎么改变的。第二个命题是在和我们的社会风貌很不一样的这种未来科幻社会里面，人之间的关系是怎么样的。因为我觉得在第一个命题上面，可能科的工作会更相关一些吧。工作时候就经常会考虑到我们做这些人工智能的研究，做这个机器人是一种自动化。如果你能够把很多现在人做的事情给自动化的提升一下效率以后，人去做什么样的事情是一个其实每天都会想的命题。第二种可能是因为我觉得人与人之间的关系是一个自古永恒不变的话题。在写小说过程中，你可能也会去读别人的小说，也会和几千年前的这些生活在不同世界的人他们的一些思想产生共鸣。我觉得应该是有一些人性之类的东西，即使是在生产力大幅度变化的未来科技社会也会流传下去。

【嘉宾】我觉得这是一个正在梳理中还没有一个很确切的结论的话题。因为一谈到人和人的关系，我是一个相对而言比较内向的人，你可以从每一个人不同的研究风格中稍微感受到一些。我觉得我的研究风格的话，很多时候是我先想把自己埋在一个洞穴里面，先埋头撕一会儿。但是为了不要变成一个闭门造车的人，你肯定还是要把头从这个土里拿出来，然后去到这样的场合和别人去交流，去碰撞一下思想。然后接下来真的定下了一个命题以后去执行，这个执行我一直觉得，以前的话我在PhD期间读博期间是一个比较独狼的一个玩家。你想要去实现的，说干就干，中间遇到了什么问题，我们可以自己去上网去探索、去学习，我们可以通过提升自己的技能，组织一个比较小的队伍去解决这个问题。而从读博毕业以后，加入到了这么一家初创公司做机器人的通用智能的大脑，一个比较深切的感受就是，有一些事情是得在一个团队的协作中才能完成。之前读博的一种项目可能它的规模是比较小的，要解决的问题也是比较具体的，而现在为了要做成这个通用的大脑，你是需要团队中每个人都在自己比较擅长的事情上发挥作用，所以是一种就是为了完成一个任务，要大家齐心协力。这中间的很多人与人之间的关系联系，会比我之前那种可能要紧密一些。同时呢，我先想，如果生产力变化以后，因为最近硅谷不是有很多这种cloud code，可以自动帮你编程的这种小工具。人与人之间的关系好像又可以不用那么紧密了，因为有的时候我与其是去问，我现在要做的这个项目需要用到某一个模块，这个模块的负责人，我去直接跟他说一下我们这个是怎么回事，问他可不可行，我干嘛不直接问这个cloud code呢？我可以通过就是和这个AI的一个智能体的交流，把以前我需要和人交流的这个方面给它拿掉了，就是减少了我对这个的依赖。甚至包括我们现在很多自己的工作流程，也是一个人掌控着三四个agent，然后让agent去干很多活。这个有一些改变了团队协作中的中间人与人之间的关系。

【嘉宾】没错。

【嘉宾】没错。我觉得这个关系就是有我在构思一些小说的时候是会受到这个关系的启发。

【嘉宾】比如说一个想法是说现在在一个比较信息爆炸的时代，我觉得现在可能已经有人是这样子了。信息爆炸的时代以后，以前你的很多信息就是我一个人去浏览浩如烟海的互联网信息，但是有没有可能就是我有一个小Bot，它可以把互联网上所有的这些信息看得比我快、看得比我多，然后又了解我的喜好以后全部揉碎了给我，再喂给我。同时呢，如果以后真的大家都变成了默认的模式，就是由你的Bot去爬这个信息、去分解这个信息的话，可能以后没有这个Bot你就很难在浩如烟海的互联网里面生存了，因为你能看到的信息就变得非常的有限。

【嘉宾】然后另外一种可能是我觉得生产力的进步吧。我这个人因为之前是独狼玩家嘛，所以会畅想一些非常适合独狼玩家的生存方式。比如说像田园牧歌啊，一个人的这种乡村生活啊，大家会在YouTube上也会看一看类似类似的博主。我会畅想一下说，哎呀我将来就到了一个远离人烟的地方去生活。然后这种生活现在的话，叫我肯定不敢去，我会觉得要干好多事情，要脱离这个现代社会的基建的支持，去干这么多事情，我一个人能做到这些事情吗？烧水啊弄饭啊这些可能现在还有一些基建，但是家里这些家务啊还有各种各样就是我不想做的事情，我怎么能够在远离人烟的方式下干出来？会想到我们现在正在做机器人比较近期的一些应用，可能就是说能够把我不想做的事情给它做掉。但是以后更多的畅想是说，如果真的有一天机器人的技术能够飞速发展的话，可能你现在需要拜托很多人，比如说修水管，这是一个美国社会永恒的难题修水管。你现在是需要依赖人的，但将来也可能是机器人来解决。甚至包括你现在做的很多项目，随着智能体的发展，以前可能是需要你拉一个人的团队，以后可能就是拉一个人工智能或者机器人的团队。甚至就像我们现在去看很多一千年前的原始社会，你会觉得他们当时的理智道理没有那么发展；如果我们在一千年后再看的话，说不定他们看我们也是原始社会。他们那个时候每一个人能够拥有的生产力，都相当于现在每一个国家能够拥有的生产力。我觉得这个可能独狼玩家会挺快乐的。

【嘉宾】我觉得是可以让人和人之间的关系变得更加松散。在原始社会，一个人在广袤的大自然里面独自去狩猎生存的话是比较难；而现在的话，找一个地方把自己埋起来，好像没有没有那么大的问题。但将来也许可能在宇宙中你可以探索，说不定你发现了一个小星球，你就直接在这个星球上面定居，你可以搞很多机器人来帮你在这个荒无人烟的星球上面搞好基建，你可以建很多你想建的，你想建高楼大厦、想造这个内环都可以成功，我觉得还蛮有意思的。

【嘉宾】我觉得并不是完全是说彻底地活在洞穴之中，但是人对于自己的空间吧，是会有一些追求的。作为一个内向的人，我觉得我回复能量的方式其实是一个人静静。然后在一个硅谷这么一个非常喧嚣、无时无刻都有新的讯息涌入的环境里面，能够找一个空间去自己静静，其实比我以前的这种生活是有一些难度的，所以可能对这个找一个洞穴稍微待一阵子产生了一些向往。但我也认为人还是社会性动物吧，在洞穴里待久了，可能像我这样的人也会想要走出来再看一看。

【嘉宾】我觉得我还挺接受的，因为我是老二次元了。我的生活中是有不少这样的朋友，他们的生活方式可能和老一辈的那种观念是很不一样，但是因为他们是一起熟悉了很久的朋友，我甚至能够理解他们做的这些不想和人类谈恋爱的选择，或者他们自己在社交方面的一些偏好，以及包括大家对纸片人、二次元的这种造物的喜爱，包括我自己也是有参与一些二次元的同好活动的。

【嘉宾】我觉得一时半会很难指出哪一个具体的作品，但我们也许在谈话过程中会触及一些别的，我都可以分享。但是我觉得现在有一些，或者说之前看到了一小类的文学作品中描绘的这种人工智能毁灭世界的命题，让我觉得有一些，从现在的角度以我有限的视角来看，会觉得不太可能吧，现在会走到这一步吗？所以会有一些反思，我们真的会开发出一个智能体，然后不知道怎么的，它可能诞生的使命是帮助人类，但最后它的存在的客观意义上，却变成了与人类变成一个对立的关系。我觉得现在的我是很难想的，但是因为一直没有想通为什么这个逻辑成立的，所以一直都在想。

【嘉宾】我觉得以现在，就是2026年，我们弄一个快照看看现在的状况，然后会觉得现在智能体干了最坏的事情是什么？我觉得好像前几天有一个什么人，把很多的权限给了一个智能体，让他帮自己清邮箱，结果这个智能体得到了这个权限以后，

【嘉宾】就把他的油箱全都删了，删得差不多了，就是他的命题就是给这个智能体的任务，是得到了执行，但智能体的执行，并没有和他真正想要的这个任务重合。我觉得这个问题确实存在，但现在智能体得到的权限、承担的责任，以及他能做的事都比较有限。就得到权限的话，很多时候大家都会prompt，就是你现在不清楚的话，你先别慌着动，先跟人确认一下，然后他承担的责任……比如说我之前其实有攀岩去受伤，受伤的过程中，我就是到处求医问药，但美国这个社会的医疗是有一些难的。这个时候我就会把我的一些医疗的资讯发给智能体，去让他给我解答，但是其实在这个解答过程中，我也不会真的就彻底地相信说，我也不可能说这个AI跟我说什么我就信什么对吧，我肯定还是要把他带到一个人类专家的面前，去跟他确认，因为我不觉得就是如果我真的基于他的这个推荐做了一个什么事的话，他是能够承担责任的。承担责任这个方面，我觉得现在他承担的责任还非常有限，而且这种人类社会里面，就是谁能够承担责任才会建立一个信任。我觉得这种信任还是在演化的过程中，还没有到我们就完全相信一个智能体、给他那么多的权限的程度。然后最后是他现在能做的事情，我觉得也比较有限，比如说我们机器人，我们有的时候行业内部笑话，这个笑话可能已经有点过时了，这是大概三四年前和一个快要毕业的同学在聊天，我们就在吐槽说，我们就都每天都在做什么呢？就是让这个机器人把一个红色的方块，放到一个蓝色的方块上，这不是三岁小孩都会做的事情吗？我们天天就在这儿花了五年时间，读了一个博士，然后教机器人做的可能也许，或者还没有三岁小孩好，还不如三四岁吧。人类的学习速度是非常快的，所以我觉得这三点因素导致了，在我看现在的智能体，我是不太相信他能够在现在这种节点上，做到跟人类的对立面。

【嘉宾】我其实是一个工作和生活分得相当开的人，我觉得在Pi的工作经历，肯定是影响了我的思考，比如说你对技术发展到哪一步了，以及技术发展中的一些quirk，比如说比较特殊的一些东西，会有更多的一些思考，就是比较具体的思考。而我的网文很多时候就天马行空，在网上保护好自己的身份以后，想写啥写啥，不是挺好的吗？

【嘉宾】救命啊，马甲保护好。

【嘉宾】我觉得是，而且当我在成长的过程中，有一些感触，甚至比现在的感触还要深。我觉得我人生中是有一些关键的节点，或多或少都受到了我搞信息学竞赛这个影响。其实我小时候出生在安徽省，然后上学是在安徽省的芜湖市，这是一个可能互联网上大家了解它都是因为“芜湖起飞”这么一个网络用语，但它其实是一个城市。而这个城市呢，它就客观来说的话，它的教育资源什么的，可能和大城市啊，比如说上海啊这样的地方还是有一些差距。但是非常凑巧的是，我们这个城市有一个很优秀的信息学竞赛老师，他当时是在我们城市那边做学生的时候，因为一些事故受了伤，然后失去了双手。所以这个遭遇呢，让他最后在就业的时候，可能影响到了他，让他选择就是回到这个家乡，去当了一个计算机老师。但是因为他这个人非常的聪明和优秀……

【嘉宾】你大学本科是进心理学？

【嘉宾】为什么？

【嘉宾】所以你整个大学经历了两次换专业？

【嘉宾】嗯。竞赛对你性格影响大吗？

【嘉宾】你小时候是一个很乖的小孩，还是一个叛逆的小孩？

【嘉宾】但实际上很叛逆的小孩，有多叛逆？我就记得我小时候上小学的时候，第一天我爸妈不知道怎么想的，给我剪了一个板寸头。然后当时你知道小学生的话，你一个小女生留这个板寸头，大家都会笑话你。我就记得上学的第一天我是哭着上学的，因为被大家嘲笑而内心无法忍受，就是不知道该怎么处理这种事情，就哭了，可能说我小学哭了最惨的一次。然后当我小学毕业的时候，已经变成了学校里的大姐大。就是有什么想法我们可以坐下来聊，聊不行的话就把你打服。这段就是使用暴力，不是一个很好的事情，只是在小学那个环境下，我感觉你能明显看到我的一些性格上有一些那么一个不太服的方面。

【嘉宾】对，就是我朋友对我的称呼，从小学一直到高中都是这样。我觉得可能动手方面，我性格上有一些路见不平一声吼的因素在里面吧，会有一些对公平啊、正义啊这种事情的一种追求，然后也会在小学时候想办法完成这种事情。比如说小学的时候，会看到有一些人在欺负别的人，我就会说你在干嘛？你不行，我们都来打一打，你这样不行。就会去打到一种心中那种正义的状态。

【嘉宾】我觉得生活中确实没有那么多事情是绝对的公平，公平的定义都很模糊吧，可能不同人有不同的想法。我只是一个尽量在自己的力所能及的范围内维持一种公平的人。有的时候我觉得每个人也没有什么权力去要求另外一个人一定要按照他的想法去做。但是在这层之上有什么东西是我觉得还是比较有普世价值可以这么去想的。一方面可能是我觉得有些心痛吧，就是教育资源这个方面。当我出了国以后会有一些感慨，就是我在国内受教育的这段过程中，其实是曾经想上一下清华北大这样的学校，想去考。但是因为我在安徽省，其实安徽省的话，是每一万个人里面可能有三四个人能够上到清华北大。我当时上的是竞赛班，在高中，然后也是从传统的升学道路里一步一步学出来的。我也不是一个特别优秀、就是优秀到骨子里、真的是非常热爱学习、花很多时间去学习的人，我就是一个竞赛班里中等的学生，我喜欢的事情就多学。

【嘉宾】不喜欢的事情就少学的那种学生，所以我知道我可能就除非我转了性，然后特别用功，才有可能拼一拼这个一万个人里面的三四个人。而当我出来以后会发现，其他一些省份可能确实有一些教育资源上的优势，比如说在大城市的话，可能会有这个一万个人里面有八十个人都能上清华北大，这种数字在我们那是想都不敢想的，会觉得是有一些资源分配上的事情。但是可能在现在这个时间点上，更多的能够想的是如何通过创造更新的生产力，来在某个层面上赢这些公平吧。

【嘉宾】我对于我的同班，尤其是初中高中的这些同班同学，衷心抱以崇高的敬意，我实在是没有办法像他们这样的决绝。因为我们是竞赛班，竞赛班上的大家我觉得都非常的努力，都非常的知道自己想要什么。不像我这种，就是从小就有点，虽然看着很乖，我是不会做一些特别坏的事情，但是我也没有那么的乖。就是学习这个东西，我就学我自己想学的就好了嘛。所以在这种环境下我觉得，抱这样心态确实是没有办法和这种特别优秀和专注的同学们相比。

【嘉宾】最叛逆的事情，我觉得因为做了叛逆事情太多了，你是很难拼出一个最叛逆的事情，前三吧，前三名。其实我到高中的时候，因为当时就非常想去东南亚去旅行看一看，然后觉得自己一个人在东南亚可能不太安全，就把头发剪成了板寸，然后整个打扮的就是一个非常男孩子的样子，这样走在大街上可能大家也会，就是，该怎么说呢，就是，去，就是，可以这么总结吧，就是可能是在东南亚背包的这段经历，相对而言是比较叛逆的。因为它是一个没有明显的目的，也没有明显的目标，也不知道它对我的人生有什么影响，但是就是非常的想做。但其实还比较幸运的是，就家里人也没有那么的强烈的反对，他们只是觉得好奇怪，

【嘉宾】怎么做这个事情，保护好自己的安全。然后每天就是不停地骚扰我说，就赶紧劝回来吧，劝回来，不要再搞这些奇怪的事情，没事高级，去的东南亚。大概就是高二底，就当时其实已经是想着要不要出国了。因为之前是在走生学的，所以没有知道自己是要出国的。差不多是一个很快的一个思想上的转变，然后目标上的转变，然后稍微去执行了半年，然后突然就发现自己还是有点闲的时间。当时就想说要做点什么，就去了东南亚背包。因为之前非常的喜欢有基本这个印度的审划相关的小说，开始迷上了这个印度的宗教的建筑，我就想跑过去看一看。

【嘉宾】去了大概两个星期。

【嘉宾】对，我一开始把妈妈也来找我了，他们可能还是有点不太放心。

【嘉宾】我觉得这个是，但是其实头发检查版村非常的方便。因为我之前在成长的这个初中、高中的这个过程中，我的朋友们其实都知道，我是一个非常不朽蝙蝠的人。什么头发打理啊，梳头发，衣服的扣子啊，就是我到班上，上学到班上以后，就是班上有一些跟我关系比较好的女同学，但是看不下去了。

【嘉宾】很难描述，但是因为会不自觉地认为，就是如果可以像一个外表像男生的话，大家可能就没有那么多的不好的想法，就可以提前保护自己，这样的想法。

【嘉宾】我觉得社会中的认知，就是新闻啊，或者说很多听到的事情，会让大家作为一个女生，觉得自己处境会有一点点处在被就是更可能受到侵害的这个位置上。所以就会想要花更多的心思去思考什么保护自己。

【嘉宾】我觉得不安全，那我就不去就好了，那我就是安全的，我就在家里。那还是要去的，自己想干的事情，得找个方法把它实现。你的方法是我把自己伪装成男生，然后我就安全了。我觉得这是方法中的一种，可能是当时的我觉得最轻松方便又好用的方法。

【嘉宾】这个我觉得就是人生中的冥冥之中的一个小决定。因为当时在高中看来是有三条路嘛，第一条路就是升学。但是刚才也说了，就是在我的同班同学面前，我觉得自己就是一个渣渣，就是一种不上不下。叫我再花一点心思去提升自己的成绩，对不起，我真的做不到。就是我没有办法做我不相信、不认同的事情，而我是真的不知道为什么要干这个事情，所以我提不起劲。提不起劲我就学不好。比如说当时我就学了一些，可能我比较喜欢像是数学啊、物理啊这样的学科，我就觉得哎我还是能够享受这个学习的过程。剩下还有一些像生物和化学，我相对而言就是弱一点，要背，哎对。然后当时就是成绩怎么都上不去嘛，然后学校老师或者同学就说要加油，把这个短板给补了，你还可以冲一冲。我就想说，为什么要加油？为什么要补这个短板？为什么要冲一冲？我不干了，不行，我不认同这个事情。所以当时有这个思考在的话，我就很难就是通过升学这条路去上到像清华北大这样好的学校。

【嘉宾】然后还有一个契机是，当时因为非常喜欢打游戏，就是非常叛逆嘛。就是人家在升学高中好好学习，我在升学高中天天就是看教授打游戏，接触到了一个叫鱼血的游戏。当时打的时候每个人都有中二的年纪，当时打的时候惊为天人觉得，哇，我超喜欢古龙的小说，这个游戏非常完美地诠释了古龙小说的一种互动式，应该是怎么样的，所以当时就非常崇拜。

【嘉宾】不太记得清了。但我记得，也许有一些东西太羞耻了，已经忘记了。但是对这种，对这种非常纯粹的情绪的碰撞，给我非常着迷。就是有一种哎呦你背负着血海深仇，你说我们在现在社会，你怎么会背负一个，就大部分人嘛，怎么会背负一个血海深仇？这个就可以在游戏里体验。就当时因为喜欢这个游戏，不自觉的去靠近嘛，就是可能潜意识里有想过，将来有一天如果我呢，我创造一个自己的内容，会非常的开心。那看看别人，这些已经创造是我非常喜欢的内容的人，之前的路径是怎么走的，我们也可以向他靠近一点。

【嘉宾】我觉得写小说是我创造的一种宣泄的方式，而做现在这一行，人工智能做研发，可能是对我这个人追求效率的一种体现嘛。就是我骨子里，你看在大学中换的这些专业，其实我觉得这些专业都非常的有助于写小说的内容，只是最后自己发现自己真正做的这种工作的成就感，有很大一部分来源于就是我把一个别人做不到的事情做到了，或者说别人做这个事情，我做得更好。这种思维不好说是不是因为在国内这种教育体系下，有一种还是有点竞争的思维在里面，但确实是能从这种想把事情做得更好这件事里面得到回报。

【嘉宾】我觉得有两点吧。第一是在之前生活的环境来看比较的稳定，所以对周边的社会的人与人之间的关系是太稳定了以后，

【嘉宾】你其实感觉不到他的存在，就是你是出了国以后，开始接触到了一个完全不同的社会、社会关系，需要找你这个人在这个社会上的定位，就开始重新思索。就是，哎，我以前好像不用做这个事情，我现在要做。就是我不太清楚有什么含义吗？因为以前你已经在那个社会里生活了很久，你就非常的自然而然，而现在到了一个完全全新的环境，不自觉地去调整，并且也使得你能够稍微客观一些地审视之前所处的社会环境和你这个性格。就是我觉得，我对我性格的自我的认知，很多时候是到了不同的环境冲击下才得以显现的。那另外一部分是因为，美国社会还是比较注重这个自己。我觉得核心一点可能是说，他们最终是想把这些孩子培养成一个有领导力的一些人，就是他可以通过阐述他的梦想，来号召很多人去和他一起完成梦想。这个和创业者就是这种企业家精神，是有一些不谋而合的。在我那个上的大学里面，是有很多这样相关的活动，还包括课程里面的设置，都是在鼓励这件事情发生。而我当时作为一个非常内向的人，乍一到了这个环境以后，没办法了，只能说点话了，要不然的话真的不知道自己在干什么。就是经过这样的一个环境所设置的这种关卡，真的变成比较能跟别人说话的类型。如果你和高中的我说话，可能会发现我这个人就不爱说话，但是你和现在的我交流，我觉得我在交流这方面有了很大的提升。

【嘉宾】不公平依然存在，只不过我觉得，中国社会之前经过非常高速的发展，因为我后来还去英国留学，所以把中国美国英国放在一个轴上面来看的话，会得到一个非常有趣的一个感觉。就是中国社会，咱们父母那辈的人可能会有很多的动荡和机会，和一些变革，就是大家有时候会开玩笑说，就是你往上数三辈，谁不是田里种地的人呢，是吧？然后美国社会呢，相对中国社会而言，我觉得是有一些些这种阶级固化的，因为毕竟是一个，

【嘉宾】运行了两百年的资本社会，可能有时候这种资本的力量，是比作为一个人来得力要快一些，他们是有这种积累。而英国社会又是一个非常极端的，就我在英国社会的时候，就感觉到了这种社会相对更加固化以后，造成的人们之间的关系，和所处的这个社会阶层，和喜好品味的一个非常大的影响。我觉得中国在这个轴上，可能是相对而言在当时是最百花齐放的。

【嘉宾】我觉得英国可能在这条轴上，相对而言是最保守的，而美国是有一些保守，但是都到硅谷来了，大家好像又抛弃了之前的那些旧的东西，在这里开始开创新的东西。

【嘉宾】我觉得都在内心世界上。在离开的时候，并没有很大的目的性，说自己一定要拿到一个什么东西。是在路上，才慢慢发现自己要做的事情，并且我还是非常喜欢现在自己投身的这个行业和这份工作，也就是对技术是有信仰的吧，可以这么说。

【嘉宾】我觉得也是有很多巧合的因素，命运是一条冥冥之中的线，我只能得到这个点。在当时大学的时候，在经济系读，然后就是觉得做的事情，虽然是学的知识非常有意思，但是做的事情好像就是把一些数字揉合在一起，跑一跑报表这种分析，可能没有满足我。所以当时就是开始探索，在大学能够做些什么别的事情。然后很巧合的是，大一的时候去了一个实验室做研究，坦白来说，当时的我完全……

【嘉宾】对，在大一的时候去实验室做研究，坦白来说……

【嘉宾】是的，就很少见。对，因为当时在美国我们那个学校非常流行职业发展，就有一种美国人的卷，就是你大一的时候就会灵魂拷问，你大学毕业后想干什么，你赶紧想好，你每天都要为这个东西做努力。所以当时大一就开始参加一些什么职业的交流，就开始搞搞自己的简历，我从大一就开始弄简历。我记得我大一好像是入学第二个月，就开始在网上到处去投简历。

【嘉宾】大一，就是之前因为搞竞赛，所以有竞赛同学，其实有一个建竞同学挺我想法的，做了一个小软件还去卖钱，我当时也参与了，帮助了他的这些开发，然后我们也拿了一些，就是小孩子小打小闹的一些钱，让自己觉得能从自己的技能中获得一些回报。所以这些东西都可以写在简历里，因为你就是想办法向别人证明，你是一个信得过的人，可以做很多事情。我觉得其实是现在的孩子呢，其实我也完全是有可能，比如说之前 OpenAI 是有高中生去发 paper 的这个先例，我觉得现在孩子们完全是可能做到这一点。所以当时的大一，我就去找到了……

【嘉宾】在我们学校的一个计算机组的实习，然后当时非常幸运地遇到了成为我学术路上第一个导师的学姐，她叫李伯，她后来毕业以后去芝加哥大学当教授，现在也在硅谷，其实做创业公司。当时呢，她选中我的原因我不太清楚具体的，但我猜想可能是因为我是一个学经济学的，我挺喜欢博弈论这个东西，而当时她这个课题是一个叫做Adversarial Machine Learning，就是对抗的机器学习，它是需要有一些对抗的博弈论的思想在里面。所以就通过这个，我觉得比较吵的这些东西，就跳到了，就是经过这个点的连接，跳到了一个稍微不同的方向。然后当时在学姐带领下，就比较幸运地写出了一篇paper，然后也得到了发表。所以我其实大二大三的时候，就因为有了这么一篇第一作者的论文发表，后面在博士申请的过程中就得到了一些助力。

【嘉宾】我觉得就是粗暴一些的规律的话，博弈论中间可能经常会说，如果是两个人在玩游戏，他们是对抗的关系，那他们两个人都要做到自己范围内的最好，但是在互相对抗的过程中，他们可能达到了一个平衡。你可能可以通过一些事情来引导他们，使得他们在对抗过程中达到平衡是最优的。我觉得这个点其实是很多经济，现这种市场竞争关系的一个诠释，就是你需要市场中大家都去卷，然后卷到最后就会卷到一个其实对整个社会发展有益的一个平衡点。然后把这个思想其实放到机器学习里面，它也是有应用的。当时差不多应该是2016年左右，是对抗神经网络出现了，其实对抗神经网络也是有非常多的博弈论的元素在里面，它需要有一个生成的，可以一个评判的，他们俩就是互相在玩这个游戏。生成的人就打个不恰当的比方，就在做假钞，然后评判的人就需要分辨你做的这个钞票它究竟是真钞还是假钞。在这个过程中，最后可能会引导这个生成的人不断地去生成一个越来越像真钞的假钞，而对抗的人最后就是，当真的完全无法分辨的时候，他就没办法，只能靠猜。所以大家通过这个思想，就是在当时创造了一批图像生成的技术，都是靠这个生成器去生成一些看上去像真实世界的假钞，就是这种假照片。但是在逐步对抗的过程中，这个照片就会跟真的照片没有差别，所以使得这个生成的照片看上去更加的真实。所以这个博弈论我觉得应用其实在经济学系统是非常的广。

【嘉宾】是的。

【嘉宾】嗯，我在博士期间也换了一些方向。因为当时第一篇论文发表的是一个偏博弈论的这么一篇文章。所以在刚入学的时候，我以为我做的是这个偏理论的机器学习。但是当时做着做着后，就发现自己其实更喜欢做应用，所以后面就去做了机器人这么一个应用。在机器人过程中呢，我自己的研究路线其实是从模仿学习开始，然后最后做到了强化学习。这个模仿学习我感觉要形容的话，其实就是人家已经知道了怎么做一个事情，所以它给你提供了一个示例，你就想办法去抄出这个示例来，这是模仿学习。但是随着模仿学习的研究不断的深入，我就觉得有些不满足了。我觉得就是，如果你永远只是在照抄别人的话，你其实不能够，就现在也很经常讲，不能够有创新啊，不能够有突破啊。所以就转入了强化学习。强化学习更强调的是怎么样通过你自己的这个探索，去突破原来的这个表现，去把这个上限推得更高。我觉得这个其实也和性格是有一点相贴切的，所以现在的我更多的是做强化学习。

【嘉宾】我觉得在2017年它是一个兴起，但博士很大众的一个方向，就是把机器学习放到机器人上面。包括我自己去找到的实验室和他的老师，他们都是更加偏向传统这一派系的。因为机器人其实发展到现在发展了几十年了，然后也有很多很成功的应用，比如说大家会笑话说，哎，我们都让火箭上天啦，

【嘉宾】都可以在这个火星上开展探索啊，这些都有用了很多机器人的技术。传统派系在2017年左右，把传统派系做进规划和控制问题，就其实这个我觉得是非常符合我们人的一些直觉的。就是你要做一个事情，你就先规划一下我要做第一步、第二步、第三步分别是什么，然后把它们串在一起，形成一个完整的计划，计划以后再由这个控制去慢慢地给它执行，保证你在每一步上都不出错，都能够贴切地完成。而且2017年呢，因为我是从机器学习起家的，去学，我能不能把机器人的这种聪明态势，也不是再靠我去给它制定什么规矩，而是从数据中直接获得。这个想法呢，和我所处的这个传统、偏传统方法的一些实验室，就是比较小众的。在我们实验室就是只有我一个人做这种类似的方向。

【嘉宾】我导师不是做这个。我导师他是传统派系的一个做路径规划有很多工作，做控制，就是他是一个全栈系的人，我传统的机器人实验室。他是从卡耐基梅隆那个派系出来的，他们就很强调说每个人都要做全栈。就是你要会造机器人，你要会知道怎么把机器人搭在一起，这个机器人的一些什么动力学分析你也会做，然后你还会做路径规划，还会做这个控制，然后还会让它做一些事情。最后你在这些去深入，他是很强调，就是一个人在一个最极端的情况下是可以一个人完成几乎所有的任务的。所以他在培养学生的时候也是照这个路子走。就我其实很感激他对我的这种培养，让我觉得我对机器人的上下游有的一些事情是有一些了解，就不说都深入吧，但至少就是差不多确实是能用的。然后在他的实验室里做机器学习，或者他的态度也是非常有意思的，因为当时大家做的事情还非常的，就怎么说，乃于，就是比起传统，这些人都能够……

【嘉宾】上天啦，你这个机器学习刚刚起步，做的什么任务看上去其实也比较的幼稚吧。但是当时导师在交流的过程中，就是机会给我指出，就是现在做的这些任务，其实以前都有人用更好的方法解决，是这么解决的，你要去学习一下，你要在机器学习的这个做的过程中，同时也就是知道。他给了我很好的这个台阶，让我去在他技术上去学习。同时他也会就让我有一个比较开放的一个想法，就是我会把很多机器学习的想法带给他，然后告诉他，我觉得就不停的在这种一问一答中对抗的，就搞明白了。就是我为什么这么相信机器学习在机器人，因为传统方法中的这些我觉得是太依赖Expert专家的这个东西。我们机器学习的这个冬天消失，就是机器可以自己学习，就是一个使命。

【嘉宾】因为懒。因为这种事情其实有点有意思，我觉得知其然不知其所以然是一个非常微妙的一种状态。有些人会在有些问题上大家也会想要打破砂锅问到底，但是在优化问题里面大家都很想优化，我觉得性格上是一个想要更好更强的一个部分。在优化过程中，有一类优化问题就是黑盒优化问题，就是你别管也别问它到底怎么样，就给了一个非常好的解，反正你只要知道你如何设计它系统，让它能提供一个比较好的解，你不需要知道这个系统。就是传统的自然语言会使用语义结构，就是更贴近人是怎么理解语言是怎么运作的，就把语义分成很多不同的部分，是需要很多专家去了解学会。

【嘉宾】然后再想办法把它自动化，喂给机器。而后来的数据驱动的话，就是完全，也不能说就是没有受到之前工作的影响，但确实它的运作方式彻底地改变了，变成了从数据中直接学，中间的这些步骤都可以略掉，就变成了端到端。我觉得机器人可能也是要走一下这样的路。

【嘉宾】因为当时机器人不是一个特别流行的一个选择。在2016、2017年，其实机器人的发展历史的话大概也就是50年，而且机器人是一个非常非常烧钱的一个领域。当时我们的一个内部笑话就是，看隔壁一个非常牛逼的自然语言老师的组，他是Yejin Choi，她其实做了很多就是common sense，就NLP的贡献。当时他们那个组2017年就开始做了很多数据，然后说就从来没有人烧这么多钱在数据上。我就说数据烧了多少钱？二十万美金。

【嘉宾】我的天啊！你在这边买一个机器人要多少钱你知道吗？你这个机器人坏了以后修了多少钱你知道吗？

【嘉宾】然后修了以后，就大家自己，在大家现在让这些博士生宝宝现在这个屋子里面，先想办法修好了，不要把它翻场。一翻场就是十几万没了。就当时还有Barrett，也是就是一个，就多关节，也不是多关节吧，就是一个三指的一个、腱驱动的一个手，当时是十几万美金一个。它坏了也是修起来够呛要半天。就当时的这种硬件的成本，和这个需要一些专家的这些知识，使得当时我觉得机器人不是一个特别流行，然后人数也比较少，非常昂贵。

【嘉宾】当时逐渐开始有人买Franka这个硬件，因为当时Franka就是我们相对而言最便宜的。你现在这个时间点看Franka，你也觉得好贵哦，怎么这个，我忘了当时拿价格是多少，但是反正就是几万美金，它就号称是最便宜的。

【嘉宾】是的，我是17年入学的。

【嘉宾】嗯，对。我的视角可能不完整，我就尽量复述一下，就是我感受到或者我接触到的一些比较有代表性的研究人员。我觉得机器人的发展是可能绕不开，第一个就是卡内基梅隆大学的一些发展。卡内基梅隆大学是有一个自己的机器人研究所的，这个研究所大概是在79年、80几年的时候开始建立，所以至今大概是40多年的时间。当时研究了怎么样让机器人就通过感知去看，然后做一个决策去做，所以我觉得这个感知和行动的这个结合，就是从他们开始，就是慢慢地变得非常的popular，就是开始流行起来。然后当时他们也发展出了很多不同的分支，就不管是让机器人能够去决策以后，就把它放到真实的环境中去，做一些灾后救援；还有当时就是2000年左右的这个自动驾驶。当时CMU，卡内基梅隆大学一个领军人物，就突然一下大家都觉得，哎，自动驾驶可以开始做。就当时2004-2005年的这个DARPA，就是国防部的这个自动驾驶的比赛，刺激了后面很多的自动驾驶公司的，大概2006年那部分也是创立。我觉得这个也是非常有激励作用的。然后后面的话呢，看在卡内基梅隆大学，我觉得有发展一些，就现在对我们最相关的话，可能是就是有一些机器学习的学者，也有一些操纵系的，就是manipulation，就是用手，就机械手去做一些事情的学者，也有一些是就是研究如何机器和人的生活中共存。其中可能比较有代表性的话，就操纵系，因为它算是我的祖师爷，所以对它了解要多一些。它的名字叫Matt Mason，它现在是在互联网上活跃，它有一个个人的博客，会写一些就是它对操纵系的看法。它其实最有名的一句话是，就是它觉得，

【嘉宾】我们现在强调了很多灵巧，它觉得是，不是从你这个手指和你的硬件的关节构造，而是从你这个大脑如何去操控一个即使很简单的一个结构，也能做到一些很复杂的任务。它觉得灵巧的关键不在于这个手本身，而在于大脑。我觉得我的研究也有很多受到它的影响，因为我在博士期间也都是筷子机器人，就是用一双筷子做几乎所有的事情，是我当时的一种想法。然后它当时代数的学生，也就是我的导师，就是SIT，所以SIT的话，它会做了很多路径规划，也是做了很多，就是有一个什么机器人酒保，就是你怎么样去拿一些不同的杯子或者可乐，然后再把它递给人这样的一些研究。

【嘉宾】然后除了这个派系以外，当时卡内基梅隆发展当时那个腿和生物的这些机器人，是有很多人研究的。Matt Mason主师业，他还有另外一个弟子叫Sangbae，Sangbae他做的就是一只生物狗。就是当时MIT Cheetah，就是他开始做，他在Matt Mason这里学，但他其实并没有就做操纵型，他就去做一些就是生物激励的一种形态，所以他就做了狗。他去MIT当教授以后，就做出了这个迷你Cheetah这么一个非常有影响力的工作，可能说是现代的这些机械狗的起源。

【嘉宾】然后其他以外，做腿的话还有一个就是Marc Raibert，他是Matt Mason的同期，他去做了波士顿动力，也是先做狗。但是他走的这个路线可能是传统派系的一个极致，因为当时他做之前的话，大家其实觉得就很多事情是受到电机的限制。他就想做非常好的电机，能做大家想都不敢想的事情，他就是做到了。我觉得他做的这个，在，忘了是什么年份了，但当时他作为实际上第一个就是能够后空翻的机器人，告诉大家这个事情，影响了一批的学者。

【嘉宾】我觉得，虽然我不在CMU读博，但你可以看到就是我的学术祖父，是很多受到这边传统派系的影响的。然后在另外一边的话，我觉得派系上可能还有机器学习这个派系。因为机器学习的话，我也不清楚就是更早的事情，可能Tom Mitchell，他是一个CMU的学者，他可以认为是现代机器学习的一个创始人。但是在我这个年代，当我开始学习的时候，我们机器学习的入门教材都是看吴恩达他的在线的网课，就是我大学时候去了这个实验室，在认知智能里面。

【嘉宾】他们好像也属于两个派系，其实可能是的。但是对我来说，就是更早的事情，可能我都没有那么多的关注了。就在我看来，我能看到的部分，就是我们一几年开始做人工智能，那就是一个教材，先把这个教材读懂、搞会，然后就开始跟着吴恩达的网课去学习。

【嘉宾】然后吴恩达的一个博士生是Pieter Abbeel，他应该是最早的一个把机器学习放到机器人这个领域上的一个比较先驱的教授。他现在是在伯克利做教授，依然是一个活跃的研究员。他现在应该也同时在亚马逊担任一个他们研究部门的一个职务。

【嘉宾】然后Pieter Abbeel他当时做了，好像是做了一个会飞的飞行器，然后他搭载了机器学习的算法。因为他做的这个工作的年份比较早，我现在其实对他更多的了解是他后来的学生，就是Sergey Levine的工作。我觉得Pieter和Serge这两个人可以说是把强化学习在机器学习中比较发扬光大的，因为他们的发表数量。然后Sergey现在也是我在Pi的，算是我的汇报对象吧，他也是创始人，对，他是Pi的创始人。对，他也负责了很多，我在Pi现在做了很多强化学习的工作，所以是和Sergey一起做的。

【嘉宾】Sergey当时在，是很有意思。Sergey他自己PhD学的其实是机器人，是graphics，是做这个图像的。然后当时在Pieter Abbeel手下读博士后的时候才转型。我还挺欣赏就是大家从一个领域做了以后就转型到另外一个领域，我觉得你能转过来或者你想转过来肯定是有很多你的想法。所以Sergey当时应该是有很多想法，他就做了强化学习这些课件。

【嘉宾】其实当我开始读博士的时候，我对于机器学习的很多就是没有什么教材嘛，都是看Sergey的视频，然后看他们的一些讨论，包括看他的论文，然后看他们组的一些对话来学习的。然后Sergey他后面也有他的合作者Chelsea，就是Chelsea和Sergey都是Pi的联合创始人。我觉得他们俩都是对现代机器学习也到机器人运用，做出了非常多的贡献，不管是学习的算法，还有包括硬件的设计。

【嘉宾】都是有很多人贡献。Sergej和Chelsea，他们是什么关系？如果我没有记错的话，应该Sergej是Chelsea的collaborator，或者说是advisor。可能也许就是Chelsea的postdoc是和Sergej读的，然后他们后来一起创业了，做了Pi。对，他们俩之间的学术关系非常好，就是我觉得他们俩非常的同频。在公司，他们其实也是经常在一起讨论问题。

【嘉宾】Sergej是个科幻小说重度迷。我不知道就是别人读Pi的paper有没有发现，就Pi很多paper上面会有一个来自科幻小说的引用，全都是Sergej写的，就是他会去思考这些事情。然后有人说过他非常会写论文标题。是的，我觉得他是一个讲故事非常强的教授。同时呢，就是内部笑话可能就说Sergej就像Sergej GPT一样，在这个ChatGPT出现之前，Berkeley的人就已经用上了Sergej GPT。你的论文写的怎么样，把草稿就直接发给Sergej，Sergej就给你一个超级polish、超级好的一个版本返回给你。就像就是ChatGPT的前身版，只是ChatGPT出来他也不能和Sergej GPT在论文修改方面相提并论，这是一个笑话吧。然后Chelsea的话，他是一个非常discipline，就非常，嗯，就每天他都会四点钟起床，然后去游泳一个小时。就他是一个对自己的生活，我觉得非常有规划，非常inspiring。而且他是一个我觉得有动物性直觉的一个人，就是和他聊很多就机器人的具体的事情，他会非常快地给一个判断，就是说这个事情是什么样的。然后这个里面又非常多的这种直觉性的推理，能够感受到就是他对这些动作任务有很深的认知。

【嘉宾】关于直觉性的推理，有一些比如说，有一段时间里Chelsea是负责管Pi的这个数据收集的。他对数据收集到底在收集什么样的数据，我觉得他有很深的理解。

【嘉宾】我觉得可以是，可以这么认为的，他们的工作关系，嗯，这一派别还有其他人没有？刚才说了温达以及他的言识。我觉得现在的机器学习机器人其实挺百花齐放的，然后包括嗯有另外一些派系，比如说就是从飞飞，她带了很多学生也投身了机器人的研究。比如说可能现在这个时间点上大家比较看得见的有，嗯，朱玉可啊和金范呀，他们现在都是在飞飞的学生，都在领导，毕业以后都就是玉可是当了教授，然后现在他们在领导这个英伟达的GEAR Lab，在英伟达就是主管就如何做机器人。然后包括我觉得现在其他就是华人学者，嗯比较有名的，还是非常尊敬的一位女学者，然后呃苏昊，其实之前他们有做这个呃做这个Diffusion Policy，是苏昊组出来的。然后ACT和这种ALOHA是Chelsea组出来的，我觉得这个都是对现在的机器学习机器人形态产生了重大影响的里程碑式的paper。嗯，然后其他的还有CMU派系，其实也有很多机器学习的人，我觉得可能呃比较visible的应该是两个人，一个是Deepak，还有一个是Abinav。其实Abinav是一个资历比较老的教授，他是之前做这个视觉出身，然后他有非常多天马行空的想法。我跟他之前短暂合作过一阵子，就几年前，我就感觉到他是一个无法预测他下一秒会说什么的人。然后有的时候我觉得他看的东西就非常有创造性，嗯，比如说我想做一个就是自学习的那个机器人，比如他当时做视觉就说了，就是我们经常说视觉只能受到数据的限制，那咱们就做一个不要数据限制的，我们就把它放到机器人上，让机器人去户外去各种收数据，这样不就可以打通。就我觉得他做的东西是有一种几乎野生般的感觉，就是将来最后可能还真就是个形态。

【嘉宾】这种感觉，然后包括他其实就大家现在可能更熟悉Umi，就是作为一个机器人收数据的一个手段。其实很早之前，阿弥纳也做过另外一个，就是我忘了他起的是什么名字，反正他当时就说，我们就先把军场买一个五刀一个的东西。这个东西呢，就是一个很长的一个杆，然后这个杆的末端是一个小夹爪，然后你按这个杆，它就会夹爪夹住。他说，我们就是这个杆去收这个数据，跟现在的Umi有异曲同工之妙。然后当时就是好奇心驱动的强化学习，所以他其实我们在谈他的这个以前的工作的时候，更多是把他归类到做强化学习很出名的这个学者之一。然后Deepak和阿弥纳现在是共同创造了Skilled，也是硅谷非常有影响力的一家机器人公司，也是做具身智能的大脑。

【嘉宾】嗯，都是做大脑。创业公司，然后还有一些大公司也都做大脑。

【嘉宾】这些的话，就机器人其实大家做了这么久，而且我相信很多做机器人都有信仰，就是什么东西能让信仰成真，不同的时期都有不同的，大家叫Hype吧。嗯，就是这一波可能是机器学习，也是我们现在投身的这一波。之前还有一些做SLAM的，是，包括我觉得之前做这种假设也是算，然后更多之前传统的那个时候，前面这一个派别是。

【嘉宾】没有吧。我觉得我相信我做的东西，所以我做起来快乐。所以我们做的这个，就是批评或者指出，还批评你什么呢？

【嘉宾】导师就说，那你们这样是不行的，就不够好。你看我们传统做控制所有人都能上真机，你要把你们这个东西放上真机。我觉得它是一种，就是在这件事情上面走得比较早吧。因为可能对当时还是一个新兴的领域来说，如果去一个专门研究新兴领域的时候，可能没有那么多的去想落地，想怎么样表现好这个事情。但是因为导师是从传统控制出身的，他们这些衡量指标很多影响到了我们。

【嘉宾】经常会啊，因为信仰不一样，信仰不一样，想法不一样。包括像我们这种，哎呀，喜欢偷懒嘛，就是我自己做强化学习的一个很大原因就是，如果一个事情我不需要理解它的原理我就能做出来，我还是做出来啊，对不对？导师就会觉得这个不优雅，而且就是没有什么保障。我说优雅我们保证不了，但是保障我们可以再多做一点研究，看看能不能给大家再搞上保障。所以他是有一个本质性的就是，对于解决问题的方法的喜好吧。我觉得我就是那种黑猫白猫抓到老鼠就是好猫的这类。你只要只要你能够把你这个任务定义得非常好，咱们就可以优化。导师就会觉得，你这个力学的这个作用，什么摩擦力的建模你都不太懂，你怎么就在做这个任务？我说，

【嘉宾】说不定这个任务不需要你懂这些的，我们的目标就是让很多不懂这些前置知识的人都能把这个任务做成。就怎么样让这个信息的流动变得更加轻松，是我觉得我们的一个主旋律。

【嘉宾】所以你很大的一个驱动力是使用？我觉得是使用，而且是一种信仰吧，就怎么把它做出来。我要在当下时间点选一个我觉得最有可能做出来的方法。我不太相信传统方法，我觉得就是我们应该都能benefit，就是从传统方法中受益。但我不觉得就是我们传统方法就够了，我觉得这个是大家其实比较有共识的。就是如果把所有的问题都抽象为一个投入和产出曲线的话，传统方法是一个你投入多少、你的产出比较清晰的一条线。因为当时波士顿动力，波士顿动力比如说不是能动力的，他们做这个后空翻是非常非常牛逼的，因为当时都没有人敢做也没人敢想，但他们做出来了。但他们代价是很多很多的工程师不停地去调试这个参数，去适配他们想做的这个任务，去做到他们想做这个效果。你再做一个新的任务，你还是得有这么大的一个投入才能把它做出来。

【嘉宾】而我觉得机器学习的算法，第一是我们不要工程师来做，对吧？我们就是通过各种的设置，让算法自己来做，你作为一个工程师你的工作量就小了。比如说现在的这些很多比较酷的跑酷的视频，可能就工作量和那个年代不可同日而语了呀。然后第二个就是，一旦一些事情就是需要更少的人力去做以后，我觉得就是交互也会发生变化，怎么样让普通人都能够交互。比如说现在这种发展，我觉得可能刚出现的时候还是一种比较小众的，你要用，因为它有时候不好用，你要做一个专家知道怎么去用，才能用得更好。我觉得机器人现在也有点处在这个状态，就是可能可以跑，但是你可能需要专家来大概了解它跑的一些问题是什么，然后提前做一些修正才能跑得更好。但我觉得总体的发展趋势是，让一个普通人也可以非常自然地去和这个智能体交互，得到它想要的一个结果。

【嘉宾】因为我觉得在传统派别主导下的机器人发展，当时极大地限制了它的一个构形。

【嘉宾】这个我真的不知道，得问三倍。但是我觉得看到一个狗跑起来，我作为一个机器人行业的从业人员，我也觉得受到启发。我觉得这一波大概在17年到20年吧，因为我们在华大有很多不同的实验室，有隔壁实验室他们是做狗做得很多的。嗯，就作为一个硬件平台，它的可获得性相对而言还不错，其实我觉得可能比机械臂还要好获得。

【嘉宾】为什么？操纵系的一个绕不开的难题，就是刚才导师说的这些问题，就是我不知道这个摩擦力。其实每一个物体它都有可能不同的摩擦力，这个画桶呀，我们自己的衣服呀，还有这些褶皱呀，就千千万万的事情，就很难去建模。然后如果用传统思想去做的话，你都要建模，你不清楚你的行为会有什么后果的话，你怎么能把这个问题解决？而狗的话，它的这个接触更多的是一个顺势的，就是我这个腿在这个地上跑，我只要碰一下，然后很多时候它是不太需要你详细地去搞明白我的这个腿在这个地上的摩擦力。所以我觉得这个问题的需求，就是狗可能需要更少的物理知识，而操纵系需要更多的物理知识，所以造成了就是操纵系做出来比较好的东西可能要少一些东西。

【嘉宾】变成相对大家更云投资源、更关注的一个方向。嗯，我觉得身在此山中，很难讲清楚。但是差不多就是疫情那会儿，第二、第三年的时候，我当时刚加入实验室的时候，做了一些比较偏理论的工作，然后也是在模拟系统跑，所以导师就说，在模拟系统跑最好有什么用呢，要上真机。我就大概在一八年的时候，开始从头弄了一个机器人，就做了一个筷子机器人，是我买了一些组件组装，然后搭起来，给它写系统，给它写训练，让它跑起来，后面还给它做了很多建模的工作。然后当时开始做这个，能够跟同学交流，就只能说，如果有一个新的方法，它有可能成功，我们在做我们的问题时候，就要去继续地去尝试拥抱这种新方法。所以当时实验室里其他人的项目，都或多或少——也不是说我直接参与，可能都给他们一些反馈——就是说实验室里有一个人在做这个务实的项目。可能就是说，有些人他生活不太能自理，我们怎么样通过一个机械的轮椅，可以去给这个食物来给你喂食。他们本来的这套流程是非常传统的，就是你先搞明白下面要吃一个果切，这个切了一半的果子在哪里，它的路径是这样，我们路径规划过去，然后一个什么样的路径，把这个果切插到这个叉子上面，然后再一个什么样的路径，给它喂到这个人。就这一套思维比较传统，但是他们是有一些可能一些限制的，比如说这个果切的位置在哪里，他们是依赖于这个。哎，那机器学习的机器人可能可以做的话，我们可不可以把这一端，就不光是用一个视觉别人训练好的神经网络，用我们也积极地去尝试，就是让这个机器人自己去机器学习一样，去设置，就是去学习或者发现一些更好的路径。所以逐渐开始，我觉得大家也会讨论就是应用到不同的问题上的可能性，就逐渐开始接受。

【嘉宾】当时，我忘了是怎么回事，就是跟导师谈。

【嘉宾】聊天的时候，就突然发了一条暴论，就是说，我用筷子能做百分之九十的问题，百分之九十桌面的问题，还是什么问题，就是夹和放这种问题。我一直是，之前是有一些觉得，筷子好难，筷子只有两个指点。对，就是因为我觉得用筷子能做的话，其实如果算法在筷子上都能成功，那它说明在其他方法上可能更容易的成功，就是要做一个非常难成功的东西，把它做成功，我觉得剩下的就可能是一些工程问题。就是这种做事情的思路，也是我自己比较喜欢的吧，就是你做一个非常难的问题。

【嘉宾】然后当时就是跟导师聊天，你也知道，就是我们这个派系，其实是非常相信简单的机械手的，就是有眼，但有眼。所以当时就，他打了一个赌，就是说，不是不二吧，就我跟他说，我想做一个自己的机器人。他就说，你想不想跟别人一起。我说，为人机器人虽然很好，但是他们的这一套系统已经写完了，这个系统太传统了，我觉得它不是很适合，我想做这个机器学习，我想自己弄一套东西。他说，那要不你可以自己从头搭一个。我问搭什么，对吧。然后我就看了一圈，我说，我们要做一些操作非常难的，就是比如说之前美国电影里面，其实是有什么筷子、枪影这种，就是对中国武术的无限的畅想。所以，你能把它做出来就可以毕业了。我说，那就好，那就开始干。然后就从实验室的仓库里面，捡了一个别人其实之前用过，后面就没有常用的一个组装部件，然后我们就可以自己自由组装。我其实很喜欢这种自由度，所以开始做起了筷子机器人。

【嘉宾】后来做什么程度，我觉得应该就比较有代表性的工作有两点嘛。就第一点，是做模仿学习的任务。其实背后的想法是这样的，就是机器学习，它是一个天生就带有泛化性的一个希望的一个东西，就是大家都说，如果机器学习在，

【嘉宾】问题A上能守，那它就能够比较无缝地衔接到问题的二三四五六。但这个时候传统派的人可能就会说，你在问题A解决了嘛，你的问题A做到了什么效果？就是如果机器学习的终点是……所以我当时就想说，那我就先在问题A上面把它做到极致。

【嘉宾】当时呢，我搭了一个机器人。不好意思，我们是手工搭的，也没有针对很深厚的硬件背景，所以它显然不是就是按照传统的人来看，不是一个最好的机器人的形态，然后里面的很多这个力啊，可能都没有调特别好。我当时就说，如果没有数据驱动的话，我就偏要在这上面做出来，因为我相信数据驱动，因为数据驱动一个很大的验证点。

【嘉宾】但是如果我做一个人去遥操纵这个机器人的话，它再不准，我都能让它做到筷子夹小球这么一个。就是我们老板，他也不那么会用筷子嘛，他自己用筷子他都做不到这个，但我可以操纵了这么一个不准确的机器人去做到这件事情。我就跟他说，你看，硬件已经搭完了，然后硬件你觉得不太好，有点嫌弃，没关系，只要它的这个操纵算法是和我一样，用这个筷子去夹一个小球，即使它的每一个关节上都有一些参差不齐的怪异的挑战，或者一些误差这种不太准确的东西。所以当时就打了这个赌以后，就第一篇工作其实是2018、2019年就做出来了，可以用筷子去夹这个小球。

【嘉宾】虽然这个问题，这个做出来的方法是有很多的，就模块化的东西，现在看来多于有点过时了。比如说当时是需要有一个外在的一个，在这边在极限性地去抓那个小球，现在可能都更加端到端了。然后做完这个工作以后，就跟导师说，我觉得不够。因为我夹的还是慢了一点，毕竟我是遥操纵这个机器人，我就时时刻刻在调动、调整自己的动作。就我是在尽力地花费了好多的精力去给机器人提供一个非常高质量的数据，让它能够更好的学习，但这样的话，

【嘉宾】太累了，我们懒人去探索、去发现怎么样超越我给它的这些数据，让它做得更好。所以后面的话，工作中心就转到了强化学习，开始做了。让机器人去在现实生活中做这个事情，不断地去练习，通过练习、归因来让它变得更好。我觉得这个是有点像……可能之前会看一下奥运冠军的访谈嘛，看他们的训练，就来激励自己，就觉得要想做好一件事情，尤其是这种动作性的事情，就要搞出一个最适合你的机体的策略，并且不断地锻炼你的机体，让你就是刻出个肌肉记忆嘛。对人来说，对机器学习来说，我觉得其实就是个强化学习的过程。

【嘉宾】对，我就是从理论的机器学习开始做，然后不太满足理论，想做应用。然后做了应用以后，第一个算法其实是一个机器学习的终属算法，只能在simulator，在模拟器里跑一跑。然后后面不满意，做了真机。做了真机，开始做模仿学习，做强化学习。最后这个强化学习的工作，其实是可以……在空中有一个非常会晃动的小球，人家都有点难度，但是我可以用这个机器手去给它夹住。因为它还是可以夹一个玻璃球这种准确度，就是这种准确度确实比一般的机器学习的……我们后面还会再来聊强化学习。

【嘉宾】我觉得彼此联结，我觉得大家可能或多或少都是有一些觉得你做你最相信的东西，别人的东西你可能没那么相信，你相信的话你就去做这种感觉。因为在今天可能Model-based Learning已经变成了一个相对来说重视的，我不知道在当时他们真实的状态还是什么样的。

【嘉宾】我觉得优雅是很主观的。在当时那个年代，我记得就是在我读博过程中，我们是从一个比较新兴的一个分支逐步变成了一个大家比较愿意接受的一种算法。在当时是有一些……

【嘉宾】质疑的声音，我觉得他们质疑其实也非常的正确，他们问的是一个基于事实的问题，比如说，你什么都能做，但什么东西都做不好，那么要这个算法的用处是什么？我觉得在当年这是一个非常有意义的拷问。就是当时大家做很多东西，你往前看的时候是不明白，往后看的时候可能才发现能够溯源到某些代表性的或者有贡献的作品。而当你决定下一步做什么时，你杂糅到这个目的，我觉得自己的研究起码是受到这种思想的启发，就是我想让机器学习在一个问题上至少能做到极致，这样别人在把它泛化的过程中，可能会比较简单，因为它可以从我的这个经验中，直接放到别的任务上。泛化和表现的冲突，还是最核心的一点吧。

【嘉宾】即使到今天，我觉得这个质疑依然没有完全消失，甚至包括我们作为从业人员，也是在一直思考。在工厂，比如说造车，你要用一个很大的机械臂把这个玻璃给放到这个车上去，这是一个传统已经做的非常成熟的、成功率、稳定性都非常有保障的问题。你现在用深度学习拿到的这种算法和表现，和传统相比的话，可能暂时还没有人能够说，我们这个鲁棒性是和传统那么一样的，今天都还是一个研究的前沿性的一个问题。

【嘉宾】另外可能当时我觉得还有一个比较有意思的就是，我不知道你听说过一位学者叫Jitendra Malik，他是Berkeley的一个做computer vision很有贡献的教授。他之前说了一个很有名的话，这个话太好玩了，Robotics is far too important to be left to roboticists，这个话其实有很多不同的解读方法，其中一个是不太友善的。

【嘉宾】全是方法。可能是说机器人太重要了，这帮搞机器人都不行，我们上层才能把它搞出来。但我觉得也有一个比较友善的方法，可能是要想把机器人搞出来，必须得有不同行业的人群策群力。我觉得这对当今的机器人大模型发展是有启示性的。比如说，我是一个比较传统的做机械本身，还有这个表现精益求精的，我也会做算法，但是在我的领域之外，有很多这种做视觉的人，他们有更多的如何引入更多数据、如何训练更多数据的经验，包括做这种大模型的人，他们有更多的大模型学习经验。我觉得机器人的成功一定是一个各行各业都放到一起来的，有软件算法，有不同行业的训练，有大模型，甚至包括产业链，才有可能把机器人做出来。

【嘉宾】偶然性的是有一些的，因为西海岸这边就是斯坦福、伯克利，这个硅谷旁边的两家大学都有很多新的。我觉得东海岸也是有，但是有一些从最早的派系发展，当然就是现在的CMU和MIT这两所学校，他们有很多传统派的学者，也有很多就是新兴的学者，大概就是最近五年找过去的。还有一个比较好玩的事情是，大家不管在哪儿做，好像最近这两年都是在往硅谷这个地方跑。我有很多朋友啊，不管是在波士顿那边创业，或者说公司的办公室，都在硅谷。

【嘉宾】东海岸的那个传统派别，他们已经认为，就是信仰应该发生转变了，还是说我还坚持自己的信仰？我觉得有两点吧。一点就是我觉得很多人都在积极的拥抱和探索，就是相当于你本来有一个工具，学校可以做很多事情，一个工具学校你不一定就是赞同他们说的，就是这工具学校有什么激动，然后现在你可能看到一些东西以后，你是愿意去转变说，这工具学校可能很激动，我们怎么把它探索实验起来，你有可能是做结合，也有可能换方向，也有可能就是你又开放了一个新的嗯方向，我觉得这个是时时刻刻走在发生的。然后另外一边的话我觉得嗯，传统派的人其实他们我觉得是有非常多的这种专家的，有非常多的嗯就是硬件转化或者说这些就不同的工程的体验，就是他们如果能够在很多现有的项目中分享一些见解的话，我觉得他们讲的都非常有道理。比如说昨天晚上其实我还剩下读一个博客，博客上面就在说了这些电机的一些问题，然后这个博客的作者也在墨尾也感，就是他是一个搞技绩学习出身的，然后在研究电机，让他也感谢了很多传统派的一些知道。

【嘉宾】博客我只能分享一下就我理解到的一些，就是接触到的一些事情。嗯，我感觉和Skild的两家都是有比较浓厚的就是学术人创业这个标签，因为两家的创始人和联创都是在嗯学校当教授，而且有些就是比较高产的教授，两家的口号也是有些类似，都是想做具身智能的。

【嘉宾】一个通用的大模型的大脑。然后在区别上来说呢，其实一方面我觉得在应用上面，π更多考虑是一个双臂操纵，就是还是想把操纵这么一个问题可以解决。因为可能我觉得在π加入的学者，后来我都觉得就是之前在移动方面取得了很多很好的成果，我们现在应该想想怎么样在拿东西、放东西这个方面取得很好的成果。因为你可以暴论，暴论就是你如果能把pick and place这么一个拿放的问题解决，你可以把整个生活中所有的家务都干掉，你不就是抓取解决的问题。

【嘉宾】另外一方面我觉得在Skild的话，相对而言他们有更多的就是退一步对人形和狗的一些探索，我觉得这个是相对而言更多的，他们的狗型更完整一些。这倒不一定，因为现在人形机器人如何装操控器，其实是还没有解决的一个问题。他们有很多就是他们现在能看到视频里的话，相对而言他们在操纵的这个任务都比较简单，然后就只是一个移动性。我觉得并没有完整嘛，因为现在我觉得并没有convert统一到一个好的，一种形态它既能做很好的移动，又能做很好的操控。

【嘉宾】所以大家各有侧重。然后其他的公司的话，我觉得就不得不提一提很早之前就在做人形的公司。我觉得其实特斯拉在2021还是2022年的时候，当时的一些硬件就已经开始有这个热潮去做人形。然后Figure的话应该是2022年开创的一家人形机器人公司，他的创始人据我所知的话并没有一个技术背景，他是有之前成功创业的一些经历。我觉得是很有意思的一个人，因为他能在2022这个时间点做一个他都不是那么熟悉的一个新的领域，因为他相信这个。

【嘉宾】我觉得这是非常有意思的一件事情。然后相对而言，玩Lex的话，我听说是创始人其实是深耕了这个机器人的电机，他们是做全驱的，全驱的人形机器人比较独特。然后Dana的话，他的创始人，因为这个Dana创始人，他们是相当于是认识的，他们是有一些创业的背景，也有一些技术的背景。我觉得如果用一个标签去形容他们的话，可能他们是更强调商业部署落地的，在一个具体场景，比如说我们都看过他那个叠衣服的场景，对。就比如说，我觉得如果看看他们在2024、2025年期间所发表出来一些东西的话，可以形容为就是，有没有可能就是机器人已经可以进家落地，并创造一些商业价值。同时这个商业价值可能能给他们带来一些就部署上的优势，就以后随着这个机器人大模型的这个能力越来越上，做部署比较早的一类。

【嘉宾】然后其他的其实也有，因为当时我觉得是2023年到2025年是井喷式的机器人创业吧。就不得不提2023年出的这个黄埔军校，机器人的黄埔军校应该还是谷歌的这个研究所。因为当时其实时间点非常有意思，2021还是2022年，ChatGPT出来了，效果太好了，其实动摇了很多人的这个想法。当时就是做什么东西，这个课题是有很大的一个变化的。然后包括谷歌当时也是做了一个比较大的动作，就是把他们的机器人的部门给，就是变相的削减了一下，就是为了给他们做大模型可能抽点人扔过去。但这个其实也挺影响大家做机器人的研究，所以很多人就趁这个机会出来创业了。

【嘉宾】派的创始人就是都是在谷歌之前做的，那skill的话，其实他们两创始人之间……然后Figure 1X应该也吸纳了不少从这一波里面出来的人。然后还有比较关注的，当时还有两家公司也是从这一波里面出来。

【嘉宾】一个是叫Generalist AI，一个叫Sundial Robotics，这两家公司的一个比较共通的点是，他们都相对其他公司更多强调了用UMI作为数据采集的一个手段。UMI的话呢，是这两家公司的创始人其实是在一个paper上，然后这个paper就是UMI's paper，他就说了，我们可以做一些设计好的一个爪子，人就可以抓着这个爪子，去自己生活的这个世界里面采集各种各样的数据，然后并且证明了，这个爪子收到的数据是可以迁到一个机器人的上面的。所以他们两家公司更加重视这方面的发展。然后我觉得可能Generalist AI就会稍微偏重工业化场景应用一点，就是从他们发放的视频里推测的。然后可能相对的话，他们发的视频就更多的有一些就家用的这个场景体现，甚至包括他们的这些机器人也比较可爱的，就目前是看到比较可爱的机器人。

【嘉宾】我觉得特斯拉估计它的硬件也不错。创业是一直在变的，所以很难用就今天的思维去想明天的事，但就现在这个快照来看的话，特斯拉肯定是更加注重大脑，我相信Skild的也注重大脑。但是Skild大家创业公司其实都比较神秘，也不知道他重点做什么。然后特斯拉的话，大家一般谈起还都会认为硬件是很强的，毕竟他有这么多的钱去烧。就机器人硬件的研发不是一个很容易上手的东西，不像软件，我觉得软件其实相比而言是容易上手的东西。硬件的话，它的产业链啊，它的这个迭代速度啊，包括它里面的工程师啊，我觉得这个都不是一天两天的。特斯拉之前有造车的经历，造机器人方面大家都觉得它肯定是有优势的，Figure也是一个。

【嘉宾】造机器人是有省区的方式。Generalist和相对的话，我相信其实现在，就包括设计旦娜，就大家可能或者说都会开始设计，是如何弄一个更好的硬件出来。但是你说造硬件到什么地步？可能没有一个嗯能看得清的一个说法。嗯，之前不是有一个嗯笑话，就是如果你是一个认认真真想把事情干成的，没有一家是真的拿来就能用，完美符合了你所想要的应用场景的，软硬一体，软硬一体，我不知道。但硬件其实本身都没有达到这个地方。

【嘉宾】因为我记得你上次跟我聊，还聊了好多，比如说花衬衫，Oh my God，这是一个好好玩的梗。嗯，这个是波士顿动力的创始人Marc，他在我脑子变成了一些二次元的画像。Oh my God，就是你们写机器人行业的各个人物，对，白发老头穿这个花衬衫。他其实一直在公共场合都是以花衬衫的形象出现，包括他给波士顿动力后面的AI以及所设计的这个打法，都是以花衬衫。但这个来源其实是他在年轻的时候，据说啊，摇船，在当时那个年代做研究啊，交流啊，还是比较严肃正经，就是不可有丝毫懈怠的事情。所以当时他这个人呢，穿着一个衣服就参加这个会议，就被别人讲了，别人说了，你怎么可以穿这样的一个东西，有点不太，不太尊重。

【嘉宾】对，他其实有影响，也有华人的学者是他的学生，现在也成为了比较知名的教授。王小龙，他现在在UCSD做教授，他是阿比娜的学生。阿比娜当时是挺有意思的，他做的事情就是感觉打一枪，然后你还没明白这枪是什么意思，后面才发现还真的有点意思。他就是一个天马行空的，就是你跟他开会的时候都不知道他下一句会说什么的这么一个人。

【嘉宾】对，他的思维就像是一个点的。

【嘉宾】我觉得我能够欣赏大家的优点，但是我还是比较崇拜什么游戏，创作这个小说，先做人。这个只是生活，生活和工作分开。

【嘉宾】我觉得人文故事，人文故事是生活。对，工作是一种优化，是一种很纯粹的，就是把大家的好给吸纳在一起的这种态度。

【嘉宾】我觉得接触是肯定要接触的，我也能越来越多的感受到确实要把机器人做成，是得在一个团队的环境里，是得吸纳大家的所长，有各行各业的人加入才能把它做成功。而不同之处的话，我觉得，比如说就这么讲吧，他还收了一条数据，大模型的人可能就会想说咱们收过一百万条这样的数据怎么样，然后我们就可以拿到一个数字，然后有这个数字以后我们就让这个数字变得越来越好。然后作为一个更多搞传统机器人出身的人，我们可能会先想的就是这条数据长什么样呀，我要来看看他的这个动作，他做这个东西，甚至包括他这个当时的硬件条件，硬件环境的这些设计。

【嘉宾】就是你能看到，相对而言，机器学习的学者会更多的在意就是这种物理的动作。而大模型出身的学者呢，他们经常会比较飘逸地说，哎呀，现在这个信息好像不够全，他们想要加一条进去，或者补一条进去。我觉得这个可能是，你做很多次机器人，你会习惯了现在机器人的一些感知的一些系统。而大模型的人可能更多能跳出这个框架，去思考我们现在要什么样一个信息，才能把这一身做成。

【嘉宾】我们其实刚才顺着吧，每一个机器人公司的Bet都有讲一遍。Bet，我觉得我不能替别人公司讲，我只能讲讲我自己的Bet。但是从你能观察到的公开信息来说，我觉得特斯拉是专压人形吧，他应该是人形路线最激进的一家公司。因为就拿最简单的事情，就在人手，我有我的相信吗？我现在觉得手是一个有的会非常好，但现在没有关系，不是必要的。但特斯拉他就更加的强调说，我们要搞一个终极形态，我们一定要把这个机器人的方法、秘密做得都很人形上，他们是有很强烈的一个人形的一个信仰的。而谷歌，我觉得他们因为有自己的大模型Gemini，他们做的比较成功的，比如说有多模态能力，Gemini的多模态能力，图像生成和图像修改，是现在大家都比较津津乐道，也会在日常中使用的。可能对他们来说，机器人也可以是这个模态的一部分，会给他这个模态提供一些空间感知、空间规划或者空间控制的一个能力。所以我觉得他们在，也许啊，我猜的，他们在这个走机器人路线的时候，是更多是想的，说机器人如何成为这个多模态大模型的一个部分。而英伟达的话，江湖的笑话就是英伟达做的所有事情都是为了卖卡，所以他们有很多，就需要烧很多卡才能完成的一些项目，比如说像世界模型这样的项目。但是通过这个过往的经历一次又一次的证明，有些时候真的就是数据多了卡多了，效果就上去了，所以大家也很期待，就是他们这样做能做出什么，就是。

【嘉宾】可能一些计算力更大的，一些更加简单做到也是一种美，我觉得但是其实做的时候，可能每个学生也要发挥自己的一种设计的长处。在英伟达做研究，会不会卡更重要？

【嘉宾】我觉得硬件方案大家多少不会那么公开的讲，你只能从他的视频里推测。

【嘉宾】我觉得硬件其实我也不知道，但确实大家在公司工作，或多或少遵循公司的一些保密原则吧。

【嘉宾】我觉得软件其实也很保密。英伟达应该算是一个比较独特的地方，就是在英伟达这里，我们还是有一些学术界的影响，觉得要发挥影响、发表也是你研究的一个部分。其他公司的话，就我目前的感知觉得没有这么的开放吧。甚至包括英伟达的办公室也没有那么严的安保，就是有的时候可以带一些同行的朋友去看一看，跟大家介绍一下，其他公司我觉得就不是这样。

【嘉宾】对，通用性更好，这是一些人的信仰。然后另外一些就是非人形的信仰，我觉得其实可以分为两派，实用派还有狂野派。

【嘉宾】我个人是实用派加狂野派，因为可以展开说一下。就是实用派的话，其实我们会觉得这个机器人不一定非要是人形，它就能做很多事情，对吧。而且这些人的很多问题，也许别人可以解决，我们可以后面再跟上。我们现在觉得现阶段最重要的问题之一，就是它的能力、它的表现、它的操控，这些东西它不需要一个人形它就可以做，而且甚至如果你做得好的话，

【嘉宾】你已经可以去，做这件事情了，在现实生活当中去部署，做一些。所以我们对人形，在实用的角度上来说，觉得在现阶段没有那么的有必要。而狂野派呢，这就远了去了。你看啊，这么多年，有车这一个东西，车是有轮子的，自然界中其实没有这么一个东西，但其实现在车上，或者大街上，或者全世界那么多条公路，都是为了能让车跑得更好而设计的。这可能有一种信仰是说，如果真的是一个有用的一种形态的话，大家将来会为了这个形态，去改变你所生存的这个环境，比如说适配。我觉得这个是有可能的，或者说你这个下面，下面这个轮子，你好多轮子都可以，就是它可以充分去想象，去想有没有可能，就是一种生物的、自然界的演化链过来的一个形态，它其实是最好的一个形态。然后你这个形态做了以后，因为机器人它是可以换的，你的手坏了可以换。我个人就是比较相信，也许一个成熟的机器人的形态，就是它的动态组装性，换成一个更适合的东西，就像它的工具一样。

【嘉宾】现在想不了太多，现在就想把现这个构形表现做好。因为派是要追求做通用大脑，对，那直觉来看，要做通用大脑，它就应该适配一个更通用的构形，而人好像就是那个最通用的构形，因为也刚才说的，就是现实世界各个东西都是为人来设计的。

【嘉宾】我觉得，通用大脑的通用，大家可能有不同的诠释。做一个具体的构形的通用功能，是通用的一种做法；而做很多构形都可以受益的一个大脑，是另外一种做法。而且也没有人说，就是你做很多构形都能受益的大脑，它就不能在人形上面做，只是说，你们希望覆盖的构形更广阔。

【嘉宾】就不只是人，没错，就是派的模型都是要在不同形态的数据上面训练，并且可以在不同形态的机型上面使用。只是现在可能能看到的只是这么几个具体的构形，但其实没有放弃就是说这个大脑得在不同的机型上面都能用起来。因为人操控的道理是一样的，我不管是开车、开挖掘机，或者是去操纵这个腿怎么踢，或者说一个机械手它怎么去做这件事情，我都是由一个我的大脑去操纵这么多不同的构形。我觉得这个才是通用大脑最本质的一个定义，而不是说我去做了一个人形的大脑它就是通用大脑。

【嘉宾】我觉得任务的复杂性是可以拆开好几个层面的。比如说人形它因为关节多，所以你要同时控制这么多关节是有些难度，但是你做的具体任务的难度，我觉得和人形是可以完全不相关的。就像我之前说的，我们其实非常相信一个任务，比如就假设你要组装这个麦克风，这个步骤应该很多更加简单的双臂机器人来做，它都是完成一个很难的任务。我觉得在现阶段对我个人来说，完成这个很难的任务比你用什么构形更重要。甚至我个人觉得，你用简单的构形做出了一个更复杂的任务的话，将来你再去控制人形做这个应该会更简单。因为你更复杂的构形可以提供的功能可能更多，它的操控虽然难，但它的灵活度确实更高，做事情可能更容易。所以如果我能用简单的构形去做成一个非常复杂的任务，我觉得它将来能够迁移到人形的概率也是非常大。

【嘉宾】其实，我们并不理解它这么多的技术细节吧，只能是从它的视频里推测。就是他们有很多，因为他们可能相对而言更靠近商业部署一些，所以他们有一些可能现阶段就已经开始做了一些人形和狗的这种东西。你看其实我们也有一些最近的一些发布，就是有一些合作伙伴的机器人公司，包括之前一直没有停止过帮助合作伙伴的这些机器人，不管是不是人形还是什么其他的形态，用上我们的大模型去做一些事情。

【嘉宾】我觉得前沿frontier方方面面咱们要走的路还挺长的。我觉得其中一个比较切身感受的是这个evaluation，就是评估。这个问题必须走过这条路。自然语言他们当年就是深有体会的一句话，叫你来给他打分，你怎么打分也是一个不容易的事情。但是在机器人这边呢，就更加糟糕的一点就是，你还得在机器人上跑你才能知道他做了一个什么事，你才能给他打分。就不光这个分有点难打，而且你还得受到这个机械、物理的限制。很多时候呢，就是只是一些变化什么的，可能你自己不知道，然后他就会影响。就是在最终的成品那个阶段，应该是不太怕这些细微的改变，或者说一些，比如说你要拿这个杯子对不对，假设我们现在做这个任务就是拿这个杯子，你把杯子放在这个桌子的任何一个地方，是一种扰乱他的方法，就是看他是不是每个地方都拿起来。你还要看不同的光照，不同的背景，还要看这个桌子高度，甚至可能不是一个桌子，而是一个倾斜的桌子，就是有这些无穷尽的一些初始条件，很有可能都会影响到。

【嘉宾】我觉得确实在研究的角度、看问题的角度、想要做的任务上来说，是分散且百花齐放的。但我觉得在宏观上面来说，其实每个人的命题都是类似的吧。如何让一个机械的实体，它在现实生活中做一个任务，或者做很多任务，它的表现好。只是你这么宏大一个命题，得有一个抓手开始做，每个人选择抓手可能不太一样。

【嘉宾】一台机器人是怎么诞生的？哦，机器人是怎么诞生的？我觉得这种命题可以讲到原子级别，但是我这个人的工作的范围也是比较有限，我就从我认知的范围里讲一讲。就是一个电机已经被制造出来，那么我要做的事情其实就是，因为电机它就是一个会动的一个关节吧，可以这么理解。这个会动的关节，你就把它连在一起，它就成为一条机械臂。你看，你人的手臂其实是有非常多的关节和更多细小的肌肉，而现在的机械人这个形态，就是几个比较大的关节，可能比较流行的就是六个关节或者七个关节，组成了一条手臂。然后活动方式来对照的，因为机械手基本都会有一个大的一个主关节，然后会有一个腕关节，然后包括有一个肩关节，就这个都是比较通用的。你就把关节放在它想要的位置，然后做一些3D打印硬件或者金属件，或者模组跟想象的情况，把它们固定的组装起来。这样每个关节动的时候，剩下的就会跟着动，所以就成为一条非常原始的机械臂。在机械臂能够是系统和驱动的东西，比如说最低层次的话，其实都是是通电或者气压，就是你给它发了一个什么信号，然后它就会收到这个信号，就会开始做一些动作。然后很平常的一种操控手段，就是用一个位置操控，就是我希望这个关节现在是一个什么90度角，把它变成一个180度角，我就会发送这个。它需要在关节的层面，然后再往上一层，你怎么决定你要发什么样的这个位置讯号？这个很有可能就是需要你有一个大脑，看到当前的这个任务，然后决定为了做这个任务，我要在桌子上拿一个东西，我得先把手抬起来。他是要需要理解这个任务，然后理解你的这个关节，然后去做一个把这个主关节往上抬的这么一个决策，再发给这个机械的这个关节，再关节再实行。实行以后就有新的一个场景，新的场景大脑就看到我现在已经在桌子上面了，我要做下面一步动作的话可能就是往右、往左。我觉得这个是一种两层式的一个思想吧，就是有一个大脑来做一些决策，做成了一个你能听得懂、能执行，然后也能够比较方便我们去做一些调试的一个东西。然后同时呢，它也有一个更底层的东西，去把它翻译成一个物理世界更原始的一个东西。

【嘉宾】好的，我觉得要了解π的工作可能一个比较好的方法是看π的几篇主线发表。之所以说主线发表，是因为我们觉得主线发表的命题

【嘉宾】是可以推动整个领域往前进的。π有三篇主线发表，第一篇是π0，它的关键词应该就是能力；第二篇是π0.5，它的关键词是泛化；然后最近的这篇是π0.6，它的关键词是表现。就是在π0刚开始做的时候，我觉得大家都非常激动，可以用有了一个非常好的架构，然后可以用一个大模型的思路去做机器人。但没人能知道做成什么样，也不知道能做成什么事。当时在2024年初，π0创立就想做一些之前做不到的事情，但是具体要把这些做不到的事情给做出来，就是π0的这种旅程。因为其实π0做了三个任务，第一个是大家可能比较熟悉的，就是叠衣服。我觉得我们应该是在2024年发表，2024年11月的叠衣服是一个让人比较耳目一新，就之前从来没有看到过这种级别的任务的表现。然后第二个是叠箱子，叠箱子、叠盒子也是一个“这个东西真的能做吗？我们不知道，我们来做一做看”。然后当时还有第三个就是bussing，就是去桌子上去抓拿放，但是你需要前所未有的这个物体的多样性，却都能够处理得很好。所以这三个任务当时奠定了，我觉得是奠定了大模型能在这些以前想都不敢想的任务上表现成什么样的一个基石，所以注重的是表现。

【嘉宾】然后第二个任务呢，π0.5是泛化。泛化的意义确实我觉得至今也是存在的，就是你大模型训练出来以后，一个强化学习的根本问题就是这个所谓的in-domain和out-of-domain，就是你数据内的和数据外的。如果你训练好了以后只能在数据内的范围里表现得好，放到数据外就没有用的话，那你这个影响不就很有限吗？所以就很强调这个泛化。就假设你做了一个任务，它是在这个房子A里面收集的，放到房子B、放到房子C，或者说你要探索你要多少个房子，100个房子、1000个房子，你在这些房子里都收好数据以后，你才能在第101个房子里面得到一个很好的效果。所以π0.5的出生我觉得是想要探索就是我们的大模型能不能够泛化，并且泛化的一些条件是什么。同时当时因为π0和π0.5之间也是有一些其他的发表，可以等会再说一下，就提升了大模型的一些表达能力和分层能力，使得它能够实现这样的一个泛化。

【嘉宾】所以当时我们是在很多Airbnb里面收集了数据，去到这些别人的家里。因为是走出去了，就不是我们控制的一个办公室的场景，不是谁控制的一个工厂的场景，而是真的就是杂乱无章的别人的家里面，去做了一些日常的任务，做了这么一个数据收集。并且研究有了这些数据以后，到新的家里面表现会是什么样。当时一个比较令人振奋的点，其实是大概收了，我记得paper里写的应该是有100个家。然后你在试着把这里面的这些家给去掉，你看你需要什么地步，它有增长。就是我们感觉这个水线是放缓的，就是可能也不需要真的在世界上所有人的家里面都收了数据以后，才能在他们家里面干活。你只是有一个数字，你可能收到那个以后就可以了。就是我们觉得这个是泛化比较令人振奋的，就是你in distribution，这个数据内是有一个尺寸的，达到这个尺寸其实或水就够了。

【嘉宾】标题其实大家……我怎么觉得Chelsea是出了这个标题。

【嘉宾】对，但是每一篇paper你看应该都有一个科幻小说的一个引用，这都是Sergey写的。

【嘉宾】我不记得，这个只有Sergey给记得。

【嘉宾】然后后面到了π0.6，这也是一个我觉得我们非常地需要回答的问题：表现。就是又回到之前的这种，如果你做什么东西都可以，但做什么东西都表现半吊子，那么这个模型的用处究竟是什么？所以π0.6的出现其实就是想回答，假设我们现在真的想做一点事情，就把想法做好，我们到底怎么样把它做好，随时提升这个表现。而且π0.6我觉得这也是我参与非常高的一个项目，因为我是强化学习界的团队，这个是我们的第一篇工作发表出来，强调了很多的方法上的简洁性。但是在最后的表现上更多的是强调，如果有一个智能体，它差不多可以在一个任务上做了的话，你就去收集它的体验数据，让它在真实世界中去收集它的体验，把这个数据放回它的训练池中，它其实可以达到比之前那些固定数据更好的效果。

【嘉宾】我觉得它对于我们数据收集是有相当大的启示意义。什么叫体验数据？就是它自己做的这件事情收到的数据。平时我们收集真机数据的时候，是有一个手臂，比如说我加一个手臂，我就给你看到这个桌子上面，我简单就可以通过遥操作就让它干一些事情，你收到的数据其实是这么一个机器绑在这个桌子上，然后做了一个任务。它其实可以不遥操作，它可以让它自己去做，做了以后它可以把这些数据都收集起来，就是数据的来源其实可以很宽泛。我觉得之前其实很多人会说，就是我们机器人领域都靠人来要操纵的话，这个数据收集又慢又不好，我觉得是可以再提升一点。但确实是有这么一个隐患，就是以后可能不能够完全通过这种方式收到所有想要的数据。我觉得经过Pi 0.6这个项目以后，我们也有了很大的感触，觉得机器人自己的数据也会可以非常的强，因为它的起点是人给它设置的，但是如果要超越这个起点，还是得机器人在环境中去动作。包括我个人是比较Bullish，就是比较暴论地坚信，将来机器人的价格就是应该又便宜然后又方便，很有可能就是很多人现在对于数据的一些担忧，在时间的长河里其实都不重要，因为你可以让这么多的机器人在部署的过程中收到的数据都来为我所用。

【嘉宾】就是真机数据我觉得分为好几个方面，对不对？一个是你首先要有一个真机平台，然后你要把真机平台放在人家家里，你还要维护这个真机平台，同时你还要维护一个人，让这个人来做一些任务，同时还要跟这个人做交流，还要做一些规划，就是一个非常复杂的管理的一个问题。但我觉得就是如果机械的价格降下来的话，在这个过程中，我个人认为现在比较大的大头其实是管这个人去收到你想要的数据。但如果你可以把数据的操纵源给放在一边，而是换上你已经训好的一个大模型，让大模型在这里跑，其实你数据的成本应该是能降很多的。

【嘉宾】硬件我觉得永远都是可以再便宜一点，再便宜的。比起五年前肯定是便宜了很多的。

【嘉宾】我觉得这个是动作的一部分还是策略的一部分，就是这个思想其实大概是在最早的模仿学习里，就有很多模仿学习的一个很严重的问题，就是积累的错误。可能每一步骤的微小错误不断地放大以后，会让机器人到达一个它完全没想过的一个非常糟糕的情况，就是人收集数据中不会碰到的情况。而一旦机器人进入到这个情况以后，它有可能就不知道该怎么样修正它的路线去完成这个任务。这个技术问题是有一整套的修复方法的，因此很多人出去的时候都会很强调说，我们不光要收一个完美的人的数据，同时也要收很多就机器人进入到一个不好的情况以后怎么样修复、怎么样继续去完成任务的修正数据。确实修正数据对于一个机器大模型的表现很重要，但是再次强调就是，修正数据也可以通过机器人自己跑来收，这就是强化学习的一个比较本质性的东西。

【嘉宾】黑猫白猫抓到老鼠就是好猫。什么数据真的好用就相信谁，而且是一个Practically的好用。就比如说最本源我是相信真机数据的，但确实我们要承认真机数据的价格在现在这个阶段比仿真数据要贵。但是如果你用，就假设你有个Budget，你有一个十万美金，你用这十万美金收多少真机数据，你用这个十万美金收了多少仿真机数据，可能数字的量是不一样，因为Budget是固定的，数字的量是不一样。但是另外一方面就是数据的质量、数据的意义、数据谁能够让你这个模型做得更好。我个人觉得如果你只有仿真数据的话，你应该不太好做有一些任务，因为它没有触觉。

【嘉宾】甚至Symbology的场景很难的，比如说你要用仿真去做一个叠衣服的仿真，这应该依然是一个半前沿问题。半前沿是因为我现在没有看到一家能够做得非常好，就是谁在仿真器里面做好训练以后，加一点点真机数据就能让它表现很好，我觉得现在不在这个地方。但是也有一些人认为这是可以达成的，所以他们在自己推动这种前沿，所以是一个半前沿。就是谁也不清楚会不会两三年里又有人做了，还真的把它做通了，它可能就是一个非常强有力的一个说出去的一种方法。

【嘉宾】但现在2020年的快照，你要是想做一些跟软性、柔性、衣服、摩擦力，还有这些就是粘，就是这种物理性质非常复杂的东西，你在仿真器里面其实你可能都没法搞出这么一个仿真器，所以你都没法说这个数据。就是我觉得是要非常强调Protocolary，就是你到底能收到什么样的数据去思考，而不是指看我们有1000万个小时的数据，我们怎么怎么样。很有可能你这1000万个小时的数据都是Garbage垃圾数据，那就没有什么用的。

【嘉宾】那它是可以采集的，就是你说体验数据，我觉得现在相对而言叠衣服最简单粗暴就是采集真机数据。甚至包括你看到就是我们都有开源模型的，就是我们开源模型应该也是有一些叠衣服的能力在里头的，你也可以拿它去做一个数据的起点都是可以的。但你要做的是一个通用大脑，而不是这样就是实现一个场景任务的人，因为场景任务其实你做强化学习就可以了，然后你通过采集真机数据，而且这个场景是相对固定的、是有限的，就是这是一套可行的流程，但它不是全部的图件。

【嘉宾】我觉得大家的目标是一致的，是想做一个能在现实场景中、能在很多不同的场景中做很多不同的任务且表现都好的一个智能体。但是要做到这个智能体，真的需要所谓所有的数据吗？就是尤其有一些数据它的相关性是需要考证，是需要人去研究的。我觉得这个就是希望在一个美好的梦想世界里肯定是所有数据都有用，所有数据都有一个最适合它的使用方法，但现在我觉得现状来看，真机数据目前我觉得是不太可取代的。就尤其是你肯定能找到一些任务它不需要真机数据，它就可以做得很好，这肯定是可以找到的，但是因为我们的目标正是因为我们的目标是要做到所有场景里的所有任务，所以我觉得目前真机数据还是不可取代的。

【嘉宾】当时像就是泛化性在派灵这个时间段更多的是有清理桌面任务来承担。因为泛化性的话，清理桌面的这些道具我们是有几百个，就是随便让他们去收，然后就换个什么东西，就是发挥他们自己的，就是说出去的这些人自己的想象力去搞一些这个事情，然后当时我也参与了负责这边的一些策略的设计。然后其他两个任务的话，首先是有泛化性的，因为泛化性它也不是一个单一的标准，它是有很多不同的细节。其中在叠衣服这个任务上，你看就是衣服它的状态是千千万万的，对不对。你这个衣服上多了一个折，那边衣服拐了一下，这其实都是一个不同的状态。你收到的状态不管怎么样还是一个有限的数字，你没有办法去覆盖所有这些衣服可能的状态。

【嘉宾】但你还是能把这个任务完成，其实已经开始需要一些泛化性了，对吧？其次就是你还有不同的衣服，对不对？这是一个红色的，那是一个绿色的，就这些不同的衣服也是一种泛化。甚至包括后期我们在做的π0.6里面的更多衣服的，开始叠不同种类的衣服，它是另外一条泛化的标准。所以我不认为这些任务没有泛化性，只是他们探索的泛化性是不一样的东西。因为当时不知道它能不能做出来，这些任务的一个原因，就是因为知道叠衣服可能会遇到各种各样不在数据里的情况，你能不能做好它。你可这样想，前面这个衣服不管什么衣服，我第一步确实都是要摸到它，但你怎么能保证你的模型做到这个事，你还是得上去看一下，它确实能够去开始叠。

【嘉宾】我觉得指标就快又好，肯定是abstract的抽象说就是我们的目标。但是评估需要一个数字的话，你看π0.6里面就提出了throughput，就是固定时间内的成功的量。我觉得这个可能跟我现在的思想就比较相符，因为这就是我们提的，就是希望你在做任务的时候，考虑到你到底花了多久时间去完成这个任务，这个任务完成的究竟好不好。甚至其实也有一些更加细分的，就是一个任务的成功和失败的定义，是我们打磨过的。因为一个人或者一个机器人在做任务过程中，其实有很多隐含的含义，就到底怎么样去保证你最后的打磨性，能够完全理解人的意思，我觉得也是一个开放性的研究课题。就是他做任务，正是人想要他做的这个任务。

【嘉宾】我觉得中间有一些研究也非常的有启发性。我觉得做研究这个事情，其实就是不停地前浪拍后浪，前浪死在沙滩上，但是你能够打一条浪出来，还是很有启发性，可以为后浪做很多贡献。比如说π，你看π0到π0.6，因为我中间是有两篇我觉得很有意思的工作放出来的。一篇是这个FAST，它是在研究了，就是从一个大模型训练的角度上说，你现在要去预测一个动作，怎么样表达这个动作，就是动作有没有一个很优化的表达空间。所以FAST这篇paper就提出了，我们之前用的这些扩散模型diffusion policy，他们的表达是这样的一种表达，但其实他可以去学一种表达动作的一个方法。然后发现如果大模型就是在这个空间里做预测的话，它会有一些性能上的提升，还有一些方法性的保证。所以这种也是一种非常重要的启发性研究。然后另外一篇paper当时是叫做Hi Robot，就是想的是人和这个机器人的交互，就是人可能会说一个语言，去让机器人去完成。

【嘉宾】但机器人如果只是一条到头，就彻底断断的话，很有可能在一个长达10分钟的任务里，它会有一些迷失，它不知道现在该干什么。所以Hi Robot就是第一次开始，就是非常正式地说，这个应该是一个分层的，就是有一个比较高层次的policy，它会去把你说的这个任务转换成一个更加具体的、可执行的更短一些的小任务，然后再有这个比较低层次的执行端。他们俩其实都是在同一个模型里，但是给这个模型进行了一个输出的分层。

【嘉宾】然后在Pi 0.5到Pi 0.6星中间，应该有不少发表，但因为当时我在忙着搞Pi 0.6星，可能有一些疏漏的地方。我觉得现在回头来看，比较有意思的几个发表分别有这个Olympics。Olympics这个发表是我们公司的一个内部的好玩的活动，就是会不定期的让研究员和数据收集的员工组成小队去玩一个奥林匹克，就看谁能够操作机器人去做一些很难搞、想都不敢想的一些任务。因为毕竟是人在操纵，其实这个可以非常大程度地去推这个boundary，就是推你现在不说什么大模型，你就让人来操纵，他能够操纵完成什么任务，能不能把你想到的所有任务都真的完成？因为人手能完成的话，机器人能不能完成？我觉得这是一个非常好的一个活动。

【嘉宾】所以我们当时就从这个活动里诞生了，就是奥林匹克这边。这边paper也是有专门的负责人去思考，就是如何完成一些之前别人提出过的、觉得对机器人非常难的，并且在用人操纵数据完成了以后，再让我们的大模型去做、去学习，然后发现取得了成功，完成了一些大家之前觉得会非常难的一些动作。

【嘉宾】我觉得比较好玩，因为我这个人很喜欢高精度的任务，就是拿出一个钥匙，然后去开一个锁的这种任务。同时也是有一个什么，我觉得有个开门，开门这个任务，其实我刚刚我们在做硬件的时候，我也是头几个赶紧去尝试一下硬件团能做到什么地步的人。当时我就觉得开门这玩意真的太大了，我在那好像搞了二十多分钟，我才终于想明白我怎么样用机器人的这个形态去让它开出这个门来。但是这边他们就可以做了，以后发现其实首先这个策略是可以优化的，并且这个策略化的机器人是可以成功自主去完成的。这也是一个我觉得就是说起来好像也没那么难，但绝对没那么简单的一个任务。

【嘉宾】然后Pi 0.6星到现在的话，我们应该是正在一系列的发表过程中，把这个上次刚刚发了叫做Partner。因为我们希望做成一个通用的大模型，它是可以在很多不同的场景和不同的机器人上跑的。智元也是有一些和其他的机器人公司的合作的，在Partner的release中，就谈到了我们和一家叠衣服的公司，和一家打包的公司的合作。就是他们跑的其实都是我们训练的，或者说用我们的这种东西的一个大模型，在他们更加贴近商业落地的一个场景。你看到就是我们公司自己目前没有很多种商业落地的想法，但是其实有在帮助其他已经在商业落地的机器人公司去做他们的事情，也是在变相推动我们的研究的前沿前进。

【嘉宾】并且我确实认同这个Partner的方法，是有在触碰一些机器人的本质问题。你看从我们开始搞机器人研究的那个时代，你干啥事都是你要知道找谁，而且他会懂你才能开始做。就是你写个软件现在是分分钟的事情，你稍微问一下ChatGPT，然后可能这个AI agent或者cloud，我帮你写很多东西。就是你做一个开发者、做一个研究员，你有很多的就已经做好的事情可以供你去使用。而机器人之前我觉得就是不管是硬件的造，还是软件想让它做一个差不多的东西，都是非常复杂的。我们可能是希望在以后，就是你这个人买了一个机器人，一个硬件的乐高玩具，拼装以后你可以直接插入我们大模型，他就可以做很多事情了。是希望把这个机器人从零开始做到，就是第一个赛中间时间给缩短。

【嘉宾】并不是说硬件有很多partner，而是我们公司和其他公司有一些partner的合作。

【嘉宾】这个有一些内容不太方便透露，但是我们在π 0.6（Pi 0.6）中使用的这个硬件，其实是我们自己弄的一个硬件。它有优化一些不管是稳定性，还是方便这个任务。比如说其实你看到大家现在批评夹爪，批评这个简单手机器人就会说了，这个简单的时候你抓杯子，你不会把杯子抓破了吗？但我们为了做咖啡机，我们就把我们做这个机器人，它是一个带电可换的这种夹爪。为了做咖啡，你是需要一个另外一个夹爪，它其实成本都不高，然后换起来也很简单。但是你是有这种研发，以后你才会感觉到，就是什么是一个比较本源的问题，什么是一个其实很简单就可以解决的问题。

【嘉宾】我觉得硬件，也许说是为软件优化，不如说是为最后的任务和表现去优化。我觉得这个应该大家都在做吧，因为确实市面上没有一个已经定型的、结束了的硬件的形态可以停止这种优化，因此我觉得大家应该都在不停地去干这件事情。

【嘉宾】这个问题好难回答，因为我确实认同，我觉得星尘的一部分的目标，是成为Robotics界的OpenAI，成为一个通用大模型的创造者。至于我们现在大模型发展到哪里了，我觉得你每天在这看，你就看到东西不好的东西，我每天看的都是说这个表现没有很完美，那个表现也不行，我们要怎么把它搞得更好，这个是我每天日常里会想的东西。或者说本源都想，一切就是这个模型是不是还有一些大的变革，才能达到我真正想要的一个效果。所以我觉得我们还没有到，没有到一。

【嘉宾】我觉得其实因为起点不一样，就是NLP的起点，我在2017年刚读博的时候，就短暂地做过一阵子NLP。哎呦，当时可好想了，你知道吗？我当时还想说，这个自然语言生成感觉不太行，如果这么训练出来的东西，天天就在那就叫它写莎士比亚，它就天天在那写，因为这是一个概率学上最容易predict，就是预测一个单词，它还不仅预测一个单词，就天天就跟我说，我说这没用啊，是不行。然后OpenAI跟我说他们在用强化学习做这个大语言模型，说强化学习也很难搞的，你把这个特别难搞的A和特别难搞的B合到一起，你这能做成功吗？我完全不懂，完全不懂啊。然后到了19年20年，别人就做成功了，就是说这个你看做得多好。嗯，当时就能够感觉到，问题是有一些不一样的吧。当时我从自然语言转换到了机器人，觉得第一，自然语言里面你可以生成很多文字，你怎么跟这个文字打分，怎么知道什么是你想要的文字，很难。所以当时觉得自然语言做强化学习会很难，就是因为觉得这个打分太含糊了，不是那么的清晰。当然后来有很多，随着更多数据集的出现，他们也不断建立了新的标杆，所以他们这个标准可能会在有那么一阵子突然变得清晰的过程。然后另外一方面是觉得当时做机器人好玩，因为机器人可以做很多task，很多任务，这个任务都是你可以拍了一段一个新的任务让它做。我觉得这个乐趣是机器人里面一个非常tricky的点，因为自然语言很多时候，你可以用眼睛描述。

【嘉宾】就是因为为什么，我是一开始完全没有用过VLA Model，然后现在其实反而是有一点欣赏VLA Model。就是因为如果我跟这些Claude的Agent提的很多要求都是用语言来表述的，那我是不是我跟机器人也可以通过语言来提这个要求，然后这个语言的要求就会影响到，就是你在没有那么多数据情况下，你也可以完成一个确定任务。其实这是机器人的一个优势，我觉得在自然界没有那么多数据情况下，完成一个具体的自然语言任务其实有点难的。我们现在就相当于是，在数据量与对方业界完全无法比拟的情况下，其实你已经做了很多东西出来了，所以我觉得是非常有意思的。我觉得也许会，我觉得大模型现在是依然有很多的竞争，在竞争中刺激了很多的研发，刺激了大家对一个更好大模型的追求。我不太确定，就是像OpenAI的这个产品，难道就不能拿来做写代码了吗？以前也是可以的，我不知道他们现在研发的哪一部会怎么样，只是最近可能大家都是在用Claude Code这么一个AI工具做代码。但是他们因为都是一个多功能的大模型，我觉得没有任何事情告诉我是他们根本上做不了这个东西，只是你说的这种就是产品形态开始发现了一些分化。我觉得也许是可能的，但也许一种可能的形态就是，有一些人是专门做大脑，还有一些人他们专门做，就是这个场景的商业化和为了这个场景的商业化所做的很多事情，他们最后也可以接入别人公司的大脑，所以这是一种可能存在的形态。我觉得是有可能的，但同时可能也有一派人的认为是说所有这些东西都可以归到一个模型，而且这个模型还没有被创造出来。我就从这个角度上来说，确实就是如果有一天就是有这么一个模型，它能拿到所有的我们能想得到的模态和做这些自动化上的必要的任务，不管是语言沟通、图像编辑、什么视频生成，或者说机器人的操控，它也可以是一种可能性，那个时候也许机器人也在预训练里了。我觉得Scaling law是一个非常tricky的话题，因为Scaling也有很多，就像泛化有很多不同的衡量标准也好，Scaling也有很多不同的衡量标准。就是每次当我看到有一些，所以就是over simplify，就那过度简化的，就是指数的时候，我都是会有一点觉得不够太细节。比如说Scaling，你看在泛化屋里面做的，就是你在10个房子里面收的数据，你到第11个房子里面你能跑起来过，你的表现是在哪里，比起你收了100个房子以后，你再到这个房子里来，是不是有一些长进，那你再收1000个房子后会不会其实其中就没有那么大。我觉得这可以看作是Scaling law的一种探索方法，就是我们要收多少个房子才能够在下一个新房子里取得一定的成果，同时你收过多少个房子以后，这个新成果可能就，就提升就没有那么明显了。

【嘉宾】我觉得这个在潘乱那给我感觉是，它确实是可能可以摸得到的一个有限数据可以达到的地方，但是我觉得我们现在数据量还是太少了，肯定还是要再激进一些，我觉得会好玩。

【嘉宾】我觉得算力，算力够不够是看你们这人喜不喜欢干活，你们这人都特别喜欢干活的话，算力永远不够，永远都可以有新的想法、想法新的事情、很喘新的模型。

【嘉宾】我觉得大家，你从一个工作时长的角度上来看的话是很多，但其实这并不是他强行要求你在公司要待到什么点儿，而是还相对而言比较自发的，就是今天在公司吃晚饭，又跟这个人一开始讨论起来一个什么话题，就想往下再走一试看一看。所以有的时候大家可能工作还是挺长时间的，甚至包括周末也有不少人回去公司，也是相对而言比较自发性的，就是觉得下周想出一个结果，那今天就把时间跑好，或者说就是突然来了一个想法，那就深夜聊天呗。

【嘉宾】没有啊。

【嘉宾】没有一个固定的事儿，typical day是什么样的？作为一个AI的研究员，每个人都不一样。其实甚至包括有些人他们住在南湾，然后又来旧金山这个城里，他们每天来回开的时间可能就三个小时的车。像我的话我是比较夜猫子，所以我基本上白天就算起了，我可能不会在公司，我家里先工作一点时间，给自己一个专注的时间，然后差不多是中午过去。然后到了晚上，我要是兴致来了可以干到非常晚，可能会干到晚上两三点啊这种才回家，一般是一两点回家，写代码，睡前再干一会儿。

【嘉宾】我们没有打卡这个东西。对，甚至有些人他可能家里有些事情，比如说其实这边有研究员，他们就在生小孩，他们就在家里，就是可以直接待很久，但大家也会，他也会继续他的工作，就是相对而言是一种比较自由的氛围，让你决定什么样的工作方式是最适合你的，同时公司也可能希望就是大家变成了一个团队以后，可以协同一起发挥作用。

【嘉宾】最早是有的。就是刚刚来公司的时候，觉得立会给我这个夜猫子带来了非常大的困扰。因为立会是每天早上10点钟到公司，大家轮流说一句话自己在干什么，因为当时公司就有20个人。但是当时我就跟CEO说，怎么10点这么早啊，我们能不能搞到下午。然后他就很震惊地看着我说，他们最早是8点，后面退到9点，然后退到了10点，怎么我还嫌10点也早。对。然后呢，后来的话，随之公司人数增加，管理方法可能是需要改变，所以现在的话就没有这种每天都有立会，只是有一些研究的小会和每个课题自己组织的一些会。

【嘉宾】现在我的体感可能是大概70个人吧。

【嘉宾】体感。因为我也没有天天在那数公司有多少人。我们还在我们最初的那栋楼里待着。这栋楼我觉得真的是，第一它是非常有创业氛围的，就是这种楼它比较的朴素，本来然后我们来了以后，就把所有的这个硬件软件都带进来了。但是另外一方面，就现在人确实有点太多了，这个楼里真的有点走不下。

【嘉宾】就会把这个门打开，然后接着干。确实大家都非常期待能不能换到一个新的办公室，但在旧金山，在创业氛围如此浓厚的情况下，我觉得挺难找到一个非常适合我们这样公司的一个办公室。因为我们也有一些硬件的元素，我们也有自己的办公室里是有机器人的，还有一些用电用网的一些需求，就是找到一个非常合适的地方没有那么简单。

【嘉宾】我觉得现在还没有一个章程去非常详细的规定它，但是可以看到，公司现在发展了快有两年了，它是有一些自发性的文化的因素在里面的。它整体而言，我虽然也没有在其他创业公司待过，但感觉这个应该就是我想象中的创业氛围了吧。大家都比较踊跃地去做一些自己觉得非常重要的事情，然后同时尽可能的，就毕竟创业嘛，就是你们都是有一些股份，然后也是有一些期权在这个公司里面，你是希望公司变得很好。其实有的时候不是你的职责内的事情，也会想要去做好。然后同时我们公司比较特殊的，因为是比较开放的研究氛围，所以是就我和另外一个人会组织一下读书会和一些交流会。比如说我们现在想做一个项目，比如说Pi 0.5，Pi 0.5其实是去过两次这个读书会的。就首先一次给大家讲一讲我们现在想要探索这个问题，这个问题以前的人的发表和东西都做到什么地步了，然后我们觉得它的应用，会有一两个人主讲，然后其他人可以问问题，或者甚至质疑都是可以的，就是看怎么样能让大家尽量的在这个课题上感到同样的激情，然后同时有几个人主要去负责去做。然后做到后面快成熟之前，其实又上了一次读书会，给大家交流一下现在做到这个地步了，你们觉得怎么样。然后有一些比较天马行空的读书会，比如说Claude Agent出来，然后就疯狂地就在读书会里面说，到底谁是我们公司最能用Claude Agent的人，赶紧让他上台讲一讲怎么用，然后大家就可以抄他的作业。就是这种分享，要抄掉什么，抄掉什么。就我确实在，我当时在埋头干一些别的事情，就没有怎么关注到，然后他们给我介绍了一下他们怎么用这个Claude Agent，我听完以后哇惊了。我就说哇这个确实是生产力的飞跃式进步。就这大概两周，我就是把自己的整个工作的整个流程都改了一下，就觉得哇现在跟一年前也完全不一样的那种工作思路了。

【嘉宾】我觉得效果上来说，我觉得应该有个三四倍吧。但是研究嘛，就是一个不停地打一枪，看看这个子弹落在了哪里，调整一个子弹。我觉得不是你疯狂地打枪就能够打中什么东西，还是需要一些人的输入。

【嘉宾】CEO的话是Carol Hoffman，他其实在公司主管的方向并不是那么的侧重研究，因为研究方面的事情更多是由Sasha和Chelsea来负责，所以我和他打了交道并没有那么多。他管了一些公司的基础架构，你可以认为就是我们公司里面有很大的一部分工作是研究。

【嘉宾】但也有很大的一份工作是如何保障这个研究能够高效快速地进行下去。Carol是有，主要是很多负责在这个方面上，他就是Sam Altman那个角色，类似于可能也未来会做一些商业化，如果需要的话。

【嘉宾】其实我在2024年，就是刚刚他们开创了以后，就是说要不要去聊聊。我就问他们你们先做人形吗，你们现在要做什么商业化吗？我当时感受到，我是吧，感受到的氛围就是确实我们不做人形。因为他们要说做人形，我就不来了，你知道吧。

【嘉宾】因为他们是很担心，就是不同背景的人去做人形的，比如说现在人形公司的做人形你就不来了。

【嘉宾】因为我觉得人形是一个非常值得研究的问题，但绝对不是我现在最想研究的问题。为什么如果他们做人形，我就会担心他们的研究重心就变成了如何做一个更好的人形机器人，而我的研究重心就是做更好的任务。我个人是非常相信不需要人形就做更好的任务的，而且不需要人形就能从使用的角度出发更快地做出来。比如说你看现在叠衣服什么的，都是我们先做好了，叠衣服、叠盒子、还要做咖啡，都是你先做好了，他不需要人形他就可以做。而且我觉得有非常多的任务都是可以无须人形的任务等着我去做呢。我要是把时间和精力都花在了怎么样让人形机器人跑得更好上来说，他不是我这个人的工作重点，我觉得这是一个taste的问题。

【嘉宾】我觉得也可能是。我觉得现在我们做一家通用大模型公司，比较考究的就是他在不同的机身上面的表现。

【嘉宾】我这个人最喜欢的就是宠物机器人。我有一个朋友他说他要创业创这个宠物机器人，我一听可来劲了，接着就恨不得要不是因为现在做的事情也是很想做的事情，我还不如就加入他呢。因为我就不会觉得，就每个人在机器人这个领域里面，都是有非常多纷杂的线的。

【嘉宾】什么宠物都想做，宠物实在是太可爱了。我觉得这是人文的情绪价值，就是大家伙在这个世界上的一些意义，我觉得陪伴是一个方向。

【嘉宾】当时也是好蹊跷。因为我其实整个博士期间，一直坚定的以为我要想去当教授，但是一直很害怕当教授，因为教授要写好多这个什么funding proposal，就是经费申请。我一听到这个funding proposal我就觉得，我想解决问题，我不想考这些事情，可能这也是我还需要修炼的一个部分。但是当时ChatGPT横空出世，我一拍大腿决定，我现在可以去当教授了，我不怕了，我用ChatGPT帮我写这些资金申请就可以了。但是在我其实经历了一整轮的教职面试，中间就有一些感触很有意思。因为我之前的研究其实没有很多大模型，我虽然做了很多机器学习，包括各种机器学习方法的研究，但我用的模型都比较小。这个跟我们实验室的氛围和我们当时拿到的计算资源也是有一定的关系，就是大家可能说把这个任务做到就好，不要想太多就是其他的事情，所以当时注重的点没有那么多大模型。在教职申请的过程中

【嘉宾】我也是以一个更加偏向传统的故事在找教职，然后能越来越感受到大家对于这个大模型的热情，就包括我自己其实也有非常大的好奇心。又因为非常巧合的，就是Sergey他有一个学生，就是Abhishek，他毕业以后来到了华大，就是我旧读的学校，并且成为了我的小老板。因为我们华大以前没有一个真正意义上就是专门做Robotic Learning for Manipulation一个话题的人，然后Abhishek一来以后，我就说哎呀，我做的跟你做方向好近，我们一定要天天交流。然后我们就天天交流，顺便也算是半个他的学生。可以一方面他也会用funding来支持我的项目，另外一方面我觉得我们的合作挺紧密，然后有很多相似的想法，就是跟我老板的交流完全不一样。

【嘉宾】老板更多是像一个就是干一种对话网络里面的一个critic，他就说了你现在生成了这个东西，但是你要达到更好的一个标准才行。而Abhishek跟我的合作方式的话，就更加的是我们这样，哎呀我有这个想法，哎呀我有这个想法，我们把这里的方法揉一揉，哎呀不行，再再再生出了三四个又有个新想法，然后那种方式对研究更好。

【嘉宾】我觉得都有是最好的，我真的是黑猫白猫抓到老鼠就是好猫。因为我觉得和我自己的导师那么多年的合作，让我有一种求真的，就是非常强烈的求真，就是包括大家在我在看别人的paper、看别人发表时候，也是会经常比较喜欢打破砂锅问到底的那种，甚至有时候我就自己做一遍看看是什么样子。而Abhishek给我一种他非常跳脱的一种，就创造了，就是之前想的时候很多是我一个人想在洞穴里面待了一阵子，但是如果要真的做成，我们得退一步，然后思考，然后到底发生了什么情况，然后去比较慢、无目的地去慢想，我觉得两者结合是很好的。

【嘉宾】但是因为当时Abhishek是Sergey的学生，然后Sergey在连创的时候，Abhishek可能就跟他说了就是有这么一个人，他要毕业了，他是做这个的，然后Sergey就说可以去聊聊。本来也没想去聊聊，因为我听说了我要去创业，我说这好像跟我没什么关系。但后来又转念一想，觉得Sergey他毕竟是一个学术界里非常有影响力的教授，我去听一听跟他第一次就是真的面对面，要深入地去交流一下他到底在想什么也挺好的。

【嘉宾】然后当时就是去朋友家玩，在去玩的路上顺便去派，就当时他们刚创立一周内吧，我就去那边坐了一下、看了一下。我不知道那是个面试，他们没有人跟我说这是个面试，我就很做一种，有这个人在这做这个挺有意思，你们在做什么。然后他们后来给我的反馈是他们，我觉得他们面试的过程中感受到了莫大的阻力，因为我不停地在问他们你们在干什么，就他们，你是这样的，是这样吗。对，可能也是一种求知吧。所以当时我就特别好奇，我说你们在做这个，这个任务是怎么想的，我来多了解一下，然后他们想的是

【嘉宾】我是来找你们来辨识的，应该是我来问你们，怎么变成了你辨我们。但当时就聊完了一下以后觉得，没有结束之前肯定是有很多猜想，但没有一个能确定。然后聊过了以后，觉得这帮人还是挺求真的。我觉得学术界有很多发表，有的时候会让我这个实用主义派觉得有一些无奈吧。就比如说你要做一个问题，想把它做得更好，你会说之前做不更好的一个原因，是这个原因，所以我们就出了这个问题。有的时候它逻辑不一定那么通顺，就是你可能不认为就是为了自圆其说。

【嘉宾】但是我还在找教职。

【嘉宾】我觉得是一个机会吧。我觉得offer具体的内容并不是最重要的，对当时的我来说，这个offer代表的是我能和一个已经曾经做过非常多成功工作的一个团队，让他们里面每个人和我交流过程都挺愉快的，和他们去共事，到达一个新的平台，可以做很多不同的事情。这个才是offer我觉得最重要的部分。所以当时去了找教职的最后，突然有些顿悟了吧，觉得我还得想一下自己究竟想做什么样的研究。就之前的我可能会觉得时机没有到，我应该先到一个地方去仔细地思考，带一些学生。我非常期待将来有一天，就真的会进学术界，带一帮和我们这些人想的完全不一样的人。我觉得这个是最值得期待的一种发展和演化吧。但我没想到就是这波来得还挺快的，就已经让我感觉到我得知道我们现在的这个新的这种前沿能做到哪里，在做什么，我能怎么样去做它。所以当时就是比较突然地，就在毕业的时候辞掉了这个教职的offer，就转身加入了派。是一个非常偶然的决定，可以这么说。我当时在毕业thesis defense答辩的时候，我老板都跟所有人宣布，他要去当教授了。

【嘉宾】对，我当时其实就是非常想去建桥教席，拿到建桥教席。包括我自己也是心里非常感谢，我觉得建桥的人文的属性和我个性非常的贴合。我觉得在那里就可以又做研究又写小说。在这里的话，我自己小说就是晚上睡不着就要写两笔吧。

【嘉宾】这个和学术界的运作方式和工业界运作方式或多或少有一些关系。我在学术界，我觉得有一个比较大的问题，其实是学生来来走走。美国的学术界大概是五年，其实英国更短，三年。我当时就会想说，一个学生来，如果我想给他一个放手去做……

【嘉宾】做一些开题前的工作，三年他够不够？因为我当时你可以看到我是一个半路出家的博士生，我不像现在很多非常优秀的本科生，他们本科就做了非常多相关的研究，他们开始读博士的时候，我觉得非常了解自己的行业。我觉得如果我要去招学生的话，我会非常喜欢这样的学生，但我也可能也会喜欢一些就是敢于抛弃自己之前做的东西，去探索一个新的东西的学生。但只给他三年、只给他五年，甚至是不是会时间不够？然后一个学生来了，做了一个项目以后再走，可能你一个东西开了一个头，我觉得这种模式在现在这个环境下可能确实不一定都能做到我想做的一个东西。

【嘉宾】同时呢，就是在工业界做的话，会有更多的不管是算力、数据还有硬件的知识。你可以看到机器人它是一个非常多元化的，就比如说我做的时候，我PhD其实读了七年。第一年第二年你可以认为砍掉的话跟我后面做的事也没什么关系，但确实我觉得对我后面做的事情有帮助。然后我开始搞整机，搞整机这个事情就很麻烦，就是我从开始搭机器人到这个机器人差不多能动，大概三个月的时候第一次把机器人差不多整机都跑通了，然后六个月才真正把摇操动这玩意给全部定下来，都是我一个人做的，很慢。在后续做活的过程中肯定也有不可避免的，因为是个全栈，就这个栈在哪里坏了你得自己上。在学术界这种相对而言更加单打独斗、需要比较大的东西的东西你就做不了。所以我觉得这个是PhD做最大的吸引力，就是我其实没有真的在一个大公司的齐心协力的合作下去做，而我也确实承认我觉得这是必要的。

【嘉宾】你问我这个问题，就是你说到七年，我在想这个问题。因为有人可能从第一天就会想我要几年毕业，我觉得跟性格有很大的关系吧。我认识很快毕业的，也认识像我这样，我们华大的纪录是九年。我刚进校第一天我就认识了他在学校待了八年的人，他是第九年毕业的。但是我觉得和自己生活状态有关系，我在读博求学期间做的很多项目我都非常喜欢，所以没有觉得时间过得很慢，没有很焦虑，没有为毕业很焦虑，也没有觉得就是我没有毕业是个什么样的一个事情，就是可能……

【嘉宾】更多的是比较纯粹地去想，我现在做了一个问题，上一个问题我学到了什么，下一个问题我想做什么，是一个很连贯、很快乐的一个过程。当时我是单打独斗的项目，有个好处就是你想休息就可以休息，想干了就可以干，你可以卷到半夜。我就是超级夜猫子，我当时一般是中午下午开始干活，然后干到晚上四五点，因为可以免费停车，然后干完了还能去一个24小时营业的炸鸡店吃两口炸鸡，就非常快乐的一种生活。同时也可以觉得最近好像做了一个角度非常深入但是思维很迷茫的项目，我们就去休息一下。我有一两个项目其实都是我在圣诞节度假的时候突然有一天灵光一现，就觉得要做这个，就有很大的自由度。而我见到的很多三年四年就毕业的博士生，他们确实可能比刚进项的我来说，要更加明确自己想要做什么。我的话更多的是尝试、换，一直到最近才可以说我的职业才真正有一些稳定下来。

【嘉宾】Perplexity的人当然也是从Google出去的。我没有在Google的研究部门工作过，我在那边做过软件的实习，当时我还是一个本科生。去了Google以后就觉得非常快乐，因为Google就像是一堆软件工程师为自己所搭的一个乐园。我是在Google那边开始第一次学怎么写TensorFlow和大规模的一些神经网络的训练，因为之前都是手搓，就是你会从头开始写一个什么CNN、怎么做反向传播，你会从头到尾都自己写。然后到了Google才发现有别人做好的一个库，我调完这个库就行了，这么方便，我赶紧学一下怎么弄的。所以我相信Google是有一个工程师的基因在里面，让我当时的我对它就非常喜欢。我觉得现在它还有体现，比如说他们做的研究，他们做的Gemini，他们做的这种TPU这种架构，都是有这种工程师的优化的思想在里面。而在Perplexity的话，说到底它是个创业公司，我可以非常轻松地跟我想聊的人开始聊天，可以Move fast。可能你昨天有个想法，今天说一说，明天就变成了一个项目。还有包括开零六星，它的这个中间有一段就是突然一下非常大的转变，就我们说我们要收evaluation data，我们现在收的这个评测data的量是这个量，但是如果我们想要打到我们想要的地方可能需要这个量，怎么样很快地给它scaling up达到这个效果。我觉得这个可能是我们比Google，我想象中要做得快很多的地方。

【嘉宾】不一定是强化学习，而是做机器人，并且想怎么把机器人做得更好，而且是一个比较通用意义上的更好，这个是比较稳定的方向。强化学习只是这个阶段的一种研究的重心，但我不觉得它是一个定义我整个职业生涯的东西。

【嘉宾】我觉得强化学习是一个非常本质的一类问题，也就是说一个人如何通过体验变得更好。这个问题，从作为传统教科书上来说，解释强化学习其实就是解释巴甫洛夫的狗，这个狗它做了一个事情，你就给它一个奖励，它从此就知道这个事情是个好事情，要多做，就是通过这种奖励和惩罚的方式去让一个智能体做一个对你来说更好的一个动作。但强化学习它在算法上来说，我觉得是有一些东西，我包括每天都会就感觉它跟我这个人进化，就是人的自我的诞生和强化学习是有很多关系的。

【嘉宾】就不不管你是从一个非常具体的一个动作，比如说你是一个假想中，你是一个想要学习攀岩或者游泳的一个人，然后你怎么样做得更好，你就是不断地去做这件事情。我觉得这个追求极致是强化学习一个非常强烈的因素，就是不停地去练。同时强化学习其实还有一个很重要的部分是探索，探索我觉得它是可大可小的，可能是说我这个肌肉稍微往左移一下，我打网球的表现会更好，这是一种探索；也可以说是我现在做的这个研究，我想怎么把这个机器人做好，我现在探索的是一个方向，我也可能将来会换一个方向，它也是一种探索。我觉得它不光是一个具体问题，具体场景其实也是一个通向通用的一条路。比如说现在我觉得大语言模型里面，应该有不少人都在使用强化学习来帮助提升他们的大语言模型，其实也是在一个大语言模型的基础上，让它不停地去试、去看、去给反馈，如何从这个反馈中得到更进一步的提高，是一个很整的命题。同时我觉得强化学习具体的技术也有很多是可以讲的部分，如果你有兴趣我们也可以多深入一下。

【嘉宾】我觉得强化学习是有几个模块的，就是每个强化学习系统都是把这些模块拼起来。其中一个模块可能就是这个探索模块，就是如果你想要做一些更好的事情，你得做一些你以前没做的事情，你怎么样选一个更有可能成功的事情去探索，是探索模块。我觉得这个方面其实咱们现在做的不是特别多，但它是一个永恒的命题，就是你是选一个小的改动还是大的改动，包括你怎么改动，都是一个算法需要（考虑的）。我觉得在最后的大模型态里面，它其实应该对于探索是有一个非常清晰的想法。现在的大模型可能还不具备这样一个非常主动的探索的一个能力，因为探索其实就影响到了，如果你选得好，你研究路线选得好，你可能做一个研究就已经有很多好的事情发生；如果你一个研究很不幸的就是选到了一些比较难搞的一些东西，那你可能得做很多，它就极度地影响到了你学习和进步的效率问题，所以是探索问题。

【嘉宾】然后第二个我觉得强化学习比较有意思的问题就是归因。就可能你要让你们家宠物做一个什么好事，它做了一系列的事情，然后你就给它一个奖赏，它其实是要知道到底哪一个事情是这一次得到好奖赏的一个决定性因素。这个也是它其中是有些探索的，就是你收集了这么多的轨迹数据，究竟哪一条轨迹数据里面的哪一个步骤你做得好，让你整条数据得到一个关键性的一个奖赏。你可以看到在轨迹生成里面，我们可能比较强调了一个速度和质量，所以从智能体的角度上来看，就是它做了很多事，不停地做了这么多次，然后我们设计这个算法，帮助它从这么多次经验中找到，就是这条数据里面，下头垃圾但这个地方是精华，你以后多做这个精华。所以这个归因我觉得是强化学习的一个，就像人的总结反思一样，一种可以长期持有的能力。不管是在微观上，这一步骤再改一下就会更好，还是宏观上来说有这么一些策略，其实这个策略是最好的。

【嘉宾】然后同时强化学习也有着，我觉得有一个本性问题是我们其实教科书中不怎么讲的，就是这个问题的定义。一般来说在大语言模型里面，你要什么问题，你一般都用prompt给它抛出了一个问题，可以说你的这个问题就定义了它这个任务。而在机器界，目前还没有这种清晰的一个联系，包括这个VLA模型也只是开了一个头，说我想让你叠衣服，其实你可以千千万万种不同方式叠衣服，对不对？你怎么知道它要你叠衣服，到底是要叠成什么样子？在课本里强化学习是要用一个奖励函数去抓住这个东西，可能这个奖励函数就设计成了一个，如果你真的按照它的意思叠了，它就给你一个很高的奖赏，去给你块肉，奖励你这个狗狗做得好，如果你做得不好，它就给你一个惩罚。但实际上，实用的来说，设计这个奖励函数是非常难的。因为之前有人做过很多，就是在模拟器里做强化学习，比如说用强化学习去打这个超级马里奥，你有一个分数对不对，你就优化这个分数就好了，这是一个现成的奖励函数。但实际上即使是这样的情况下，它有可能会，我们就是说就是……

【嘉宾】我觉得在我看来，它不是一个写奖励函数的问题，而是向智能体传达你想让它做什么的问题。奖励函数可能更多的是一种表现方式。比如说你看现在NLP，他们之前应该也有时候我们探索过怎么给它写一个价值函数，做了这个好就是更高分，做了那个不好就是更低的分。但其实有一段时间在自然语言中的强化学习，最有用的东西就是可验证的任务。这个可验证的任务是可以独立于一个所谓奖励函数存在的，它就是要你写编程，你这个编程能跑，能跑的话它就是非常确定地知道它是好的。我觉得是传递好坏不一定需要奖励函数，而且我相信传递好坏的这个任务的话，是需要一些人的common sense，这种先验知识或者说通用知识。同时我觉得这是一个非常flexible的问题。就我个人比较相信，好的奖励函数是可以隐式定义的，它也不一定是以一个奖励函数的形式存在，更多的是你给了这个模型的信息和表达去让它理解。

【嘉宾】我觉得是对，我以为是都有启发的。因为机器人他也有一个很好玩的问题，就是咱们也没有那么多的任务是非常清晰的，说成功和失败都非常简单界定出来。你可以比如说就是这个杯子放在另外一个桌子上，也是是的。但这个也是一个非常限定的，就是你当到了一个限定的环境以后，你可能就比较容易写出这个奖励函数。而你在一个非常通用的层面，你其实很难写出一个通用的函数。或者你的任务比较难，比如说像叠衣服这种任务，叠衣服叠得好不好。

【嘉宾】老实说我都不怎么叠衣服，所以我在叠衣服的任务设计过程中，我就有一个比较清晰的认知，因为我从来不叠衣服，所以我可以很纯粹地从机器人任务的角度来说设计这个东西。但是设计出来的每个人关键也是不一样的。你刚刚提到超级对于一些任务的设计很有common sense，对，我觉得它有非常sharp的intuition。

【嘉宾】就比如说叠衣服这个东西，是有很多不同的策略对不对，你人来叠，你可以对它从两边叠成这个样子，或者你也可以就是四方方的叠，我是用语言都很难描述这不同的方式是怎么在叠，但你可以想象它有不同的叠法。那么哪些叠法甚至包括这个叠好以后机器人身上哪一个是好的？我觉得有一些人确实是能够很快速的、直觉性的搞明白，就是这个点跟那个点是有差距的。或者说像我们会经常看一些就是机器人中间做的任务，我就会去界定临界点说，这个任务我觉得可以做，虽然看起来很难。我觉得Chelsea有很强的这样的东西，或者说他也会觉得就是这个数据好。这种直觉来源于什么？来源于对机器人是有的，然后理解也是有的，但是也有可能就是和每个人看问题的一些看重的东西有关。

【嘉宾】我觉得这种interact的方式是可能可以的，尤其是在我天天成为了Claude Code的重度用户以后。我以前是有一点怀疑的，我说我这个人比较内向，就没有那么喜欢说话。

【嘉宾】很多事情是不是不用说话表达，会是更好的表达。而且包括说话有很多时候，比如说就是我想让你帮我把我家的这个书房收拾一下，他没有办法capture我所有的意思，就是我可能说的是你把垃圾倒一下，然后这些书归置关起来，或者是这样，或者那样的一些单纯由语言无法捕捉到的重点。但是我发现了这些cloud agent就改变了我对这种交互方式的想象，就是你是可以说话，他可能捕捉不了所有的重点，但你也可以用说话给他提供更多的context，让他自己去搜索或者执行计划，就是说话确实是一个非常强的逻辑思维和推理，我也越来越觉得逻辑思维推理对机器人是很重要的。所以我觉得VLA还是有很大作用的，只是VLA现在的架构可能还是比较原始的一个架构，它虽然有这个language，但它并没有很多地去探索，就是language和动作的一些非常细微的事情。比如说language的层面，更多的都是给这个衣服，它也没有很详细的描述说，这个衣服叠的时候你要用两只手在这个步骤怎么怎么样。我觉得这都是未来的探索方向，就是可能会有一些更加，不光是从输出端是动作或者加一些video，或者加一些oxygen loss，在输入端可能也会比它更多的context，使它能像现在的大语言模型一样就take in much context。

【嘉宾】我不太清楚别人有没有共识，或者是怎么想的，我只能从我接触到的信息来看的话，比较明显的有一些人觉得，我们可以把模型系列的东西做得更好，做得更有用，我觉得这也是一个非常值得探索的区域。可能如果他们现在工作重点是这个的话，他们可能就对真机数据相对来也没有那么看重了。或者说也有一些人觉得我们就用一些，人手之间说的，像这种污秘的数据，就是人可以非常自然地在自己生存的空间中去说很多数据，而且它的效率、速度可能比你非要搞一个机器人进他们家，然后再说要轻松快一些。我觉得这也是大家不同的想法，就是它有一个重点，但是可能因为我是真机数据的信仰派，所以我觉得，就是以后肯定还是要真机数据，因为你都不数了，你可以收真机数据了，那为什么不用呢。所以我觉得对真机数据的如何用了更好的研究应该是不会停止的。

【嘉宾】我觉得就不光是实用，而且是最后当你真的做完了这个问题的时候，你机器人真的见到人家里以后，你就是会有很多真机数据了，我相信这个是我们共同想要的一个未来，所以这个未来里就是会有很多真机数据的。

【嘉宾】现在这个定义也没有很统一。对，我觉得它不是一个学术能够清晰地解决的一个问题，我觉得是有一些不同的维度的。比如说这个数据它做的是什么一个任务，这个任务你看啊，如果这个任务就是在空中抓回回手，这可能就没有什么意思，但如果这个任务是跳舞，或者说随着这个胳膊要怎么去往动，它是一个更有意义的任务。所以我觉得这个是维度之一，就是任务本身，或者说叠衣服、叠箱子，还是拿水杯，这都是不同类别的任务。同时就是在做任务过程当中，我觉得是有一个叫做动作的质量的，这个可能就是如果机器人能做成这样，我不就觉得他做完了，他做了几段了，他这样的奥林匹克运动员那种表现，就是已经超越人体极限了，这个事情有动作质量，你也可能收到一条这样不那么好的数据，可能就是为了拿这个杯子，先晃晃悠悠的再去拿，可能就没有那么好，所以这种动作质量也是一个维度。同时我觉得就是动作的覆盖度，就从一个数据集，就刚才可能讲的是具体一两条数据，从一个数据集的讲上来说的话，你说了拿水杯的任务的那么多条数据，它的覆盖度到底有多少，它有多少不同的场景，它有多互相之间的不同，就比如说刚才说的刚才提到的每一条维度，其实可能都是你说出去的时候就可以考虑到的一个覆盖度的一个维度。然后最后我觉得就是数据提供的是一种信息。

【嘉宾】我觉得是相辅相成。就确实这两个工作的重心可能乍一看没有什么关系，但我觉得互相之间是可以相辅相成，因为对，就是这么抽象的说呢，就是我觉得这些人在研究方面是有两个很大的主题的。一个就是它的表现究竟如何做到完满，还有一个就是如何在一个全新未知的领域下做出一个像样的东西。可能这就对应着你刚才所说的，一个具体场景下的优化做到完满，和一个Zero-Shot零样本泛化到一个全新环境。而我在实际做的过程中，时常会感觉到如果你能在一个场景中做得完满，你可能可以在更多的场景都达到更好的效果。这些东西都会帮助你做一个更高质量的模型，而更高质量的模型，它不只是在你这两个任务上表现得更好，它在很多相关或者相似性的问题上也会表现得更好。就具体的任务表现得更好，是可以提升模型整体的能力的，对，这个是我比较坚信的。在这样的一个过程中，你可以说就是对具体任务的具体表现的研究，是可以使大模型的整体研究受益。同时我觉得大模型在新的任务、新的环境下的表现，如果能够稳步提升到一个差不多的情况的话，你也可以马上开始用一些更具体的提升手段。我觉得这两个就是互相之间左脚踩右脚，看看能不能上天吧。

【嘉宾】我觉得像在智元的公司还是很均衡的在发展的，因为它是一个非常本源的一个研究型公司，它是希望把研究路上的重要的问题都解决的，怎么提高这种极为少的能力，因为具体场景可能是通过强化学训，那极为少的能力呢？我觉得比较明显的一些回答可能是像架构，架构研究、预训练研究是很重要的，同时数据也是很重要的。你可以看比如说像这些具体场景的数据其实也是能够提升这些大模型能够通用的。在架构上有人觉得下一代架构可能是世界模型，我觉得现在世界模型也没有一个说法说它就一定长什么样，大家应该都是在探索，就不停地在探索架构到底该长什么样。

【嘉宾】就是24年。

【嘉宾】我是3月跟他们聊了，然后6月一毕业就去了。

【嘉宾】我不好说在机器人领域的提升吧，我相信肯定有很多其实很重要的工作，只是我现在不知道而已，很常见在研究中。只是我自己的体感的话，我确实觉得智元的主要脉络，从能力泛化到表现上来说，这条路每次我们走的时候，都有一些新的发现、新的提升，是对于一些我觉得领域需要回答的关键问题，给了一份就是第一版的答卷吧。我相信其实我们做了很多事情，也是会不停地在回顾再进一步提升。我确实觉得有一些我们做的事情……

【嘉宾】也许已经有一些商业化的价值了，这个是以前的我可能觉得还有一些遥远，但现在感觉其实还挺近的。比如说工厂吗？这个倒不一定是工厂吧，就是工厂是一种可控环境的一个代表。就是因为你可以通过控制环境来让它更适配你现在能做到哪里，我觉得这是一个比较自然的应用场景。我们在进入这里面的商业价值究竟有多少，只是从表现的情况上来说的话，我觉得是你有应用的可能性的。有什么样的任务是24年初做不了，24年底可以做的，25年初做不了，25年底可以做的？我觉得24年初的时候，你跟别人说你要叠一个衣服，而且把它叠成一摞，而且这个衣服还，因为衣服是你很难控制的一个东西。24年初，反正我当时觉得叠衣服是我非常想做的一个东西，但我是不知道能不能做出来。然后包括当时就搞箱子，还有甚至包括就是在那里做那个桌上清理，桌上清理是真的搞了很多，就是我们觉得他做不了的东西。就是是他究竟能不能做，当时就已经发现了其实很多没见过的东西他也能做。所以当时就已经有很清晰的一种，之前的不确定性逐渐变成了一个看得到的成功。并不能说保证百分百成功，但它是有成功的可能性，我觉得这个进步非常的重要。

【嘉宾】然后25年，就是首先我们自己做的是π0.5和π0.6的形，都是在25年做的。一个是进到LibNav里去，一个是对具体的部署任务要求他的表现提升到一个就是纯靠数据很难达到的一个地方。我觉得都验证了一些，就是不管是说你要多少个LibNav才能在下一个中得到一个好的初始成果，还是说你部署的时候到底能不能。因为我们是从一个很实用的角度来考虑问题的，我们在比如说做folding task，做这个叠衣服task中，我们不是说就是我们收了10小时的叠衣服数据，然后就去硬做强化学习。我们是真的把这个东西做到了，我们觉得收数据，就再收更多的数据都没得搞了的情况下再开始想说，我们用这个强化学习的方法去搞，能不能再进一步。我觉得这个frontier是通过做这样的项目摸得更清楚了。

【嘉宾】然后别的公司，我觉得也有很多很有意思的事情。比如说之前看他们智元的发布，就感觉他们的这种空间的理解和空间的认知，而且他们也不是一个单独的VLA模型，有的是一个更多模态大模型的一个能力。那种感受就是哇，这种空间能力显然对VLA是非常重要的。其实他们现在没有一个特别的一个task来展现他，我也相信他们将来可能会有一些发展。还有可能之前因为做强化学习，也会关注一些非常具体的强化学习的项目，比如说别人都在用强化学习做一些什么非常具体的问题，不管是在制造业，还有组装这些问题，我觉得都是很有启发。

【嘉宾】预期吗？我觉得肯定今年能有更多令人比较惊叹的demo出来，但是demo本身就是看是一回事，就是了解背后的到底是什么进步是另外一回事。我觉得今年肯定有，不管是人形来做操控性的任务，其实我觉得是挺成熟的一种，可以看是探索的一种应用了。然后其次就是在模型方面，我觉得模型架构应该大家都会，就是有一些大的变化。

【嘉宾】我觉得更像大模型。我其实觉得自动驾驶有比我们难，有比我们简单的地方。比我们难的地方在于这种驾驶的stake，它的潜在危害因子是很大的。如果你做出了一个决策，你可是人命，就是很严肃的一个问题。所以它对于表现完满的要求是极度的高，我觉得在我们这个领域，就我们日常生活的一些任务，或者说工厂任务的这种商业化道路上，我们其实都不需要那么一个级别的完满。所以我觉得这个是自动驾驶比我们要难得多的一个部分，他们就真的得有一个非常强有力的保证。而相对的我觉得他们比我们来说比较简单的部分，你看自动驾驶的话，它控制系的问题其实是结果没有的，就是我在这个车子上面跑，可能现在还有就跑一些雨雪天。

【嘉宾】这个道路泥泞这种问题是一个控制系的底层控制问题，他们更多的问题都是在决策方面，就是你下面要怎么开。同时他们的决策的空间，我觉得相对而言复杂度要稍微小一些吧。不像你看我们在操纵系的这个任务里面经常谈到的，就是我不仅要操纵多关节的一个比较复杂的机械臂完成一个任务，他要达到这个，我想他达到一个地方，这个就是一个操纵系的问题了。就是你可能就是载重完以后，或者是摩擦力导致的你可能不能完美的去贴合你想让他到的地方，所以这种操纵系问题是已经比较难一点。同时他在决策方面的话，你要叠这个衣服你这种手腕的转，到底怎么转，到底想怎么转，他有很多这种复杂的特别不一样的一些动作在里面，你都得能够搞定，所以我觉得这是他的难点。不难的点而跟大模型相比，我觉得大模型他是和我们异曲同工之妙，就是大模型他可以瞎说，他稍微犯犯错了，大家都很习惯了，你就是会胡说八道，对吧，我们不会全信你的。所以他的这个完满，我觉得是不需要做得像自动驾驶那么的严苛。同时在这个探索方面，我觉得他们，你看把他们当成一个智能体，他们的动作空间是输出每个字符，也可以说输出一种策略，他们的动作空间也是一个高度抽象化的，所以需要很多多样性的一个动作空间。所以我觉得对于我们现在的机器人来说，我们两者是兼焉的，但同时可能目前的发展阶段和大模型更加贴合一些，我觉得大模型是现在发展得挺好的，都已经跑上了。所以他们更多的就是在如何几近完满并且降低成本，就是其实在高度，就是这种策略规划上面的问题。就是从A点到B点好像也不需要太多的时候，什么C点到D点就不行了。这种机器人和自动驾驶神技，这我看来就是一个比较平行化的问题，因为像这两个问题的特性，就是以往的这种路径规划和控制的话，可能更贴合现在有某些自动驾驶公司的一个路径，可以看作是它的一个应用。但现在因为我们已经不再用这种范式了，转到另外一种新的范式的探索，我觉得就有一点平行空间的感觉。

【嘉宾】对，但是互相之间是能学习的，因为也有人在用机器学习做自动驾驶，我们也会从它的部署的体验中得到一些灵感，就比如说他们如果跑了这么多台车，然后拿到了这么一个数字，然后他们想要再提升安全性，他们是怎么做的？他们的一些基础架构，包括自动驾驶界其实对于模拟器用的应该是很多的，而我们机器人，尤其是操纵机还没有这么一个可以跟它对等的模拟器的出现。

【嘉宾】我觉得首先几家公司，头部公司应该都有自己的模拟，同时也有那么一两家公开的专门做这个的公司，你可以付费使用。

【嘉宾】我觉得是一个隐形的方向，因为家中的问题非常的多和复杂，所以如果你觉得你迷失了你的方向，你就想一想，我们现在机器人还能不能做家中这个问题，应该有很多问题都是做不到的，你怎么把它做到，就是一种很自然而然的一种想的研究的一种方法。家中的问题呢，还有好几个难的维度，我觉得第一个是它的环境的复杂性，确实是没有两个人的家和卧室是完全一样的。你必须要泛化性，过了一个很强的泛化性的保障，才有可能就是到了一个新的卧室也能够。就是我们现在做过一个叠被子，我们承认我们叠被子不是100%，不是说你到一个新的家都能够叠，就是因为每一个新的环境的复杂度在那。同时就是家中的任务的动作复杂性很高，因为人在家中其实承担了这个家务，它的各种各样边边拐拐的东西，我觉得就是我罗列一筐可能都列不完，就咱们在这儿谈个两个小时可能都没给它彻底给它写清楚。我们就是这些动作加上这个环境，就已经是给它从机器人表现方面提了很高的要求了，同时呢它还需要就是家用机器人，如果做一个产品商用化来存在的话。

【嘉宾】它对于硬件的稳定性和人交互的安全性也是有很高的要求。就是硬件的话，我不知道现在有哪家公司的硬件是能够在一个人家里跑个一个月，而且不光是站在那站一个月开机，而且是做了各种各样的任务，一个月然后可能有一些，比如说我平时走路有时候还会给桌子腿绊一下，就这些损伤它该怎么样去承担去稳定。然后并且就是如果你在一个人的环境中和人互动的话，也会有很多危险，或者说你这个，就是这个可能就是我看特斯拉Optimus擎天柱我看到最害怕的就是，他说在我家里摔了，就我该花多少钱修我家地板呢，或者他摔在我身上，我岂不是就是那个什么的，我好害怕呀。所以我看到这样我就会觉得，其实我们距离一个优秀的form factor，一个真正的巨神可以在人身边工作的巨神还是有一点距离。

【嘉宾】那是不是长小一点比较好，我觉得小就是比如说像宇树的这种G1的这个小孩一样的身高，确实就是给我一种他没有那么大的威胁性，然后可能他也轻一点就轻，就是整个机子轻了以后他能做的事情、他耗电量还包括关键性，我觉得都是瞬间就有很大提升。但是这小的话，其实他们也会有一些其他的问题吧，比如说他这个人形的一个很大的说法，就是说你人可以做的事情，其实小以后你有些人做事情就做不了了，那你还怎么用这些人的数据也是另外一个话题了。

【嘉宾】我觉得在一两年前想看到这种级别的demo就只是想想而已，能看到他真的把它做出来还是非常激动的。我觉得他能够做出来，就是有算法提升也有硬件实力在里头。我觉得这种硬件实力可能是现阶段看中美的产业对比的话，最直观的感到，中国在这上面是有领导力、统治力的，就是很难想象有一家机器人公司，他组装好一台机器人，然后这里面没有一个零件是中国的，我觉得是不太可能真的。我觉得中国的产业链制造业的优势实在是太大，而且到现在我都不知道美国人要是追的话该怎么追。同时就是因为这个硬件迭代，就可能他拿着现有的算法，距离商业落地端也是有一些优势的。

【嘉宾】我觉得像Pi这样的公司还是比较独特的，我都不少说它是一个中美的不同，还是怎么，就是它是一个很偏向研究的一家公司，就是暂时情况下我们应该是完全不考虑商业化，因为觉得那可能是一个distraction分心，这个其实也是有一些历史原因。

【嘉宾】就是Peter Abebe他不是Chelsea Lohan的导师吗，Peter Abebe他是有过两次专业经历的。一次他非常成功地做了一个给学生作业打分的一个系统，现在基本美国大学都在用，我上大学也用这一套系统。然后同时他还创立了一家机器人专业公司叫covariant，他在2015年还是2016年就创立了这么一个公司，说要做机器人的通用的机学习的一套方案。而他们公司在发展过程中，可能在某个时间间开始就比较深耕这个物流、仓储、机器人。从大模型开发的角度上来看，从回头来看会觉得这其实是对他们开发大模型的一个分心，因为投入虽然肯定是做出了很多成果，但是在大模型这边就觉得，因为过早的去商业化而失去了，就是这种通用泛化性，反而把经历放在了很多商业化的相关事情上，没有真的去追溯本人的问题。所以Pi我觉得是有受到这段经历的影响，就是比较的强调说我们不要太想这种商业化的事情，不要就是为了挣钱或者说去把这个商业闭环打通，去做很多可能说对研究没有帮助的事情。大家还是很纯粹地说我们要做一个研究，把它表现做得最好，商业化的事情可以后面再想。我觉得这个和我听说的一些中国公司的逻辑是不太一样的，中国公司可能从商业逻辑上来说更强调使用主义和商业的回本。

【嘉宾】我觉得这看你是怎么理解硬件的投入和表现的。我觉得我们没有无限的钱，所以我们在每个方面都投入不够。你知道那个OpenAI应该它现在融入多少钱，我们每天看这个钱就觉得好眼红，我们也想有这么多的投入，我们有这么多投入以后我们的软件变得更好，算法变得更好，算力变得更好，数据变得更好，哪都好。所以不够是没有指性的，我觉得都可以投更多。相对而言的话可能就是现在的产业优势，在硬件方面是在中国，它有很强大的供应链，你可以定制一个机器人，它有很多的电机的选择。

【嘉宾】机器人的形态选择都是有比较成熟的一个方案的，所以这个是它的优势。我觉得大家其实也都有在看，就怎么样弄一个最适合自己的机器人的硬件，我觉得这其实大家都在做。只是因为缺少了产业链制造业的这一环，可能在做的过程中，它的迭代速度会变慢，或者有些事情可能如果你做更快，有更多可供你驱使的机器也会不一样。我觉得这个确实是对研究的迭代速度肯定是会产生影响。但同时另外一方面，硬件毕竟不是一个解决的问题，它是一个相对而言可能没有软件那么严重的问题。因为现在你搭一个硬件是可以搭起来的，你想它做一点有意义的事很难，所以这是软件的最大的问题。而硬件的话属于你搭起来是可以搭起来，动也可以动，但不是说你已经把硬件做完了，就还是有发展的空间。我觉得这个其实创新永远是未知数，你不知道有没有可能它做出了一个就很简单的硬件，非常适合现在的算法，没人说得清。有硬件的历史更好抹平，还是软件的历史更好抹平，过去几年的发展来看都好抹平，大家永远都是在这。

【嘉宾】是的。我觉得我们有很多论文是公开的，Google 不一定是公开的。

【嘉宾】我觉得都很关注，这是一个不可忽视的一个部分。

【嘉宾】那个表演我们就在这个公司的群里面发了呀，大家就会讨论说这个东西可能是怎么做的。甚至最近的读书会，我还想说要不要请一些方便的专家的朋友来给我们讲一讲。因为我们不怎么做人形，也不怎么做这个 locomotion 问题，也可以请他来教一教我们这个东西里面发展是怎么样的。我觉得这些都是大家会不停地去看到更新更好的东西，然后去学习看看有没有启发，可不可以用到我们现在做的事情上面。不管是 Figure 还是其他公司应该都是一样的。

【嘉宾】这个确实最近有几篇新的论文出来，可能可以解释他们的一些做法。我不知道你知不知道，Shimiga 是一个 CMU 的教授，他之前在读博士后的时候和他成为了朋友，从他身上学到了很多 locomotion 的一些东西。他们组已经发了这个 OmniH2O，我们可以从早期发展稍微梳理一下，大概是在18、19年的那一会我稍微关注过一下他们是怎么做的。很多时候是希望他走路，然后走路可能有一个 policy，所以你就把它分成可以简单粗暴地分为一个 high level，高层的告诉你我大概想要你变成这个样子，和 low level 去执行我怎么样变成这个样子。Policy 的话可以是一个走路，可以是一个拱翻，可以是一个跳舞。而执行端的话他以前可能就是不停地去控制，现在的话可能可以配合强化学习来达到你想要的这个姿态。

【嘉宾】我觉得很多在美国的从业人员应该都会同意说，我们的硬件还有很大改进空间。

【嘉宾】好充满想象的一个命题。你知道每次当我看到科幻，有一个机器人他的意识觉醒了，他要毁灭人类，我都想说，这真的很希望有人给我解释一下意识是怎么诞生的。因为我们只是一些就是生物学小白，但是会去听一些这种科普，就非常想搞明白，怎么样就从一些物理、化学这些东西里面突然就诞生了意识，这么一个我都不知道该怎么表达出来的一个东西。我觉得如果我们认为机器人产生的意识，是像人类这样的意识的话，我其实因为有点悲观了，我想说这真的有可能吗？但是如果你把意识定义得很宽泛，就比如说我现在跟AI聊聊天，他给我的感觉是他像个人，他就够了的话，你也不能说他没有意识。但是也许在将来，就是大家可能更期待是一种，我也不知道它太智能了吗，所以他显得像有意识，就真的是对我来说讲不清的一个话题，但是是科幻小说非常好的一个素材。

【嘉宾】我觉得机器人种族可有意思。我其实一直很想做的就是机器人可以造自己，我觉得这个是机器人发展的一个，可能会是一个里程碑。因为它就像一个种族是有延续性的，是可以通过自我的一种繁殖，我觉得机器人能够组装造自己，就是一种繁殖的体现。所以这也是我非常想做的一个课题，也是我当时去找教授的时候，我就说我是非常想做这件事情的，机器人的种族。我觉得第一，我非常喜欢就是机器人哪里坏了就可以修，你看我之前这个派一个人摔了以后，因为某一个部位受伤，这家待着很久，而机器人就可以换掉、换掉，然后可以拆然后可以改变形态，我觉得这是一种非常自由自在的一种存在方式。然后机器人想打样就打样，对想打样就打样。甚至你可以就是像特修斯的船那个希腊故事一样，我把这个机器人从头到脚都换成了另外一个零件，甚至模型也可以换，还是原来那个机器人。其实在我们公司的发展过程中就是有这种，本来是有编号的，就是这是一个机器人他的编号是这个，然后通过不断的修和改，他已经完全不是原来那个他了，他好像跟那个原来他的唯一联系就是他们编号是一样的，但是里头全都换掉了。我们就说要不要给他起个新的名字，不然好复杂，我还经常要说这个机器人在某个时间点前是这么个东西，后面是这么个东西。机器人种族我觉得，也许是会成为机器人种族的一个伦理，就是之前什么我的上一辈做了这个事情跟我没有关系，因为我们已经从头到脚的没有一个零件是一样的机器人了。然后这个伦理审查我也会就来看这个机器人，是不是真的从头到脚里面每一个零件都是唤醒的。

【嘉宾】最后一件事情？我确实希望我们做的很多事情是可以提升生产力，使得你可以做到很多原来需要人做的事情，然后你一个人就可以做，但是我相信人类的创造力是无穷的。我不觉得我们活着是为了提升生产力，我觉得我们活着更多的是爱与死吧，是文学作品中永恒的话题。我觉得其实是在一个生产力高度发达的年代，应该也有人想要做一些不一样的东西，想去探索一个还没有做出来的东西该怎么做。所以我不觉得机器人会是最后一个造物。但是延续，我确实觉得一个比较浪漫的想法是，虽然我们生命是很短暂的，只有100年，放在人类历史，放在宇宙历史上微小到不值一提，但是是不是有可能你造出一个东西，它可以看到宇宙的尽头。

【嘉宾】它是黑盒，但是它因为是从一个数据出来的东西。

【嘉宾】它是有限制的，它是Bounded by the objective that you define。它是一个很数学化的一个东西，所以它虽然是一个过于黑盒的、它是一个过程无法理解的黑盒，但是它是在数学层面上可以解释的一个东西。我觉得在训练机器人的过程中，如果有什么感悟的话，可能一方面，就是一方面会觉得确实就是能够发挥我这个特别想偷懒的天性。如果一件事情可以让机器人来帮我做，我会想方设法让机器人来帮我做。这不就挺好的，就是你有一个智能体，它一直还没有到完全体，它已经可以做一些事情，我就想方设法把这个事情利用起来，来提升我的生产力，可以让我少干点活。我觉得这个是我对于人类文明的偷懒，我甚至可以暴论一下，是不是偷懒是人类文明一个本质的追求，就提升生产力和偷懒是一个东西。

【嘉宾】然后其他的话我觉得，在很多时候，在我现在的工作中是没有什么人文的，或者说因为我每天讲的是一些非常物理化的、科幻化的一个东西。我也会感觉，就是我也会和一些其他搞人文的、就说艺术创作的一些朋友聊天，他们也会很好奇问问机器人的进展。我也会以自己作为一个用户的好奇，是不是有一天我们创造出的这些智能体，它也能够进行某种意义上来说，超越它的创作者，离开我们进行一些创作。那一定会发生什么我不知道，艺术它会搞一个二维码，然后他们每个机器人都觉得这个二维码美极了，让你在这里看了以后就有一种不明所以的感觉。

【嘉宾】写小说吧，回家写小说，做一个游戏，创造一个非常能贴合我喜欢的一个故事，把它分享给别人看看有没有其他人喜欢这个东西，投文学奖看看冲击一下。

【嘉宾】我觉得构思小说确实是一直没有停止过的，写不写出来是另外一回事，拖更是经常有的。但是就是构思一些故事，不管是和我们现在生活非常贴切，还是说非常天马行空的想象，真的机器人解决以后的社会形态，是一直都有存在的。就包括生产力极大的爆炸以后，一个人，就假设在现在这个年代就有生产力极大爆炸的话，那确实可能家里终于不用被前来看望的爸妈吐槽说你家里怎么这么乱、这么脏。不想干的事你都可以丢给别人干，丢给别的机器人去干。然后也可能会，比如说现在的艺术创作中，比如说朋友会去做一些小手办艺术品，我觉得可能就更多的是你有这个概念，然后你可以把这些执行端的事情全部交给机器人来完成，我觉得这些也是一个方向。然后可能更远一些的生产力爆炸，可能有个资源以后，自己可以造一个城堡，到哪个乡村去景区。你看网上有一些古堡拍卖，才几万美金，这个就可以买一个什么200年没有修过的古堡。你现在没有人买是因为太麻烦了，要修，要找很多专业工人。我觉得就有一个很有意思的特点，可能是现在社会里面很多工种是一个特殊的工种，你花了很多你作为人的这个时间去锻炼一个技能，然后你有很多的知识。但机器人或者人工智能，它作为一个大模型或者通用的一个东西，还是可以随时的切换。比如说将来可能修房子，就真的就是有两个修房子的机器人，他们什么都能做，让他们可以互相配合，就把现在需要找不同的工种来完成的这个事情给干掉了。

【嘉宾】有两类吧。第一类是在一个完全不同的科幻环境下，探索了一些人员之间的关系；第二类是拿着一个魔幻的题材，但是把它放到了我们现代的生活之中。

【嘉宾】举个例子的话，可能第一类像看过一个修真小说，但是是在宇宙里搞科技发展，是很抽象这个命题，即讲出来我都觉得好像很乱七八糟的样子。但它其实探索的是一个女主角作为穿越者，来到了这么一个未来的世界，感受到未来世界的社会制度以后，她想要改变这个制度，她做的很多事情。我觉得这个是和我们非常遥远，但是在未来也许有以前某一个人就会有这样的一种struggle，一种困境，一种英雄的旅程。什么样的社会制度，把它改写成什么样的社会制度。在她那个社会制度里，她有很多性别对立的点所存在，就是男性和女性的分工完全不一样。女性的分工是因为她们天生就拥有一个自己的宇宙空间，所以她们被塑造成了一种看起来似乎是女尊的世界里，但实际上女主不觉得这是一个好的世界。毕竟她也是从我们这个世界出去，她可能天生就不认同这种世界观。但在那个已经成型的社会观里面，每个人生来要做什么事情，都是从小到大的细节、教育、观点、社会塑造，非常强烈的。她想要反抗这样的社会塑造，她想要创造一个大家就可以自由选择的一种东西。她在这里如何召集盟友，让大家愿意追随她和她一起做这个事业，是一个很有意思的旅程。

【嘉宾】然后另外一些的话，就是类似的这种科幻小说我现在还挺多的，就是非常喜欢这种。然后另外一类的话，我觉得就是这种魔幻主义，比如说看这个现代社会打工人怎么又坚持武林盟主，就是有一种两种完全不同世界观的碰撞。一方面是一个你生活息息相关的，好的地方你都能理解，痛的地方你也能感受到；另外一方面是一个你可能小时候会喜欢的那种，跟我们八竿子打不着的一种完全不同的世界。但是在一部作品里面，把两个世界揉合在一起，让你感受到他们之间的一些共同性，还是挺有意思的。

【嘉宾】比如说我之前因为经常打游戏，打网游，然后网游里面可能是需要组队的，就担任了一段时间的队长去负责组队、沟通，还有处理一些鸡毛蒜皮的事情。或者说团队进度遇到问题的时候，你需要去安抚，或者说给大家打鸡血。这其实跟现代公司的这些项目管理，是有非常多异曲同工之妙的。

【嘉宾】我觉得是。

【嘉宾】虚无主义，我觉得我很难在看到一个具体的意义的出现的时候认同它。人或者是为了什么，我觉得是一个误解的命题。所以当别人可能会试图说服我说某个东西很有意义的时候，或者是想要打破砂锅问到底，我就会能够得出一个结论，就是其实没有什么。所以这是我虚无主义的一个部分。

【嘉宾】我觉得从某种意义上来说，我是很幸福的，因为我在做自己最想做的事情。

【嘉宾】我还挺喜欢乔布斯之前的讲话，人生有可能是有很多点，当你在走过的时候，他们看上去毫不相关，但你却有一天，他们是可以连起来的线。我并不觉得我走的每一个点，需要一个马上就能产出的清楚的目标来驱动。但是在某种意义上来说，现在我的人生的途径走到今天，已经能看出一些奇奇怪怪的点连成了一条线，形成了我这个人的历程。

【嘉宾】点的预测？

【嘉宾】我的这个人的点的预测，我非常想做一些我比较感兴趣的课题，并且希望把他们做成一个就是五年前想的不敢想的东西。我觉得如果能做到这个，我会非常快乐，所以这是我在接下来五到十年的一个期望。也有可能就是最初发展得非常快，我也想开始做一些更加落地的项目，因为觉得这个东西好玩。我觉得预期是无穷的，但是最后随着时间的推演，你会把这些东西收敛到一个更加确定的道路上。所以我很难现在给你一个我一会就做这个，反正都说如果做这个就会很好，这种思想是更多的。就在工作中我们是非常确定的，下午做这个。

【嘉宾】觉得有非常多的书都影响到了我，但是现在可能偶尔会思考的这本是 Distinction 吧，Constructing Social Taste。它是一个法国社会学家写的一本关于这个社会的阶层和每个阶层的喜好，包括人生活中的衣食住行方方面面的书。他认为是有很多是经由现在的社会所塑造的。我为什么推荐这本书是因为，我觉得就是通过看这本书，让我对于我所喜好的一些东西，和我有多少喜欢是我自己喜欢，有多少喜欢是社会的塑造的喜欢，产生了更多的认知。而在现在这个社会，在硅谷，我觉得是盛行着一种对于生产力的崇拜的。就是也许我们没有这个书中所描写的那个社会的那种，就是贵族打这个球、骑马是一种更高贵的运动。在那个年代，他们可能会追求一些我们现在不太认同的价值观，什么是更好，什么是没有那么好。但我们现在其实我觉得也是有一种新的价值观，甚至我觉得这个价值观也只是一个变化中的缩影。我觉得这是我的人文主义的东西在告诉我，虽然我是在工作中这么热衷地去优化生产力，虽然整个硅谷它已经放弃了对衣服、对穿着的这些讲究，它讲究的是效率，讲究的是这个经济，讲究的是创造，它何尝不是这个社会价值观的一个部分呢？

【嘉宾】我时常觉得这是一个很有意思的点。小时候搞竞赛吧，会学到一些算法，贪心算法和动态规划算法是两个常拿来比较的东西。贪心算法就是说，我在每一个时间点上，我都要做最优化的一个决策。

【嘉宾】我要做当下的最好，而动态规划算法就会告诉你，就是如果你有一些全局的视角，你就会发现每一步都做最好的决策，并不能让你达到全局的最优解。我是非常的喜欢这个逻辑的信息了，所以很多时候我觉得就像塞翁失马，焉知非福吧，一时的成功失败，还有优化，还有没有做到极致，其实并不能代表着长期最后的结果，因为我们没有一个人有着全知全能的视角。所以其实是在追求优化的道路上，我有的时候觉得做九分留一分是可以的。而我自己的这种求学路程，跟我做上的东西，可能也在很多人看来就是从来不把事情做到最后，我觉得也许机器人会是我第一次觉得我们得把这个事情做到最后。但之前的那么多没有做到最后的东西，才让我走上了今天这条路，我觉得这个和硅谷这种很多时候很多人都是从很小之前就走上了同一条路，一直在上面竞争，是有一些本质性的不太一样的。

【嘉宾】我们是炒饭。我们希望在人工智能快要来的时候，留下一些人类的日常生活的印记。

【嘉宾】地点吗？我非常喜欢爱丁堡，就是我在英国留学的短暂的半年里应该是最喜欢的城市了。可能以前的我因为比较喜欢一个人待着，而且其实现在大都市很多时候是一样的，就没有那么的感受到，我走了一个完全不同的物理空间，我整个人的状态都会发生它的改变。因为爱丁堡这个城市有非常多的古建筑，也保存得非常好，并且它也没有那么多大都市的喧嚣感，就它甚至有点像旅游城市，大家都是去看那个古堡的。但是在那种城市有一种慢下来的感觉，有一种就是思考人就是历史这么沉重的一个东西放在你的眼前，然后你在只有转瞬的一瞬间，你想做一个非常大的一个动态的一个变化，但是就在这些城中历史面前，这些动态的变化究竟最后会去哪里你是不知道的。只是站在城中，只是站在这个历史的以及这个地方，能感到一种就是很安稳的感觉吧，所以是我非常喜欢的一个地点。

【嘉宾】我可以讲一些就是生理知识相关的吗？

【嘉宾】这个是我上大学的时候和朋友聊天才发现的，就是女性朋友们可能有一些误解，觉得就是有一个叫处女膜这个东西，它会在就是第一次的时候会破裂，会流血，就变成了一个就是大家非常相信的一个真理了。但其实在医学方面，它是有一个医学的名称叫做阴道瓣，它并不是意味着你的这个第一次体验，也并不一定会流血。这是一个我当时和朋友沟通，我们也是恶补了一下这些生理知识，才发现我们对于自己的身体构造有着这么多的缺失。

【嘉宾】好多论文，ChatGPT也极大的影响了机器人的进城呢。真的有太多论文我觉得很难就是以一个吧，我觉得从数发展上来看的话，最近影响很多，就包括这一代模型的电机，比如说像Diffusion Policy这种扩散式的，还有之前就是Transformer ACT这样子开始用这个Transformer架构做，还包括更早我觉得有很多对模仿学习和情况学习的本源性研究，都影响到了就是现在大家在做什么。

【嘉宾】我觉得其实我们进入家中，不一定是以产品的形式，是更多一些探索形式，没有那么远吧。

【嘉宾】对比我一开始想象的可能要近一些。

【嘉宾】语言及世界？我可能下一时的就是把它诠释成了语言就是全世界，然后我就会有一些跳跃的想到，这不就是缸中之脑吗？就是咱们其实生活在一个有所有感官连接的一个东西，就是你所感官就掌控着你对这个世界所有的认知。完全也可以想象我们活在一个巨大的模拟器里，你的眼睛、鼻子、耳朵都是插了一个信号源的，这个信号源想给你输什么就输什么。

【嘉宾】因为现在研究区间，研究区的话大家会说，大语言模型它是一个纯语言交互的。就是之前的那种内在的纯语言交互的话，它是不是不能理解真实世界，不能够把它所听到的一个概念放到真实世界中。就是证明是一个随机学习，有很多物理性质都不能够capture，不能够去捕捉，不能用言语去描述。我觉得也是这样的反思变相促成了多模态的研究。所以我们生活在一个巨大模拟器里面吗？如果模拟器就是世界的话，那好像模拟模拟没有什么差别，唯心主义。