E238|聊聊Harness时代AI-First的组织架构:从信任人到信任AI
【主持人】
Hello 大家好,欢迎收听硅谷101,我是泓君。过去三年我们经历了大模型工程能力的三次概念上的进化。大家还记得在2023年模型刚刚出来的时候,我们大家都在聊prompt engineering,它的核心是说要怎么样去写好一个提示词,让模型给出更好的答案。后来在2024年,焦点就变成了context engineering,它是说怎么给模型提供更完整的上下文,让它能够去理解更加复杂的任务。到2025年,一个新的词开始在硅谷流行起来了,叫做Harness Engineering。
Harness在英文里它原本是指挽具,就是说套在马身上用来引导和约束马的那套装备。那现在它被用来形容一件事儿,就是你怎么样去围绕大模型搭建一套能够让它在真实的世界中持续工作、自我修复、还能自我提升的一套系统。
最近,Creole的CTO Peter他在推特上写了一篇文章叫做"为什么你的AI优先战略可能错了",引发了几百万的关注与讨论。他的核心结论是,大多数公司所谓的这种AI first都是假的。那真正的AI优先战略是重新设计整个公司的流程还有组织结构,本质上也是他们内部怎么样去Harness的过程。
Peter之前是Meta Llama基础模型团队的研究科学家,后来在苹果从事多模态模型的相关工作,所以他的工作语言是英文,如果本期内容的中英文夹杂过多,欢迎大家收看我们播客的字幕版。
那也很难得今天除了Peter,我们还把Creole的另外两位创始人,也是这个故事的亲历者邀请到了我们的节目上,来聊一聊他们是怎么在AI快速进化的一年里,重新组织自己的组织架构,把信任人变成了信任AI。
好,那首先我们请今天的三位嘉宾简单介绍一下自己。
【嘉宾Peter】
大家好,我是Peter,Creole的联合创始人兼CTO。
【嘉宾陈凯】
大家好,我是Creole的CEO,也是联合创始人,陈凯。
【嘉宾Clark】
大家好,我是Clark,我是Creole的联合创始人,现在主要负责我们的Go-To-Market。之前做了很多年的Data Scientist和Machine Learning Engineer,现在在Agent的领域里面跟凯和Peter一起帮助用户更好地使用Agent,然后达到AI First这样一个组织形态的目的。
【主持人】
好的,欢迎三位。开始的时候我们就直接入主题吧,就最近大家都在关注这个Harness Engineering。那Peter,你要不要跟我们介绍一下什么是Harness Engineering。
【嘉宾Peter】
Harness这个概念其实可以追溯到大模型刚开始的时候,很多人在聊Prompt Engineering,之后也变到Context Engineering,到之后的Harness。整个Harness过程不仅仅是对于LLM本身的Harness,还包括围绕的整个大模型,包括它的基建、Tooling的使用,包括安全性Security的保证,整个这样一个优化的过程我们把它叫做Harness。
【主持人】
可不可以跟听众解释一下这三次进化它是怎么发生的,然后每一步它最重要的是什么?
【嘉宾Peter】
对,我先说一下Prompt Engineering和Context Engineering,更多的是focus在怎么和LLM这个大模型本身进行交互,就是我怎么优化它的context,怎么优化它的prompt。从这个角度上来讲,它的scope要比我们现在讲的Harness要小得多。而且从静态和动态的角度上来讲,Prompt Engineering和Context Engineering相对来说是一个静态的事情,因为你优化的是一个大模型,你优化的任务可能也是一个相对来说比较垂直的任务。但是对于Harness来讲,Harness是一个系统的Harness,而且对我们来说,我们是在Harness一个通用的系统,所以从scope上来讲会比Prompt和Context Engineering要大很多。因为这涉及到Tooling的使用,涉及到你的Sandbox的架构设计和你的host service之间是怎么进行交互的,怎么样的交互能够安全,你的Sandbox在启动的时间是多少,你的latency是多少,都是Harness的一个部分。
【主持人】
我可不可以理解成Harness的工程能力,在决定你怎么把一个大模型榨出它的最佳使用上限,它可以理解成是AI的一种工程能力。
举一个例子,我记得凯之前是在融资的一个新闻稿里面,其实你有提到一个agent他可以一夜之间完成三个人做SEO的工作流,同时还有一个content pipeline,他跑了两天然后才有人发现全是垃圾。这两者之间的巨大的区别就是一个非常好的表现跟一个非常差的表现。我可不可以理解成从本质上说一个就是Harness的胜利,一个就是Harness的失败。
【嘉宾Peter】
对,刚才提到了两种状态,一种是你效果好,一种是效果不好。但是我觉得这个完全印证了为什么我们需要Harness,因为Harness的本质就是在于我们怎么能够持续提升一个系统。当你这个系统产生的效果不好的时候,你这个系统是需要人的feedback去提升呢?还是这个系统本身自己能够self-healing、self-improvement?这个正好就是Harness的核心,因为通常来讲我们也有很多用户在我们的平台上产生agent,但是这个agent不是说one shot就能达到一个完全优化的状态,用户怎么去follow up这个agent,我们的系统怎么能够self-improve这个agent,也是整个Harness的核心。
Harness很重要的一件事情就是怎么能够让agent在inference阶段scaling,包括你怎么能够把更多的context提供给他,更多的tooling给他,让他思考更长的时间完成一个任务。我觉得这都是在inference阶段的一个scaling。所以在inference阶段的scaling,因为他工作时间长,tooling使用的数量多,他的context多,所以你Harness如果做得不好的话,就很容易产生hallucination,或者你context overflow,你的模型的能力会degrade。所以在这个过程之中,怎么把这个Harness做好,其实是一件非常复杂而且需要一些经验的事情。
【主持人】
对,换句话说,就是Harness它是一个新概念,但是它所谓的核心其实是把这种传统软件的东西放到了agent的应用上。所以大家怎么去看这个Harness里面,它有哪些是我们这个时代的新的东西、传统工程没有的?
【嘉宾Peter】
因为大多数业务的人,他可能都是从能力层面去理解一个软件。就像很多人从传统的角度来讲,他不理解就是说,其实一个很简单的功能,可能都是要开发团队在之前的情况下要做两到三个月才能去实现。很多业务的人经常会说的事情是,我觉得这功能很简单,为什么这个产品就是一直解决不了我这个问题呢?其实是因为你后面有太多的工程化的问题牵扯在那边。其实这个对于agent来讲也是一样的,很多人会觉得LLM的能力提升了,但为什么他做不到我想要做的事情?那其实是因为还有很多工程化的问题需要一起被解决。那这个也是我们去做Harness的一个原因。
【主持人】
你觉得今天我们市场在讨论Harness的这个部分中,有哪些是大家的共识,有哪些是非共识?因为我觉得不同的群体对Harness的认知可能不一样。
【嘉宾Peter】
我听到的很多看法,通常来讲认为Harness是一个静态的过程,就是我怎么能够搭建到系统,去把LLM的优势更大地发挥出来。而对于我们来讲,我们认知中的Harness就是一个动态的过程,你这个系统怎么能够从一个静态的状态真的活起来,能够self-improve,能够不停地adapt新的signal。不管是marketing的signal,还是产品本身的signal,还是用户的signal,能够让它不停地迅速迭代。我觉得这个是可能很多人还没有意识到的一点。然后这个迭代也是以AI为主导的,而不是人为主导的。
【主持人】
对,也是以AI为主导的迭代。但是人所需要做的事情就是怎么把各种各样的signal反馈给AI,不管是marketing的signal还是产品的signal,还是基础设施自己的signal。
对,我注意到最近你有一篇推特的帖子非常火……
【主持人】
然后其实是讲你们是怎么一家25个人的公司,然后99%的代码都是AI来写的,基本上你早上10点写了一个功能,中午就进行了AB test,然后下午3点的时候就根据数据的反馈把它砍掉了一部分功能,5点又重写了更好的一个版本,这是一天的时间。但是这种工作的节奏在传统的开发产品的过程中它是需要6周的。你的这个帖子在推特上非常的火,到现在为止我昨天还去看了一眼,有187万的推特的流量,同时下面大家也有很多的共鸣。但仔细看下来,其实我觉得你就是在讲Criolo在整个工作流程中用Harness去做的,也算是你自己独立探讨出来的一条Harness的方式。
【嘉宾Peter】
对,我觉得这个就牵扯到Harness的一个具体细分的层级。在我们Criolo来看,Harness分成两个主要的部分,一个是对于Criolo本身Agent系统的Harness,另外一个是对于用户使用Criolo的时候,在构建自己的Agent的过程中怎么Harness自己的Agent。在之前的话,我们传统的开发过程中,可能需要两三个月的时间来迭代一个Feature,但是在Agent这个情况之下,很多东西都是AI辅助的coding,本身implement的这个Feature可能只需要一两个小时的时间。所以在这个过程之中,如果我们还在花很长的时间去design和很长的时间去testing,就不是很make sense。所以我们怎么把design planning的阶段和testing的阶段include到整个的Harness过程中,对这个公司能不能真正转型成为一个AI first公司是非常critical的。
【嘉宾Clark】
对,我想先跟大家表达一个观点。我们如果想要做到所谓的AI first或者AI native这样的一个状态,它并不是在现有的流程上面去使用AI的工具,而是要围绕AI的能力去重新构建你的工作流程和组织形态。所以这个是Peter刚刚所描述的,因为其实我们在之前的很长一段时间里面,每一个工程师都在用AI写代码,每一个产品经理都在用AI写PRD,每一个设计师都在用AI做图,但其实这样并没有增加我们的效率,反而是导致每一个人的工作的进度和节奏不一样之后,我们的alignment成本变得非常之高。因为我们本身是一个全部都是remote办公的状态,所以在这样的一个机制下,我们要去重新想我们到底怎么样能够让AI在我们整个公司的运营的过程中能够真正地自动化跑起来。所以才由Peter设计了一套新的开发流程和我们新的产品的架构重构,才有了今天Peter所写的这篇文章里面所讲的self-healing自我修复的agent harness,或者engine harness是一个什么样的形态。
【主持人】
可不可以举一个例子,因为你在说重塑开发流程跟组织架构,你们开始用AI自己去写agent的过程中,包括你们在重塑整个组织架构的过程中,你们觉得哪些方向发生了变化,哪些方向跟你们在预期的过程中是不一样的?
【嘉宾Peter】
对,我觉得在我们整个推进Harness和推进AI first的过程之中,首先需要解决的就是人的问题,大家能够接受这个新的工作方式,所以我们也花了很长的时间去align大家的mindset。我觉得这个mindset alignment是最重要的。之前的话可能我们需要做这样一个转型需要很长的时间,因为人需要去搭建这个系统,通常比如说一个architecture,一个engineer需要好几个月的时间去demonstrate我的这个新的工作方式是比之前的更好的,但这个转型的成本就相对来说非常的大。但是在AI辅助的情况之下,我们在demonstrate整个这个新的工作方式的过程中就比以前会快很多,可能我们只需要一两周的时间把整个系统进行重构,包括从前端后端architecture infrastructure都进行重构,然后给大家demonstrate这样一个新的过程,它work起来是更efficient的,不管是deployment的频率、deployment reliability和最后的效果上来讲,都能够比之前的工作方式有一个很大的提升。这样的话我们可以在很短的时间内对大家的mindset进行一个align,之后大家onboard到这个工作方式的过程之中,就能够更快速地融入到整个的开发过程。
【嘉宾Clark】
对对对,Harness本身其实它更多是在于build的一个系统,真的能够让Peter刚刚说的这个所谓的AI first这样子的一个组织结构能够高效地运转。这个其实非常重要,为什么呢?因为很多组织上的人他的思维会很难去改变,会觉得说我可以用AI来提升我的效率,但是AI first要求是说你让AI来drive你的整个公司的方向,还有可能你每天工作的方式都是由AI来drive的,这是完全不一样的概念。
【主持人】
举个例子,是每次AI给你们布置任务吗?
【嘉宾Clark】
对对,其实就是说,原来可能大家都是觉得还是人去提出一个概念,然后由AI来帮助人去提升效率。但这个东西可能因为人如果还是这个工具的使用者,那他的效率提升可能有一个所谓的效率倍数的上限,可能最多就10倍,因为人最多每天可能就工作24小时。但是如果说你真的希望AI能够把我们工作的效率提升100倍、1000倍,你不能还是说你是那个工具的使用者,而是AI应该是所有生产力的主导,人的角色就会发生变化,更多是在于我怎么去看最后的结果是否是好的,或者说我怎么去review这个结果的好坏,还有包括我在这个系统里面,我并不是那个实际的工作者,那么如果在这样的角度下,我应该以怎样的一个方式去跟这个系统配合起来。这个其实我觉得是很多企业在做转型时,要么就是没有意识到的点,或者说很难去做到的一个事情。
【主持人】
能不能举一个例子,你们的系统怎么跟人配合去工作,比如说是系统给人发任务?因为我觉得传统的团队在开发产品的时候,可能很大的一个痛点就是说团队之间要对齐,然后要把信息同步到每一个人,任何一个人他可能miss掉了一个信息点,那他在产品做开发的时候,他可能就不知道我们上一版的更新是什么。现在是不是所有的这些工作都可以交给AI,或者在这个流程中它就可以自动去做了?
【嘉宾Peter】
对,我觉得最核心的一个点还是信任的问题,因为很多时候人因为对这个系统没有信任,所以刚才会有像您说的对齐这个成本就会非常高。像Clark这边的go to market这个team和比如说Peter这个engineer这个team……
【泓君】他们两个团队怎么配合起来?原来的话他们需要互相沟通,互相达成共识对齐之后,才能把事情往前推进。但现在如果是AI first这个组织结构的话,他们其实没有所谓对齐的过程,而更多的是对齐由AI来主导。比如说告诉我们的marketing团队,今天我们开发团队engineer要发布哪些功能,这些功能是怎样的一个结构,那marketing就不用再去跟engineer交流说你明天要发什么功能、后天要发什么功能,这样中间的对齐成本就会降低。
那AI怎么知道Peter的engineering团队明天能把所有的工作做完?这个就请Pierre来说一下。
【嘉宾】对,我觉得在整个这个过程,不管是叫Harness还是AI主导的工作流过程中,大家主要体会到的improvement就是整个开发速度和迭代的提升。通常来讲implement一个feature或者deploy一个新的产品,需要很长的周期,所以大家需要详细的讨论。但我觉得在AI的mindset之下,因为迭代一个产品的速度是很高的,在这个过程中我们其实更侧重的是:这个新的feature能不能够带来产品的top line metrics提升,或者新的feature能不能有真实用户使用的数据。所以在这个过程中,我们更核心focus的点是怎么把整个的数据链搭建起来。我们把这个链条搭建起来之后,都是由agent通过这些数据来决定——这个feature到底是不是有用的,我们到底要不要roll out这个feature,或者fallback这个feature。
也就是说工程师写完代码以后,不需要手动地跟AI在某个工程管理界面说我写完了。这是传统的软件跟公司内部系统同步的一种方式。现在AI可以自动地根据你整个的代码质量、你的进程去做出它的判断。这个在传统的engineering中也有,我们叫CICD process,只不过传统的CICD process很多都是rule based或者unit testing driven,但在AI这个情况之下,我们可以有很多AI driven testing,不管是integration test还是unit test。所以现在比较流行的像Playwright是可以做AI driven的fully end-to-end testing,这样可以保证我们ship的代码中没有明显的、可以break这个产品的bug。所以在这个过程中,很多AI driven testing是非常重要的,包括你代码ship之后在log中有没有error、有没有incident,都是通过这些signal能够feedback给AI,来看整个代码的质量是什么样子的。
【泓君】那Clark,比如说你要做市场营销的时候,你知道代码团队已经写完了,但我觉得很多时候大家一个产品要传递的核心理念是什么,包括你要跟市场传递的关键信息是什么,它很多时候是需要一个产品的灵魂人物——不管是CEO还是CTO还是产品经理——来做沟通跟关键信息的输出的,这个是AI能做的吗?
【嘉宾】是的,您这个问题问得非常一针见血。其实我们现在也花了很多时间思考这个问题,因为我们实行这套新的开发机制已经有几个月时间。我自己的一个体会就是,现在我们确实不用跟engineer过多地沟通说你要做什么feature、什么时候能deliver,因为feature现在的数量已经远远超过我们能够去卖它的能力了。这是我最大的感受——我们现在开发的速度是远远超过市场这边的进度的。但这样有一个好处,就是我们不再去讨论说今天这个公司的product roadmap是什么,而我们只需要讨论的是现在市场的需求在哪里。我们就好像有个菜篮子一样,或者说像哆啦A梦的那个百宝箱一样,如果今天市场的需求是一个苹果,我们就从篮子里面挑一个苹果去卖;如果今天市场的需求是一个香蕉,我们就可以挑一个香蕉去卖。这反而大大降低了我们对齐的成本——原来好像市场的反应是这样的,我们要去重新思考要做什么样的产品,这个其实比过去要省时省力很多。
【泓君】哦,我理解了。就相当于其实你们的开发能力是远远快于市场能力的,所以当市场有新的风向的时候,反而是你们可以从已经搭建好的产品库里面,看在哪一个点上可以穿透去切入。
【嘉宾】是的,是这样的。
【泓君】嗯,有意思。关于让AI写代码,我还有一个很核心的问题就是怎么保证它的质量,因为Peter你在那篇推文里面写到了,正常情况下写代码一天,然后大家修bug要三天。现在有哪些新的手段加入,可以让大家不用把很多时间都花在修复上?
【嘉宾】对,我觉得bug这个事情是整个engineering不可避免的一件事情,不管是AI写的代码还是人写的代码都会产生bug。因为Harness它不是一个静止的状态,不是说我现在有一个系统之后,只需要维护这个系统,这个系统不会有bug、也不需要提升。Harness这个过程核心就在于我能不能找到系统中的bug。刚才聊到CICD的过程,就是在integration的时候、在testing的时候,我们会有一系列的regression test,去避免一些bug ship到production中break这个系统,这是第一步。第二步的话,即便有一些corner case或者race condition ship到系统之后,我们怎么能够在最快的时间identify这些bug,然后及时fix这些bug。
所以这两步在传统情况之下都是由人来driven的,但是在agent Harness的情况之下,我们会由agent系统来driven。所以我们开发了agent driven的CICD系统和agent driven的bug trace系统,会根据系统中的issue去triage这个issue,assign给engineer,让他们去fix这些bug。
【泓君】那你觉得在引入这两套系统以后,效率提升了多少?
【嘉宾】首先,因为很多都是agent driven,所以它可以并行进行,可以有很多agent去identify——比如说有一些agent专门负责前端的bug,一些agent专门负责后端的bug,有一些负责核心系统的bug。所以在这个过程中,发现一个bug可能只需要一到两分钟的时间,然后把bug assign给一个engineer的过程,也可能只需要几秒钟的时间。engineer拿到这个task之后,也是用agent去investigate、提出一个solution,
【嘉宾】所以整个的cycle加起来可能也就是一到两个小时的时间。相比之前的话,我们identify一个bug、fix一个bug,再把它ship到系统中,可能需要一个周的时间。
【泓君】对,这里面有一个特别有意思的现象,就是因为我们之前所谓"产研结合",就是产品和研发结合,我们公司以前其实是有一个feature wish list,就是你到底希望做什么样的feature,然后很长,然后又有一个bug list,有很多bug要修复,然后以前总是打架,对吧,到底是先修bug还是先做feature,市场和产品还有工程师,大家就在那讨论来讨论去。现在这两个list都没有了,因为bug及时发现及时修复,feature现在的数量远远多过于我们所需要的数量。
【嘉宾】对,就是提供一个数据的话,就是我们现在有一个auto-fixing系统,这个auto-fixing系统是根据整个我需要fix的代码存在于哪个文件夹下,因为有一些文件夹是敏感的,有一些文件夹是相对来说risk比较小的。对于我要fix的一些东西,如果只是存在于一些risk比较小的文件夹之下的话,AI会自动地提交这个PR,然后可能只需要一个engineer简单地approve一下,它就马上能够ship到production。所以可能现在50%以上的issue是通过auto-fixing的方式进行的,人在里面的参与只是简单地approve这个bug fix。如果fixing涉及了一些比较sensitive的文件,比如说涉及到安全、涉及到agent behavior的话,我们可能需要专门负责这个area的人去进行一个更deep的review,但整个的这个过程相比于之前来说也是有一个很大的提升。
【泓君】有什么奇怪的agent behavior吗?因为agent behavior可以break down很多area,比如说cost太高,或者latency太高,或者有hallucination,或者它使用tooling的时候和tool之间交互的authentication有问题,我觉得都涉及到agent behavior,所以任何这个系统中的issue都能导致用户具体在使用这个agent的时候不能够完成它的task。所以agent还是一个比较complicated的工程系统。简单来说就是现在agent还没有价值观的问题,它还是效率的问题,跟你灌输给它的一套思想,比如说是不是要用更便宜的cost,就同样的任务能更便宜地去完成,还是这方面效率上的问题。
【嘉宾】对,我觉得主要是效率和具体能够完成用户的task的层面上,就是我们所focus的就是怎么把我们的系统优化到在cost最低的情况下能够reliable地完成用户的task。
【泓君】对,比如说当系统出现一个bug的时候,假设我是在改一篇稿子,即使它只出现了一个小错误,我可能需要把整个稿子看一遍,然后我再去看那个错误是在哪,我怎么去修改,那这个时间其实就跟比如说我自己重新写、重新熟悉这个领域花的时间是差不多的,因为我不懂写代码,只能用写文章做类比。对于开发的领域,就比如说agent帮你搭了一个非常好的技术框架,但是它可能在整个搭建层或者基础层出现了一个大的错误,那这个时候当然有其他的很多的agent要去修复,但会不会说有一些大的错误,大到了需要工程师去解决,但是工程师去解决的时候不能只看这一个点,要先看你整个的构成是怎么样的,然后才能去解决那个细分的问题,它同样要花的时间就是还得把这个重新看一遍。
【嘉宾Peter】对,我觉得这个问题很好,所以在之前我的文章中我也讨论了,在AI环境之下的工程团队可能分为两种人,一种是architect,一种是operator。所以architect在整个系统搭建过程中的作用是非常重要的,比如说在搭建整个系统的过程之中,整个agent的architecture是什么样子的,比如说sandbox和host之间是怎么交互的,还是由architect来决定的。如果说agent直接通过AI coding或者vibe coding的方式,它通常来讲会给你一个solution,但这个solution通常会有安全的隐患或者latency的隐患,怎么去优化整个的系统还是由architect来决定的。但通常来讲我觉得区别就是,在传统的情况之下,搭建agent的团队以前可能需要10到20个人,但现在搭建整个这样一个系统只需要一个architect,在一个周的时间之内就能完成。
【泓君】你现在是那个architect?
【嘉宾Peter】当然,从一开始我们在develop这个系统的时候需要我来architect整个的系统,去demonstrate给整个的团队这个architecture比之前更优化、效率更高、cost更低。
【嘉宾】我来补充一下刚刚Peter所讲的内容吧。第一就是我觉得AI的能力在很早以前就已经非常强了,但是它为什么没有达到人们所预期的那样,说今天AI可以替我干活,它如果没有干好我还得帮它去弥补它的错误。我觉得这个点来讲就是harness在这个过程中非常重要去发挥价值的地方,这里面有一个很大的概念上的转变就是,我们要把AI当成一个系统来看待,不要把它当成一个智能来看待,虽然系统是由智能所驱动的。但这里面一个核心的差距就是当AI或者说这个系统发生错误的时候,我们不要想着怎么样去纠正这个智能,我们要想着怎么样去弥补这个系统。这其实就是我们在做harness跟现在普遍认知最不一样的地方,就是它是一个动态改变和提升的过程,并不是一个静态的、固定的枷锁去束缚这个智能,而是要给它提供空间让它能够成长。这个成长的方式就好像你在养一个孩子,你怎么样能够让它不断地在一个规则内变得越来越好。我们做harness其实是在给用户提供说,我们给你一个培训师,去弥补它在发现错误之后你该怎么办。回答您刚刚那个问题,如果您在写作的时候发现说有一个巨大的问题,我觉得您应该花更多的时间去思考这个系统上面有没有漏洞,而不是去花更多的时间去改正具体的某一个错误。这里面还有一个更加极端的想法,就是您今天发的这些内容或者我们自己发的这些内容,可能未来的这些受众并不一定是人,这个错误可能对人来说是一个很显眼的错误,
【嘉宾】但对于未来可能都是AI在读文章,或者AI在读我们的图片视频,对他们来讲可能并不是一个很知名的错误。所以我觉得大家其实在这个过程中要思考更多的就是,我今天做的这个工作,到底是未来谁来去消费我的工作和我的这些结果,根据你的这些消费者他们的偏好调整你构建的这个系统,才能够更好地达到你所期望去deliver的价值。
【泓君】我觉得这个观点非常有意思,就是大家以前在出现问题的时候都是说我们解决问题,现在说的是OK,我们解决的是搭建的环境中系统上的问题,而不是一个单一的问题,就是彻底去修复它,以后这个问题就永远都不要再出现了。
【嘉宾】对,与其说是彻底修复它,不如说是我们重新思考这个问题它是否还是一个问题。比如说我们平常会生产一些go-to-market的assets,有些图片我们觉得可能从人的审美上去看,它并不是一个很好的asset,但实际上你把这个东西投向市场的时候你会发现,可能来读这篇文章或者读这个图片的是一个agent,它的数据反馈回来其实可能是更好的。如果我们与其继续说OK,今天人觉得这个东西不够好,我们要去修复人主观对这个东西的价值判断,那我们与其继续修复整个系统——不管是我们自己的系统还是别人的系统——对这个事情的价值判断,其实从价值理解上面就会发生偏差。
【泓君】为什么会是agent在读一个营销图片?就是你们的内容是针对谁的,是针对agent的还是针对人的?
【嘉宾】现在大家也比较感兴趣的话题就是以后会不会有这样的agent经济,可能买东西是由agent去买,订报纸是由agent去订,订牛奶是由agent去订,那你的广告是发给agent看还是发给人看。因为我现在自己看很多文章、看很多视频也是让agent去看,所以你要搞清楚你的内容到底是被谁消费,你的工作结果到底是被谁消费,针对这个东西的价值我们再去思考,我们到底是提升系统,还是回到最原始的——人要参与到这个创作的过程中去弥补我们一些错误。
【泓君】我相信在未来,真的是在agent帮大家做更多购买决策的时候,最终的结果可能还是agent看得多。但是我没有想到在现阶段,包括你在现阶段测试的这个流量中,agent已经占到了一个这么大的比例,就是它来得比我预期中要快很多。
【嘉宾】是的,说几个亲身的经历。我最近在看有什么样的公司能帮我们做合规的,比如说SOC 2认证,我肯定是让agent先去帮我research一番,然后我基于它的结果来看一看是不是适合我们。这个里面你会发现第一步已经是在agent帮你做筛选了,那是不是那些内容应该更偏向面向agent去做,而不是偏向人去做。当我点进去再去看某些东西的时候,可能需要有面向人去消费的内容,但是有可能agent会把第二层也做掉,甚至第三层也做掉,所以这个我觉得都是可能会发生的事情。
【泓君】这个从另外一个角度上来讲,也可以很明显地看到就是现在SaaS产品的转型。因为以前很多SaaS产品,尤其是像Asana、Linear这种做task management的产品,需要一个dashboard,以前可能很多都是人在去看这些dashboard、manage这些dashboard。但是在起码现在这个阶段,我们团队在使用task management的时候,更关心的是agent能不能够更好地看这些task、projectize这些task。所以instead of人去看或使用这些dashboard,更多的是我们会去看这些task management产品有没有更好的MCP和API提供给agent可以让我们使用。
【嘉宾】对,所以整个进化还是非常快的。其实刚才您提到这个问题,也是很多公司在做AI转型的时候会第一个考虑的问题。他可能会看到下面有很多员工,或者说管理层会觉得,我使用AI的时候如果还要去review一遍,那跟人去做其实不管是时间也好还是成本也好,可能没有太大差别。但是就像刚才Pierre说的,如果你真的能够把这样的一个AI系统构建起来之后,你会发现你仔细去算一下,你的时间和成本是会有很大的提升的。只是这个过程需要整个团队一起有一个共同的目标,说今天我就是要把公司的组织结构也好、工作方式也好,都去改变。这个过程中只要有那么一些人觉得很多东西可能还不如人去做,那这个改造的时间就会被拉长,这个过程就会变得特别不顺利。这其实是大多数公司都会面临的一个组织上的挑战。
【泓君】你们是第一天就是这种AI first的工作方式,还是说——其实你们也成立一年多了,而这一年多我觉得是整个行业里面变化最快的一个时间段——你们是在后面慢慢摸索到这样的一套工作方式的?
【嘉宾】我觉得我们整个公司也是有一个过程的。你意识到谁是未来生产力的核心角色,可能在2025年的上半年的时候,大家都会觉得那个时间点AI还是辅助人去做事情,人在整个工作里面还是占主导地位的。但是到了下半年的时候,我们会意识到如果还是这样子的话,企业的效率提升还是非常有限的,因为我们也用了这样的方式,会发现效率没有提升得像我们想象的那么多。所以我们会发现里面核心的问题,是我们还没有把这个生产力工具的使用者真正地从人转变到AI。这个过程如果没有彻底去改造,我会发现可能还不如人去做这个事情来得更高效。所以说这个过程也需要一个非常长的时间,还要包括像刚才Karl跟Peter提到的,不光是技术团队内部会有这样的挑战,还包括marketing团队和开发团队之间在对齐的时候,大家都需要一个理解的过程。我们也因为这个理解的过程浪费了一些时间,比如说市场团队跟engineer团队有很长一段时间,可能甚至一两个月都在来来回回地探讨怎么样是一个更好的工作方式。这个其实都是组织的进化,它需要一个过程,这个过程一定不是从第一天开始就是这样的。
【泓君】我觉得这个也是跟整个AI能力相关的。从过去的一年之内,AI从一个辅助engineer的角色,到一个参与到开发过程中的角色……
【嘉宾】到现在能够相对来说主导开发过程的一个角色,是根据本身基础模型能力的提升,Agent的架构的提升,和Agent的infrastructure的提升都是相关的。比如说一年之前如果想让AI主导整个的开发过程,我觉得从技术上来说是不成立的。但是从整个重构过程中,我们发现当AI reach到这个point的时候,整个的重构不管是从速度,还是从效果上来讲,都是远超于一年之前能够想象的一个程度。
【泓君】你们是从哪个时间点开始重构的,然后这个重构的时候整个市场发生了什么?你们做的最核心的几件事情是什么?
【嘉宾】对,其实我们意识到需要重构这个事情,可能是去年八九月份的时候。之前的话我们会花一些时间进行团队的alignment,其实engineer、产品团队和marketing团队,大家的mindset是最重要的。所以我们可能花的最多的时间就是怎么让大家转变这个mindset。我们真的开始重构代码架构、整个的开发的过程,可能也就是今年一月份的时间,就是今年过年之前。我们在使用了大概两个周的时间,就重构了整个我们所有的架构,包括现在大家看到的产品,也是根据这个阶段重构过程中的这样一个产品。
【泓君】有哪些你们觉得之前AI解决不了的事情,然后现在AI解决了,可不可以举两个例子?
【嘉宾】之前AI解决不了的事情主要是在planning阶段。比如说我100分是满分的话,它能给我一个90分的plan。我看到这个plan的时候,我能够再给它一些critique,它能够给我一个revised plan,而不需要我真实地去改这个plan。比如说现在这个情况下能够打90分的话,那一年之前的话可能也就是50分,一个不及格的状态,我可能需要人为地再去modify这个plan,再去改整个架构。但是现在的话,比如说整个我们这个新架构,我可以说我一行代码也没有写,一行也没有去改这个plan,我只是在跟它进行交流。我critique你这个plan是不是有缺陷,是不是可以优化的,在critique这个plan的时候,你可不可以reference一下其他popular的open source framework、agent framework,你给我一个最终的版本。
【泓君】你觉得它的能力在你之上吗?AI写代码的能力。
【嘉宾】首先AI写代码的能力肯定是在我之上的,因为我没有写代码的能力。2016年我就没有写过一行代码。但是从planning的能力上来讲,作为一个architect的价值,或者在一个公司里面,不管是你是一个CTO,还是一个tech lead,你的价值就在于找到AI planning的缺陷。所以本身architect和tech lead,在这个之上还是有价值的。我只能说现在AI的planning还是有缺陷的。比如说它一开始给我的plan,可能有security的缺陷,可能有latency的缺陷。那我根据我之前的architecture的经验,我怎么能够criticize它或者challenge它,能够进行进一步的提升。
【泓君】对,然后你们是1月开始做转型的,到现在你觉得AI现在在做planning,就是你交给了它我们要怎么去做latency、安全性,它现在在做新的计划的时候,它会变得好很多吗?
【嘉宾】对,我觉得这个就是Harness的核心。之前我交给它,你在安全性上,在设计sandbox和host之间的关系的时候,你要follow什么样的准则,那这个时候我就可以把它变成一个skill。那在下一次的过程之中,我只需要reference这个skill,instead of我去说更具体的内容,我说你能不能follow我这个principle,就变成一件很容易的事情。而且不光是我自己能够challenge AI,包括所有其他的我们团队的engineer,也可以reference这个skill,看AI的plan能够follow之前我们的这些principle。
【泓君】嗯,可不可以给听众一个直观的印象,你现在有了AI做生产的主力以后,它干出了配多少员工才能干到的事情,给大家一个数字上的直观的感受。就比如说以前一个团队需要20个人做四周,现在多长时间就做到了。
【嘉宾】如果翻到一年之前,我们不是AI主导的情况之下,要develop到create现在这个产品,我就起码需要100人左右的团队,花四五个月的时间去develop这样一个版本。如果大家看其他的general agent公司的company size,大概也是要这个范围。现在是25个人,我们的engineer团队可能是十人以下,从产品的第一个阶段的deployment,可能就花了大概两周的时间。
【泓君】两周的时间,十个人以下,这个效率提升很高的。对,从创业公司角度来看,或者说很多SaaS公司在运营一个SaaS产品的时候,你会有一个很直观的感受——
【主持人】就是在原来的传统的软件时代下,你会发现销售团队在概念角度来讲,会超前你自己的产品可能四到五个月,可能大多数你的用户看到的是你四到五个月之后才会发布的一些功能。但现在这个情况下,它是反过来的。比如说,卡尔这边的marketing团队会感觉说,我们有很多很多功能,我们甚至都不知道它已经做完了。就技术团队可能是反过来是超前marketing团队,可能三到四个月或四到五个月。更多时候变成marketing团队在追赶开发团队的一些功能和安排。那这个就是一个我们从最外层来看,它最大的一个区别。那这个区别就会导致你的整个运营方式,包括你的整个组织结构,很多会跟人家不一样。
【主持人】凯也提到了现在整个技术开发的速度是大于市场营销的速度的。Clark你这一块会有从市场营销的层面,也用更多的agent,因为技术可以用,你们也可以用嘛。我知道代码agent这两年特别特别地火,那在整个marketing的素材生成方面,以及这个素材的产出方面,或者是你其他的一些流程方向,你觉得现在这一块的agent的发展怎么样了?
【嘉宾】所以我们现在整个go to market team都会用我们自己公司的产品,去构建AI first的go to market的workflow或者流程。当然这里面有很多坑,我觉得最大的一个困惑就是,engineer它是一个相对比较好去做evaluation的、相对封闭的一个环境,它能够有明确的指标说今天你干得好还是不好。但是从go to market的角度,不管你是写文章也好,做视频也好,你是面向人的消费群体,它对于这个视频的价值的认可,面向agent或者不同的人群,每个人他都有自己对这个价值的判断,这个是相对来说比较主观的。那我们怎么样去构建这个系统,能够更好地把这些主观的判断变成一种信号,让我们的系统能够自动去运转起来,这个是一个比较大的挑战。我们也没有说我们今天就是百分之百让agent去做决策,但我们会放很多agent的结果,再由人再去判断说这个结果好还是不好。
【嘉宾】我们有很多很多的feature,但我觉得市场还没有ready,那我们就不会把这些东西放到市场上面去。我很好奇你们有哪些超前的思想是市场还没有接受的?每个人的agent都有所有的权限可以读写,这个其实是一个相对来说比较大胆的一个动作。我们希望说为了能够让你的组织更加高效,你的很多数据是应该开放给你的agent,开放给每一个人。但这里面可能还需要更好的一些技术的支持,包括你怎么样去限制每个人的权限,或者限制agent权限,怎么样让这个agent在读取这些数据的时候不会出现失误,因为如果他读的数据是错的,或者他自己开始乱搞,那你最后的决策可能会受到很大的影响。所以这个我觉得还没有ready推向市场,但是至少我们自己用起来很爽。比如说我原来要说,Peter今天我们有多少个用户有这样的行为,可能还要去找做数据的同学,或者是engineer去帮我跑一个新的表格出来,但今天我只需要跟agent说我提这个问题,他立刻三秒钟之后给我一个答复。
【嘉宾】我觉得现在主要的challenge对于大部分agent公司来说,不是市场能不能接受这种工作方式,是市场不知道这种工作方式的存在,或者他不知道怎么去高效地使用一个agent帮助他能够完成他的work。所以Creal在整个的这个过程中,我们也做了很多工作,就是让用户不用进行复杂的设置,才能够更容易去access这个agent,帮助他完成他自己本身的工作。
【主持人】这是不是也是你们公司现在在做的事情,就是让AI自己去创建agent?
【嘉宾】对,我把上一个时代的general agent理解成这些公司会提供一个agent,用户会使用这个agent去帮助他们完成自己的一些工作。但这个agent不管把它叫做general agent还是super agent,它是一个unique的agent,所有用户access的是同一个agent。我Creal在做的事情就是,我怎么能够让用户在我们的系统上搭建属于自己的agent,而且这个agent是具有self improvement、self healing的能力,能够去understand你的workflow。举个例子,你是在做一个广告的campaign,你每个州可能都要放一个广告,那通常来说你可以用其他的general agent,每个州去做一个这样的事情。但在Creal上你的使用方法是,你create一个属于自己的agent,比如说这个叫做campaign agent,我们会在背后做很多harness,保证你的campaign agent能够持续地提升它的performance,能够降低它的cost,在这个过程中为你产生更多的产出。
【主持人】所以你们对标的场景跟你们主要的客户是谁?就是你是对标大企业里面的工作流程自动化的,还是专业的类似于创业者或者个人独角兽类似于这样子的,还是普通的大众?
【嘉宾】其实他都会有,但是我们真正的目标来讲还是那些所谓的SMB,还有企业端的那些中小企业的场景,因为这个可能是最早去adopt AI的这个人群。
【主持人】SMB是什么?
【嘉宾】SMB就是small to medium business,就是那些中小型的,可能就是30个人以内的团队。跟你们公司现在非常像的这些团队,然后他们完全开始把自己的工作方式转移成以AI为主导的工作方式。
【主持人】这种是科技公司多,还是说传统公司它也可以做这个转型?
【嘉宾】不管你是科技公司还是传统公司都能做这样的转型。
【泓君】对,因为它核心的难点其实并不一定取决于你的人数和规模。大的企业为什么难?是因为越大的企业会有越来越多的合规问题,还有很多人员上面的因素,会导致整个过程非常艰难。但是小公司如果没有太多所谓的合规,也没有传统的数据库、传统的一些legacy的东西的话,那其实你就是第一批最容易去做这个转型的公司。所以我们的target就是这样的一批公司,是我们核心的目标群体。
一个公司想要做这样的转型,是不是他们的创始人也得有一个核心信念,就是相信AI?
【嘉宾】对,这个是。但我觉得更多还是他们得搞清楚,这个转型最后代表的是什么。我举个最简单的例子,其实在23年大模型刚出来的时候,很多的SaaS公司想的都是:我怎么把AI做成一个功能,集成到我的产品里面?这个本质来讲是没有搞清楚,如果你要做这样的功能,有没有可能你原来产品的架构就不支持把这些最新的AI能力给集成进来?因为你的数据库可能也不符合要求,你的交互可能也不是未来的方式。所以你可能需要去做的事情是整体产品的重构,这个结果如果是你接受不了的话,那可能你很难去做这个转型。
【泓君】对,所以你们现在在推广这个概念的过程中,因为现在AI发展得也很快,我觉得很多的企业主,包括中小企业,他们是非常愿意去拥抱AI的。但是我觉得你们整个推行的概念又过于超前,所以你们自己觉得市场对你们的反馈是怎么样的?
【嘉宾】其实从我们现在用户上面的反馈来讲,我觉得并不是说我们的概念很超前。这也是为什么我们从组织上的变革是我们自己在做的事情,我们并没有说让我们所有的客户跟我们一样去做组织上的改变,而更多是我们把Harness这套系统变成我们的产品,能够让我们的用户先体验起来,然后在这个过程里面,他在慢慢去思考组织怎么去改变。
我觉得Harness还有一个核心,就是说你对某一个领域非常了解,才能给它做各种更精确的系统上的限定条件。假设你对DevOps领域非常了解,我觉得很权威,但我觉得很少有人说我可以是每一个领域的专家。那这个挑战怎么解决呢?之前的话,你在创建一个自己的agent,比如说你用Harness或者OpenCloud或者Coda,你是需要对DevOps有一定理解的,你才能做这些事情,因为这涉及到很多infrastructure安全性的问题,包括你的tooling怎么接进来。但是对于比如说Crewl来说,我们提供一个cloud端的service,你作为一个普通的使用者,不需要有很多架构的理解,因为我们把这个架构已经提供给用户了。用户对自己需要完成的任务需要有一个深入的理解,但是在这个过程之中,包括怎么接入tooling、怎么去monitoring这个agent能够长时间地工作、怎么能够保证安全性,是我们为大家提供的这样一个service。
对,就现在因为我们还是在利用AI的很早期阶段,当然有很多创业公司都在讨论,说我们可能要在某一个垂直场景上非常了解,然后才能说这块Harness做得很好。但核心实在就是说,因为我们自己Crewl这家公司,我们也想成为第一批所谓的AI first公司,那在组织结构调整之后,其实我们有非常多的基础工作需要被agent化。在这些基础的工作上,首先它可能也并不会涉及到非常垂直专业的场景,比如说刚刚说到的一些市场调研这件事情,其实很多人都需要去做,但是有些人agent利用得好、系统搭得好的话,自己人需要做的事情就会很少;但如果你的系统搭得不够好的话,那你人需要做的事情就更多。
其实我们的概念真正超前的地方,或者说市场现在没有准备好的地方在于:如果你真的想把AI用在你的生产的各环节上面,首先你的组织结构是要先去变化的。那组织结构变化之后,你需要有一个系统去保障这个组织能够稳定地运行,这个就是我们现在build的Harness这套东西。
【泓君】可不可以讲一下你们的组织结构是如何发生变化的?比如说以前传统的组织结构是怎么样,然后现在你们是怎么样?我觉得刚刚过程中我们举了很多案例,但是我们还是想知道整个组织结构的变化。
【嘉宾】我觉得这里面是很多角色的变化。首先第一点,如果你要真的做改造,你需要做的是信任上的变化。原来你组织信任的是人,人本身是这个组织最核心的那一环。但现在当你把AI拿进来之后,其实你要先解决的第一个问题就是:你能不能信任你的AI去做决策或去执行任务?这个信任,其实就跟为什么我们要去building一个Harness的系统是一个道理,就是我们得有很多所谓的guardrails,还有机制去保障AI做的所有工作,不管它做决策也好、做planning也好、还是做最后的execution执行也好,最后它的这个东西是能够被人去信任的。
那接下来就是你所有组织结构里面具体位置的变化。产品经理这个决策在我们公司其实不能说它不存在,而是它被拆解到了每一个工程师和像Peter这样做工程管理的人身上,而不是专门再有一个单独的角色去做所谓产品这个事情。因为产品经理这个岗位,我并不觉得它不重要……
【嘉宾】而是在于它在大多数公司,它其实是矛盾最集中的那个点,因为产品经理同时要跟市场人沟通,也要跟开发人沟通,所有对齐的成本很多时候也都会发生在产品经理那个角色上面。但当你把这个角色给拿掉之后,你会发现对齐的成本反而有时候可能会更低。这个前提也是在于你需要有一套机制能保证,在没有产品经理的情况下团队之间还能互相信任,就决策的信任成本没有因为没有这个角色了变得更高,而是说没有这个角色之后它会变得更低。所以说这个其实就是我们在组织上可能跟传统这些所谓的软件开发公司会不太一样的地方。
【泓君】产品经理这个角色你觉得现在还有价值吗?或者说重新招一个类似于产品经理角色的人,你觉得它需要有什么样的新技能?
【嘉宾】这个问题应该是这样问,未来是不是需要产品经理?它一定需要的,但是未来需要的是一种新的形态的产品经理。因为你的开发成本在降低,所以产品经理更多的,首先它本身的背景也会发生变化,它做的事情可能它原来是一个工程师,之后工程师也可以成为产品经理的角色,更多的人可能能够成为这种所谓的新型的产品经理。或者说未来还有一种可能,就是它这个职位的很多权力会分散在开发团队各个人的身上,因为如果说你的每一个开发团队成员在AI的帮助下都能够更好地去有产品观念的话,其实本质来讲有没有这个职位也不太重要,因为原来产品经理我觉得它更多解决的是对齐的成本,还有包括如何帮助公司去降低所谓的开发成本。
【泓君】对,我可不可以这样理解,就是现在相当于工程师Peter的团队,他们某种程度上扮演了产品经理的角色。但是反过来,一个好的产品经理,它其实是对市场非常有想法的,对产品也是非常有想法的,加上现在开发的成本是非常低的,它可能也很容易就把它的一个想法通过AI的执行能力很快变成了一个好的产品,它甚至不需要工程团队了。所以说其实这两种角色,它某种程度上在融合,在变成一种角色,所以这个角色到底是一个技术的团队来做,还是一个产品的团队来做,其实不重要,因为都是AI在主导,想法更重要。
【嘉宾】对,因为会有人会觉得说,未来产品经理可能会变得更重要,因为就像您刚刚提到,如果产品经理也能上手,它可能自己就能够做一个产品。但是一样会有人会觉得说,产品经理因为它没有很多的技术背景,它就算能够做一个产品,这个产品到底能不能被商业化,我们也要打个问号。如果这个产品真的需要被商业化,那可能我们还是需要有工程师,真的能够帮这个产品经理去把这个产品构建得更加能够商业化。未来这个职位本身它可能不是说是一个人,而是一个团队整体扮演这个产品经理的角色,这个角色本身它会被组织化掉,而不是被个人化掉。在传统软件时代下有很多个人英雄主义,就说因为某一个产品经理或一个灵魂人物,导致最后这个产品特别受欢迎,但未来可能是一个组织做了一个很好的产品,被这个市场接受。
【泓君】对,我觉得有一个非常明显的趋势,就是复合型人才或者比较全能的人,他在AI环境之下可以发展得更好一些。不管是说一个工程师他有产品的sense和market sense,还是说一个产品经理他具有落地执行的能力,都会非常的重要。刚才一直在谈产品经理,其实有另外一些角色像designer,不管是前端的designer还是UX designer,如果你问我未来的产品之中什么是最重要的,可能这两个角色会变得非常的重要。但是我们在讨论这两个角色,是不是说传统的不具备coding或者落地执行能力的designer,而是具有能够把自己想法落地执行的,这些UX和UI designer,这些人会变得非常的重要。包括产品经理同样的事情,未来的产品需要有产品的sense,那这些产品的sense来源于谁其实并不重要,但是有一点是非常重要的,这个人必须具有落地执行的能力,他能把他的idea直接在一到两个小时之内带到产品之中。如果你需要把你的idea传递给另外一个人,或者另外一个工程师,那你交流或对齐的成本就远大于你落地执行的成本,在整个AI的工作环境之下,就变得不是那么高效了。
【泓君】Peter你有一篇文章,我印象很深啊,你说其实在你真的做这一系列组织架构变化的过程中,你意识到初级的工程师是比资深的工程师更能适应AI的环境的。
【嘉宾】因为初级的工程师不管是他的技术债,或者他的思想束缚通常来说比较小,他能够接受他的expanded scope,就是他不仅是作为一个工程师,包括他要融入到一些产品的设计之中,包括产品的feature上线之后,他还需要做一些分析,他根据分析能够做出这样的判断。但通常来讲比较资深的工程师,因为他比较专一,比如说你是一个做推理的人,或者你是一个做后端的人,你可能在传统的工作环境之中不care你的代码上线之后发生的事情。但是在AI这个环境之下,你的工程师的scope就需要比之前扩大很多,就不只是在我把这个代码写完之后就结束了。
【嘉宾】而是在于我代码写之前,我怎么能够把自己的judgment加进去,代码成形之后,怎么能够判断它的impact,整个的这个过程是非常重要的。通常来讲,senior engineer的话,能够更好地接受这样的一种工作状态。那比如说你跟一个资深工程师说,除了负责前面——就是你代码已经写完了的这个过程——你还要负责后面的这个过程,他们是不能理解、跟不上、马上去转变这个思想的。通常来讲需要align这个mindset的成本要高很多。
其实作为一个senior engineer,或者作为一个专业领域的——不管你是做infrastructure的人,还是frontend还是backend的人——在过去的软件开发过程之中,你的knowledge是非常valuable的,因为你能够知道在开发这个系统之中,怎么样写最简洁的代码,怎么样设计最好的architecture,你可能需要两三个月的时间去完成这样一个事情。但是在AI这个环境之下,因为AI coding在现阶段它已经很强了,以后会变得更强,所以它会让你本身的specialty变得越来越低,所以很多人可能接受不了这样一种状态,就是他本身可能花了十年二十年时间学到的这些知识,变得可能在未来并不那么重要。
所以你们现在更倾向于找哪一类的人?我拿工程师来举一个例子吧,比如说初级的人他可能面临的问题是,他在代码领域基础没有那么的扎实,因为大家现在都已经用AI写代码了嘛,可能你真的——比如说这个AI系统它突然关机了——他们自己可能就写不了了,而且如果你的代码基础不扎实的话,你在判断它出问题的时候,你的专业知识也会稍微的差那么一点点。
但是对于很多资深的工程师来说,他们依然非常的稀缺,就是因为他们还是有非常扎实的工程的基础,但是他们可能在转变跟适应AI思维上,并没有年轻人那么快。我文章中虽然提到要转变一个资深工程师的难度,要比一个相对来说junior的难度大,但是从value上来讲,一个资深工程师的value现在是不能被取代的。
所以怎么能够找到一个资深的工程师,他还能够embrace AI的mindset,而且他能够具有一个产品的sense,他能够还知道一些marketing的knowledge——这个人虽然很难找,但是对于公司来说是非常valuable的。好处是在于之前我们可能需要很多这样的人,在没有AI的情况之下,但是现在来说我们可能只需要一到两个人就可以了。
【泓君】很多是多少?十个?
【嘉宾】我觉得十倍或者五十倍以上的人,在没有AI辅助的情况之下。
【泓君】嗯,但我觉得这样的人是不是也还比较好找,因为我最近看见硅谷的趋势是,所有人都在开始用AI,然后所有人都在开始比这个AI生成代码的数量,大家也在很积极地去适应这个新时代新环境。
【嘉宾】对,我们可能通常会发现有很多人是这样子的一个心态,但是有这样的心态,跟在工作的时候愿意去相信AI,然后真的把所谓的harness系统去build起来,是完全两回事情。就是很多人会发现,他愿意拥抱AI只是在于他愿意用AI的工具去给自己提升效率,但他并不愿意说我去构建一个系统,真的能让未来我的工作完全由AI来驱动,我在里面扮演的角色都可能发生变化了——这是两种完全不一样的心态。
其实后面那种更激进的心态的工程师也好,或者说做marketing的人也好,或者说做任何事情的人也好,相对来讲在现在这个阶段,这个思想还是相对来讲比较超前的,这样的人还是少数。现在更多人还是停留在:我愿意去尝试用AI工具、拥抱AI的能力,但是我还没有到真的希望做到AI first这个角度,这样的人是比较少的。
另外从一个角度上来讲,我认识的很多朋友其实他本身的能力很强,他有很强的架构能力,然后他擅长AI,但通常很多这样的人他会自己出来创业,对于一个startup来想hire这种人,其实现在难度还是比较大的。
【泓君】是。Peter,你是从什么时候开始相信AI的?就是我觉得今天给我特别大的一个震撼,就是"相信AI"这四个字。
【嘉宾】如果你问我的话,我其实从一开始刚毕业的时候,我就是在做AI。
【泓君】你是哪一年毕业的?
【嘉宾】我是——我是哪一年毕业的?我应该是18年吧。
【泓君】你毕业我们肯定会记得那么些。
【嘉宾】我可能具体记不清了,但是可能是十年之前的事情,我第一个在苹果做的工作就是在做AI方面的工作,而且也就是和原模型相关的。所以我肯定是从一开始就相信AI能够改变这个世界的。
【泓君】对,那个时候大模型还没出来,然后那个时候我们在提到AI的时候,跟今天我们提到AI的时候是完全不一样的。包括我觉得那个时候AI给人的这个思想上的冲击——说我们是不是要把工作彻底地交给AI——跟今天也是不一样的。
【嘉宾】对,但是那个时候虽然没有大模型,但是有非常重要的一篇paper,就是Attention is All You Need,包括之前BERT的出现,正好是我刚开始工作的时候。
【嘉宾】在那个时候我就意识到了pre-training的重要性,包括对于我当时在苹果做的一些traffic prediction的工作,我就已经开始利用pre-training。因为之前的pre-training只是在文字上的pre-training,我会在traffic signal上做pre-training,同样利用了类似的concept做这样的事情。
【主持人】所以可能是因为你的工作经历的关系,你出来,甚至是你还没有出来,你一直都觉得AI它是比人强的。
【嘉宾】我没有说AI会一直比人强,哪怕是现在这个阶段,AI也不能够取代人来做任何的事情。但是in the future,或者在现在这样一个阶段,AI已经能够主导很多事情,包括在架构的过程之中,AI是很强,但是你让AI系统能够运转起来,还是需要人去进行架构的。
【主持人】对,我们刚刚其实有聊未来要招什么样的人,你觉得现在我们说AI为主力干活,AI可以接管产品,所有的东西都是动态的,大家觉得未来人他最核心的能力是什么呢?
【嘉宾】我觉得人最需要的能力就是系统架构的能力,从以前implement the feature,变成怎么架构这个AI系统和maintain这个AI系统。
【主持人】嗯,这是工程师的角度。
【嘉宾】对,不管是工程师还是marketing的角度,你做go to market,怎么搭建一套能够自主运行的agent的marketing系统,也是核心的过程,而不是说只是单纯地产生一个marketing content。
【主持人】嗯,这个话就说人的价值如果从真的很长远来看,就跟我们技术发展整个过程一样,决定技术发展方向永远是人的需求和社会的需求嘛,只要人这个物种还存在,它的价值不太会变化,它定义的是需求的方向和技术迭代的方向,因为它永远要为这个物种去服务嘛。如果没有人在这个上面的价值的话,那就代表AI是自己在发展,那它自己就是一个物种的演变,这个是一个哲学问题嘛。那基于我定义了需求,那我一样就会需要去看最后的结果是不是我想要的。所以在未来系统里面,人还有一个很重要的价值是review最后的结果,去看这个结果是不是真的符合我们的利益或符合我们的要求,人在需求的定义和最终结果的审核上的价值是没有办法被取代的,除非说人作为这个物种本身的重要性已经不存在了,那这个是另外一回事情。
【主持人】对,我看最近应该是DeepMind的,他们已经开始设立哲学家的岗位了,职位就叫哲学家。
【嘉宾】对对对,是,但是里面有非常多的问题,包括如果我们真的把AI引进到agent真的能替代人工作,还有一个道德问题是在于,agent和其他的agent也好,其他人之间也好,也会有沟通,那他沟通的这些内容,比如说我作为另外一个人能不能去看,那是不是侵犯他的隐私呢?这里面其实会有非常多道德问题,都是跟未来组织这些关系相关的嘛。
【主持人】好,Clark。
【嘉宾Clark】我觉得其实刚刚凯讲的挺好的,因为我自己觉得,人未来的价值就是判断任何事情是否还有价值,对于价值的定义可能就是人最大的价值。价值的定义本身延伸出来的东西就是,我们怎么样定义自己的需求是什么,当我们知道自己想要什么的时候,才能判断这件事情是否有价值,我觉得这个就是人的价值。
【主持人】对,你们对未来整体是更悲观还是更乐观,我是说完全抛开企业,就是作为人来说。
【嘉宾】我自己还是相对乐观的吧。其实很多时候大家探讨的就是人为什么快乐,我自己现在工作还挺快乐的,就是因为我虽然在工作中跟AI的配合会导致我的工作内容和工作强度会比之前要强很多,但是当我不工作的时候,我在享受自然爬山也好,还是去做一些户外运动也好,我可能会更加放松,所以我觉得相对来说是比较乐观的。AI给我们带来的价值就是,比如说我们原来经常说work hard play hard,它可能反而更好地帮我去做工作和生活上的切割。
【嘉宾】比如我们做创业的话,我们肯定是乐观的,如果悲观的话,大家今天也不会出来创业了嘛,对未来肯定还是相对来讲比较乐观的。但是就像我们刚刚聊的,就跟上一次工业革命一样,当时有很多的纺织工人也好,车夫也好,可能都被取代掉了,但是随着那个阶段过去之后,人会找到新的方向去实现更大的自我价值嘛。所以说未来的话,它一定是一个更好的世界,这个世界是不是跟现在大家所定义的幸福一样,那可能是不一样的,这可能是未来会有的一个比较大的变化嘛。
【嘉宾】我觉得我还是非常谨慎地乐观的,因为我觉得在这个变革的过程之中,会有很多痛苦,会有很多noise,但是这个变革的结果,我还是相信它是一个好的结果,就是人能够更多地拥有自由的时间,还是能够在AI的辅助之下发挥出自己更大的价值。
【主持人】好的,好的,谢谢各位。好的,感谢三位的分享,我们今天聊了很多有意思的内容,比如说产品与工程的连接在消失,下一代产品本身也在重构,那我想三位的观点可能对很多普通听众来说,是有一点点超前的。
【主持人】
但是我觉得这种一线亲历者的视角,恰好是大模型时代最稀缺的内容之一。大家对未来公司的组织形态有什么样的思考,欢迎给我们写评论、写留言。那么未来呢,还会从更多的角度持续地关注这个话题。如果大家喜欢我们的播客,可以在小宇宙、苹果播客、YouTube、Bilibili、小红书和视频号上收听关注我们。我是泓君,感谢大家的收听。