← 张小珺Jùn｜商业访谈录
Loading summary
Transcript9 lines
- [00:06]
A
哈喽大家好,我是小骏。 AI业界有两个姚舜禹,一个从OpenEye跳槽到了腾讯,一个从OnTopic跳槽到了GoogleDeepMinds。 前一位姚舜禹去年来过我们节目,那今天我们邀请了另外一位。 这位姚舜禹毕业于清华和斯坦福大学曾经的研究方向包括非厄米系统量子物理和高能物理毕业后从物理转战AI204年加入onthropic205年跳槽到了GoogleDeepMind出任研究科学家参与了Cloud3.7,45Gemini3等模型的开发过程那除了这些重点模型的开发之外呢他有一些很有趣的观点比如说AI的本质是简单的,预训练也是一种强化学习不要迷信老登AI个人英雄主义的时代已经过去了AI从业者最重要的特质是靠谱等等等我们的节目录制于206年3月距离我们这次节目录制完世界又发生了许多意想不到的变化比如说Meta对于Minus的收购被撤销Cursor可能被SpaceX收购XAI将终止独立运营并入SpaceX并且更名为SpaceXAI等等等那如果我们的谈话内容有一定的滞后性还请大家能够多多包涵因为AI的世界实在是变化太快也太出乎意料了那可能还要特别说明的一点是技术细节会涉及到一些企业机密有一些是嘉宾不方便分享的所以也请大家能够多多包容我们在最大的可能的范围内和大家一起来学习AI那接下来就是我对顺宇的访谈期待206年我们和AI共同进步XRP作为一个公司来说它能够实行这种比较topdown的机制是一个很独特的事这对于其他模型公司很难吗? 很难,比如说OpenAI就干不了,就是Xamana也比较难打公司和startup它打法本来就不一样因为startup重要的是makebet就是我得赌一件事我觉得大家现在就是每个人都是冲浪的人本质上是一个浪而不是你那个冲浪的人AI这个事本来也不太需要脑子需要脑子?
- [02:25]
真的不太需要脑子那需要什么? 我觉得这个行业最重要的特质就是科普就是做事细然后对自己做的事负责任这是最重要的特质硅谷不是有两个姚舜宇吗你要不要先给大家介绍一下你自己然后给大家科普一下两个姚舜宇的区别啊可以可以对就是呃我叫姚一凤女然后显然有一个跟我呃几乎同名的朋友然后呃我们俩主要履历也有一些overlap所以说可能看起来非常的难以区分对然后呃我是我以前是做呃学物理的然后我本科的时候在呃清华呃那时候做宁泰理论然后后来去斯坦福呃做呃理论高能物理然后和量子信息啊黑洞相关的一些方面然后离开斯坦福之后去伯克利短暂的待了两个星期的postdoc过后然后就离职了去了Antarctic然后在Antarctic呆了一年去年9月底10月初的时候加入了Gemini对然后呃如果大家非要区分的话我觉得最大的区分就是那个顺羽他一开始就是一直都是做CS就是计算机相关的然后我其实呃从某种意义上来说是个半道出家对就是我之前是做理论物理为主的对你们是不是好朋友你们好像大学就认识而且是一级的对吧他是一个什么样的人你是一个什么样的人评价一下他你也评价一下自己对对对我们本科就认识因为我们本科是一级的然后在清华但他一开始就是学计算机的嘛所以他在那个姚班就是计算机科学实验班然后我学物理所以我在计科班对然后后来他去了普林我去斯坦福这可能也是另一个有点令人费解的点就是好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方然后觉得普林斯顿是学物理人该去的地方但我俩然后反过来所以说也可能产生了一些费解的事情对然后我俩其实也还真的挺不一样我觉得他是一个比我有趣的多的人我觉得我从他身上也是在过去也是能学习到了一些和我很不一样的点比如说他可能花了很多时间去思考比如在AI方面他花了很多时间去思考就是人和AI的交互呀然后包括一些产品以上的事情然后我觉得其实对我来说是一个很不一样的朋友然后我也从他那学到了很多东西你们之前在硅谷的时候多久见一次面了你们现在是不是还频繁打电话都频繁呃我们在硅谷的时候见面确实挺频繁的可能每每几个星期吧但是好像见面主要是为了凑一块玩玩啥就是真的就是纯玩就是可能出去散散步车车有的没的然后可能有时候吃个饭打个牌啊之类的对对然后他回去之后其实我们也也是也还是经常会打电话最近一次电话聊啥了好像就是前一两个星期你怎麼知道的可能就是會過幾個月然後然後就catchup一下大家最近的近況吧對他是不是多次想把你拉過去可能有這個意思吧但是但是我覺得不關鍵不關鍵你為什麼不去我覺得對我自己來說我沒想清楚吧我覺得多半是我自己的原因然後我也沒有去任何中國的地方然後我覺得主要原因是因為在去年的九月或者八九月這個時候我覺得那時候我離開Anthropic然後離開之後決定要去哪的時候最大的動機是我想学一些不一样的东西对我来说我可能就没有去考虑没有更着重的去考虑说能够去领导一个项目或者领导一个project之类的我更多的是是那个时候更多的是优先去学习一些东西所以那个时候选择去了Gemini对我发现你们两个老被放在一起比较和讨论对你来说是困扰更多还是享受更多我没什么感觉然后因为我这个人也不太關注社交媒體所以我其實真的沒什麼感情因為那個順宇他之前在去年的時候說AI進入了第二半進入下半場這個成為了一個非常有名的觀點你覺得今天的AI在一個什麼樣的時期你能給他一個定義嗎对我觉得对我来说我可能看的没有那么清楚什么叫做上半场什么叫做下半场或者说这个定义一直以来对我并不是特别清楚对我来说确实现在AI进入到了一个阶段就是我觉得大家都已经开始不那么担心一件事AI是不是能够做得到而是担心这件事是不是被良好定义对我觉得这是一个很大的区别比如说我觉得一年之前就是可能去年年初的时候那时候我在Azure然后大家可能担心的事情还是说OpenAI这个reason做的这么强我们有没有机会能够追上然后有多大的机会能够超越它大家很担心这个事我觉得现在就是在任何这至少在GeminiOpenAI和Azure这三家当中我觉得没有哪一家会真的担心自己追不上然后我觉得可能现在对大家更难的事情是是想明白要去做什么这个是一个我觉得是一个是一个bet是一个赌但是也是呃我觉得也是一个很需要人的inside的事情对那这也意味着模型的能力被拉平了对不对它变得统治化变得变得商品化所以模型没有很大的区别就是在在好坏上没有很大的区别但是它需要分化我觉得从用户的实际体验上来说这三家模型是能够感受到区别的但是难的一点是过去这个区别在纸面上也能看出来纸面上是指比如说像公开的有很多这种benchmark这种测量的规范然后比如说大家以前能够去看Swebench对能看sweepbench然后可能数学大家那时候会比像简单一点的AME然后难一点的像MO那个时候我感觉就是你从纸面上就能看出来这个模型好像reasoning强一点那个模型好像coding强一点那个模型这个强一点现在就是纸面上大家其实都比较相近然后你去看纸面上的消息比如看sweepbench你会发现好像好的会比不好的可能高一个百分点或者两个百分点但其实大概都在80%附近那个附近数字高一点低一点其实是主要是noise就主要是造聲而不是信號但是從另一方面來說大家使用上確實還是能體現出區別的我覺得就我个人了解到的信息而言cloud目前仍然是比较通用的这种工具使用类的agent表现最好的然后在纯粹coding的方面可能最近codex稍微追上了一点把这个中间的gap变小了一点然后Gemini可能在纯的reasoning然后和一些比较日常的使用环境下可能目前还是比较好的然后在在coding和agent上还处于一个比较在在接近的这个状态对这些能力他们是有意选择我优先发展哪个方向还是说它就是好和坏的区别就是它是能力问题还是意愿问题我觉得其实是有意愿的成分在的尤其在过去的情况下主要是意愿当大家能从纸面上就看出区别的时候那时候意愿肯定是占大多数的因为可能像Cloud就一直更看重这种使用工具的能力然后包括Coding可能Opi有一段时间非常看重Recently当然现在也开始看重Coding了但那个时候肯定是意愿会占大多数因为你花你更有意愿的话就意味着你能花更多的精力去构建合适的基础设施合适的Infra构建合适的数据然后尤其数据它是一个从某种意义上来说很花时间很花精力的事情对所以说那个时候肯定是意愿专注的但是到现在这个时候呢我觉得两方面其实都有因为其实因为纸面上都看起来差不多然后其实甚至你就做一些更内部的测试来说这个数字也都变得差别没有那么大了然后这时候更难的事情就是你该怎么去定义问题定义你想要的行为然后在这个事情没有定义的那么清楚的时候模型的很多差异其实来自于一些其实是你想象不到的事对想象不到的是指的是我觉得当然想象不到的事就是你现在去问其实我很难给你一个特别清楚的答案可能过一段时间之后回过头来看我才能给一个清楚的答案但是我可以举一个想象不到的例子吧就是比如说比如说退回往回退可能一年两年甚至三年的时候那时候如果你比如说去网上取这些预训练的数据的话你看渲染一个模型就会发现模型在写代码那时候当然没有这种A站这个的写代码它都是写一段代码那时候你会发现模型上写代码会写的很好但是可能那时候大家不知道为什么但是这个里面意外的原因可能就是你从网上随便的去如果不做任何的数据的筛选的话那自然的这个codedata的质量就会比别的高一点因为你去看网页你会发现GitHub的质量是显著比别的正常网页要高的那在進入我們今天主題之前我想先聊聊我們最近模型的一系列的禁聞就是你看最近大家都在討論opencloud你作為一線的研究員你對這個新的產品形態是怎麼看的你周圍有哪些討論我覺得有趣的是我感覺這個事情在業外的討論好像比業內的討論更激烈哦業內沒有人討論? 業內有人討論但是我覺得對業內的人來說它並不是一個特別令人驚訝的事我怎么说就是可能在公司内部也有人已经做了类似的这种这种实验或者这种demo只是可能并没有作为一个产品去很认真的宣发然后把它打磨然后发出去对然后当时的情况就是你去看这个opencloud最早版本的github的那个code其实那个code也就呃从某种意义上来说写的也不是特别的干净但是我觉得他很重要的事是他呃给大家展示了这种可能性嗯那可能展示这种可能性之后未来呃像OpenR作者自己也加入了OpenR然后那可能就是这些呃模型的的实验室或者说一些呃大一辆创业公司会很快跟上然后把这东西打磨成一个真的可用的产品所以我理解其實在OpenCloud發佈之前Google就已經有人在做這個事情了只是還沒有發佈因為大公司的流程比較長對至少我個人所得到印象是這樣所看到的是這樣所以這種類OpenCloud這種產品型態背後它本身說明了什麼在今年初的這個時間點上我覺得其實其实我觉得技术上来说其实并不能说明什么就是说OpenCloud这个产品当然它依赖于模型能做的很多事情但是那些事情的能力其实并不是到今年年初才准备重组我觉得可能在去年就是像OPUS发布4.5然后当然那时候OPUS其实比OpenAI和Gemini3在touser能力上都要强一些所以我覺得在那個時間點其實你做這個事這個事就已經是可以展示出來然後其實他一開始發佈也沒有立即他就發佈了之後過一段時間才火起來所以說我覺得可能對我來說技術上它並不是一個就是說那麼令人驚訝的事他是模型能力的自然溢出对对对我会这样觉得但是我觉得他可能一个对于大家的惊喜是说以前可能大家都没有意识到他让大家意识到的这件事可以做意识到什么就意识到了这个你可以让模型做很就是你可以控制很多不一样的模型然后做很多不一样的事情然后把这个事情汇总汇总之后做一个很长很长很长longhorizon的这种这种工作我觉得可能以前大家并没有并没有广泛的对这个事产生共识这个事情给大家展示了这样一种可能性你看從去年出火的是Mynas今年出火的是OpenCloud就是從Mynas的OpenCloud變化是什麼是模型能力的變化還是產品的變化這也是一個我其實一直沒理解的事就是Mynas和OpenCloud之間的質的區別是什麼是一個我其實自己沒太看明白的事情說實話就是或者換句話說就是可能OpenCloud這個事火了但是如果你要回头问我说为什么Mynas做不了这个事我不明白Mynas为什么做不了可能只是他没做对但是你看不管是Mynas还是OpenCloud他们都选择了Mynas卖给了MetaOpenCloud卖给了OpenAI这个形象说明什么呢为什么他们都卖了我觉得我自己的感受是一个东西如果要长久的生存还是需要考虑一些壁垒的壁壘是模型我覺得至少目前來說很多壁壘都是在模型側但是未來會不會產生產品側的壁壘我覺得是說不定的就因為大家市場上就是這個都老生常談的話題就很多人就談論這個什麼數據飛輪之類的事情目前來說我覺得沒有哪一個場景真正的形成了數據飛輪甚至AI纯粹原生的应用场景我觉得目前除了AgenticCoding就是写代码之外没有哪个场景是AI真正原生的场景变得非常成功因为从某种意义上来说Charbot其实是搜索的一个延伸Charbot是搜索延伸它为什么不是独立于搜索的他是因为你想大家其实和chatbot最多的交互是我有一个问题就问这个chatbot然后这个其实是搜索本来干的事但是他带来的比搜索要远强的一个事情是他变得非常interactive就是他有交互性你可以追问然后他甚至可以帮你总结出一些通过他获取的一些信息帮你把它压缩成浓缩成回答你的问题的那个信息对这个是以前搜索给不了你的对但他呃当然就不是完全一样的需求但是从需求从大的需求上来说是比较类似于搜索之前的需求minusopencloud我觉得都是现在最有名的壳但是壳最后都卖给了模型那是不是说明壳还是难以逃脱模型的掌心这个逃逸速度不够快是不是我觉得我觉得在目前这个情况下活下来有两种我大概能想象的方式一种想象的方式就是像你刚才说的逃得足够快就是我增长速度足够快以至于在模型公司反应过来的时候我其实已经占领了大量的用户心智然后在模型公司追你產品形態的時候我又自己演發出了自己的模型我覺得Cursor就是試圖在走這條路那Cursor其實在這種AI原生場景下幾乎是我能想到的創業公司裡增長的最快的就算這樣的公司它現在也很有危機感它有多有危機感反正我的感觉是对Cursor来说现在和Anthropic已经进入了一个非常微妙的关系就是曾经他们是亲密无间的合作伙伴Azure提供模型Cursor提供产品后来Azure自己有了CloudCodeCloudCode现在变得非常成功然后Cursor现在又自己试图做自己的模型所以Cursor在努力的训练他的Composer所以说我觉得都不用说贵其实现在就是他们已经处于一种比较竞争的关系了那如果在竞争中输掉的话我觉得是比较麻烦的因为代码这个事情Coding这个事情其实它本身上是一种服务于专业用户的专业需求是一种效率工具效率工具很容易凸显的一个场景就是赢家通吃我觉得这个是不管对Cursor还是对SRB还是对任何一些做Coding的公司来说可能都是他们比较担心的事然后这是刚才说的就是一条路就是你长得够快你在别人还没想吃你的时候就疯狂长等他想吃你时候已经足够大另一种方式就是这市场足够的小小到模型公司根本懒得去管我觉得midjourney就是这个一个例子就是这个市场小到可能虽然你说咱们来努力吧能不能做midjourney那个事可能花一些精力花一些钱花一些data是能做到的但是足够小以至于可能咱们就不是很会在那上面花时间了看不上对我觉得那可能也是一种活下去的方式对所以哪怕是Chrysler今天也没有逃逸出模型的收藏性有谁成功逃逸了吗Majorney我觉得大的就我目前还没看到小的可能Majorney这个例子当然肯定有别的例子只是我还没看到对小的我觉得会有例子Lafayette算吗我觉得他们有机会他们有机会对反正就不能做那种通用的场景我觉得就是我覺得這是founder自己要決定的一件事就是你要不要抱著萬分之一的生存機率去賭一票大的還是抱著百分之一的生存機率去先吃另一個小的事情如果是你你會怎麼選如果是我我内心肯定是想吃一票大的但是我真诚的想是我觉得第一步是不能一步登天的所以如果是我我会选择去吃一个先吃一个小的但是我会选择一个有想象空间的小的你说OpenR为什么要收OpenCloudMeta为什么要收MinusGoogle为什么谁也不收Google也收了Google买了Windsurf的人OkWindsurfok呃我不理解哈哈哈哈什么叫你不理解说实话就是我不理解我我觉得呃我觉得meta买minus这个事儿呃我觉得对他们来说最大的用处就是如果如果抛掉花了多少钱之外最大的用处是获得了一批很好的在亚洲的产品团队在亚洲说明什么因为我觉得一方面就是显然大家都知道中国的AI人才出轨还是很丰富的虽然可能目前从技术上纯技术上来说中国的AI还没有真的追上美国但是显然中国是有很多好的人的不管是从纯技术上还是从产品上我觉得可能中国的本质上人才是比美国要更好的对所以对他来说我觉得Metals成为了他在新加坡的一个一个锚点就他可以从那里吸引一些比如说从中国的或者是新加坡或者东亚的人才然后呃我其实没有特别看明白这个产品本身对Meta来说有多重要或者换句话说就是为什么Meta不能自己干这个产品但是不管是Mindless還是OpenCloud他事實上就是誕生於外面的團隊為什麼不是矽谷的這一幫研究員做出來的呢你有沒有反思過這個問題對我覺得對我來說這個問題其實我覺得一個公司一旦變大了之後它的負擔也變大了就是说我可能作为一个研究员然后我们可以做一些看起来很有趣很有特点的产品但是我一旦把这个产品去公开给公众那要负责的事情是非常多的第一你这个产品不可能说一上线然后告诉所有用户你得再去买一台电脑干这个事否则他就有可能会获得你电脑上所有的权限然后把系统搞崩这就作为一个大公司来说Google是不可能提供这样的产品出去的对吧所以你产品要花很多时间打磨然后你要确认法律上它没有一些风险然后用户上又不会损坏自己的品牌然后你如果把它送出去了你可能还要给它比较固定的一些资源去serve这个模型或者serve这条产品的线所以对大公司来说我觉得还是有挺多负担的但是对于个人来说无所谓就是我反正是一个开源的项目我代码垃圾又如何你帮我来一起写吧对吧但是我觉得不管是minus还是opencloud它其实指了一个方向就是可能这也是206年的某种趋势的可能性你对206年怎么样思考和预期的呃我觉得其实有太多的可能性然后对我来说从呃从模型能力上来说我觉得呃模型就是我有时候特别爱说这个口号就是这我觉得模型做到呃trainwithfinitecontextuseasinfinitecontext就是换句话说就是你用有限的这个contextlines去训练它但是可以在使用的时候用非常非常长甚至接近于无限的contextlines我觉得这件事今年是有机会能够实现的然后这件事情实现之后我觉得会解锁很多新的应用也会因为举一个最简单的例子就是你有可能可以让这个模型跟你持续的交互然后持续的获得你的信息然后它在运行的过程中会持续的根据当前的场景和你的绘画可能把那些他觉得不重要的信息扔掉然后呃就成了就是大家梦想中的个人助手對我覺得這個從技術上來說我覺得這件事是今年無論如何是會實現但是當然我覺得現在大家沒有達成共識的是技術上怎麼去實現這個事顯然是有很多技術路線但是現在我覺得更多是屬於在嘗試哪條路線能夠跑通的同時可能有好几条路线都能跑通那我们到时候就要去实验上测在用户常用的使用场景下哪条路线的效率是最高的对我觉得现在更多处于这个阶段而不是说大家没有想法的结论对大家有想法但是要确定哪个想法是最后的想法站在这个206年的QE作为一个一线的研究员你觉得模型的进步速度在放缓吗我覺得完全沒有完全沒有我覺得完全沒有他的速度曲線對比25年24年的變化是什麼這個很難很難量化的說因為就是你得給一個標準我才能量化的告訴你因为如果你给的标准是比如说我就看在某一个benchmark比如说swiftbench上它每一个月涨多少个点那这个事是肯定会变慢的因为根据定义这个benchmark最高就到10%所以你越接近的肯定是越跑的越慢但是这可能并不代表用户体验这个模型的能力增长变慢了因为可能从50%到60%他可能感觉好了一点但很有可能比如说从70%到75%他发现好的比50%到60%那个还多嗯这是完全有可能如果是80%到90%到10%这个感受会更显著那也不一定因为可能过了可能到80%到90%用户就发现没有任何区别甚至还变差了你说完全没有变慢你是基于什么标准我觉得是基于我个人作为一个研究员感觉就是我觉得我个人得到的感受是这个模型学东西的能力越来越强以前可能让模型学会干一件事情需要动很多脑筋但现在可能不需要动那么多脑筋了最重要的是你是要把这问题定义清楚然后想清楚怎么去构建合适的数据当然数据现在数据就更宽泛指向环境之类的也都在包括在内了然后剩下的事情好像很多时候是是顺其自然的了对学习能力变强是为什么模型的学习能力变强我觉得可能一方面呃原因可能有很多分但我覺得可能一方面也是因為預訓練其實在過去的幾個月裡我覺得還是越來越強了的預訓練對模型的預訓練其實在過去幾個月裡還是變強了我覺得這個可能是一個從某種意義上來說比較有爭議的事因為幾個月以前我覺得就是很多人已經在討論預訓練的這個scalingout是不是已經到頭了我的体验是没有而且我的感觉是在未来的四个月也没有看到到头的迹象对嗯你觉得到头是为什么呢我觉得嗯我我我显然不知道大家觉得到头的原因是什么因为我自己没觉得到头但是我觉得我的猜测是一个人觉得一个规律到头了无非以下两种情况啊一个情况是他觉得这个规律的适用范围到头了就可能就是就可能从根本以上讲Skininlaw就是没有办法无穷延展下去的维持有可能是对的但是这是一种态度就是这个人可能觉得这个规律适用范围到头了另一种可能是这个人觉得这个规律其中的有一个条件不能满足了比如说他觉得数据就已经撞上墙了那我完全没有把它延展下去了这是另外一种可能性但是其实还有第三种可能性第三种可能性就是其实他这个工作哪里有一个bug他自己没发现所以他觉得到头了我觉得从我的观点从我的观感上来说我觉得可能绝大多数撞到墙的人是因为第三种是有bug是哪种bug我觉得bug是有很多种可能性的比如说一种可能性是你SkinNode做的时候一些科学的假设没有做对比如说你选什么样的TokenHorizon就是每一个大小的模型选什么样的这个期待的训练的数据量然后怎么这个数据量这个数据是从哪里选然后有可能这些比较科学的选择没有选清楚是一种可能性但我觉得还有一种可能性就是纯粹有个bug这个其实在业界我觉得也不惊奇很多时候修好一个bug带来的进展是远大于一些很很神奇的技巧的对哦然后呃大概还有另外的的情况我觉得我就刚才给的这种两种例子反正是我见到过比较比较多的情况那你们的bug怎么办你们怎么解决bug问题的我觉得我感觉这更像是一个信念的问题因为当你遇到一个bug你觉得它不能解除你就会说这个到头了当你遇到一个bug我觉得哦这个肯定可以解决那你就觉得这还没有到头因为肯定每个人都要遇到bug对我觉得这可能就像你说的就其中有一些比较信念性的东西但对我来说更重要的一件事是做事系统就是当你一个事情和你预测的不一样的时候你能不能系统性的排除各种可能性这个我觉得是一个很重要的事这个是我觉得咱们爱荷兰陶辈做的比较好的事尤其在預訓練上就是說當某一個尺度上的行為可能和你想象中不一樣的時候大家能夠去設計合理的我們所謂的ablation實驗合理的這種實驗能夠看出來測你的一些想象中的可能的因素是不是真的因素我覺得這個作為你的系統性才是關鍵你觉得模型能力还能提高那它的驱动力数据算力算法你觉得它的驱动力主要来源于哪个我觉得其实都有但是从某种意义上来说数据和算力两个事其实是很强关联的一件事数据和算力对因为你算力上去了自然就会需要更多的数据数据上去了你就自然需要更多的算力对然后算法上来说我觉得算法作用往往是有一个相变的就是算法有一个阶段是你完全没有搞清楚该怎么做那个阶段就算法会非常非常关键因为你没有完全没有搞清楚怎么做的时候你可能就完全没有办法scaleup然后就可能就卡在那了但是在某一个点你可能发现了算法当中最重要的一件事那它可能一下就变成了从完全不能做变成能做然后之后算法的提升更多的是一种比较平滑的提升就是它可能从某种程度上提高了你计算效率或者使用数据的效率对然后呃我觉得就举例吧就比如说从语言模型的预训来说那可能这个算法上的这个跳的过程就是发现就是发展出反思考核这个事情但反思考核发现之后更多的都是慢慢就是平滑的让它的效率或者你使用Data或者使用算力的效率变得越来越高了对所以现在的驱动力是算力和数据我觉得在现在比较清晰的框架里面主要的驱动力是算力和数据轻轻的框架是指比如说预训练和后训练不管是基于强化学的后训练还是基于supervisedlearning就是监督学习的后训练比如在这两个就是比较清晰的这种这种paradigm下确实算力和数据是主要的驱动力但是不可否认可能有别的方向可能驱动力失算你什么意思举个简单的例子比如说多胞胎生成嗯那个我觉得可能就是一个算法上来说没有太想清楚的事对所以那个还是一个科学问题还没有解决对但是语言已经不是科学问题了自然语言的生成我觉得目前这条技术方案撞到头之前我觉得在科学上是比较清楚但是工程上也还有很多很多要做的事嗯你覺得預訓練還能提高多少通過預訓練提升模型能力還有多少多長的路可以走可以預期到人就是這樣就是當你沒有撞到頭的時候你其實不知道這個路有多長我能看到的就是現在還沒撞到頭但我也不知道哪天會撞到頭如果真的讓我去估計一個時間線的話就像剛才說我覺得四個月接下來四個月還是會繼續有進展但是AI這個方向沒有人能預測四個月之後的事所以過去幾個月你在看預訓練和模型能力的時候你還是很興奮的這是你周圍的普遍的心態和狀態嗎我覺得是的我覺得是的這是在Google一個小環境裡面還是說在整個矽谷的環境裡我覺得很難說在整個矽谷因為矽谷是個太大的地方可能做产品人对产品很兴奋做产品来说对他们最兴奋的是可能有opencall但是对做模型的人来说可能就是我们会对这种模型的进展更兴奋一些我觉得在对于做模型的人来说兴奋是一个共识吗在过去四个月我个人认为是的至少在我能接触到的范围内我觉得在Azure和Google大家可能想的更多的是我们AI会不断地进展下去很快我们就要被替代掉替代掉之后我们该干点啥而不是模型撞到头了该怎么办说到这个问题为什么在过去几个月Coding的发展速度是最快的为什么是这个场景我覺得coding這個場景首先coding這個事只是在過去幾個月發展最快我覺得coding這個事其實從cloud3.5new外界有人管那個cloud3.6從那個之後一直都處於高速發展的狀態然後我覺得那個是去年初還是前年底那个是前年的十月份前年十月份对应该是有可能十月份或者十月份但差不多那时候从那个之后我觉得一直都属于高速发展状态我觉得coding这个场景有两个最大的优势第一个优势就是它的它的rewardsignal就是它的那个回馈的信号是很好定义的因为比如说你去比如说像softwareengineer这种task有时候经常情况就是我需要写一个code实现一个feature一个特征这个特征需要的是某些输入会得到某些输出这就是一个很容易能够很容易能够测试的事情所以它的回馈信号非常清晰你输入和输出能够对那就说明你的实现是成功的不对那就说明不成功但这只是一个例子就是在这种和写code相关里面有很多很多会能这样良好定义的回馈信号然后另一个比较大的优势是Coding的数据有一个非常天然的基础这个基础就是GitHubGitHub上汇聚了过去几个decades几十年很多很多优质的程序员所写下的代码然后从那些代码出发是可以构建出非常非常非常多环境我觉得这两件事从模型的角度上来说是为什么coding可以做得很好当然我觉得从产品上来说还有另外一方面的原因就是coding这个产品的使用需求其实是从模型上来说是比较单一的它不像你去做一个像社交软件或者游戏可能每一个人都有不一样的品位然后你可能很难就是能够满足每一个人的需求那可能就是就是需要推荐算法但是coding这个事好的事情在于优秀的程序员写代码其实风格是比较类似的什么风格简洁干净对就是好的代码是不脏是有一个有一些共同的标准的比如说像你说的就是这个代码简洁结构清楚啊适于未来的开发然后有合理的抽象当然还有别的很多标准但是我觉得好的程序员往往是有呃有比较共识标准的对这件事所以这件事从产品上来说其实让coding这个产品变得更简单了那你現在的工作百分之多少會用CloudCode寫代碼它能幫你提高工作多少倍啊你問了一個我差點會被開除的問題Google不能用CloudCode的對就是我覺得對我來說一個保守的估計可能90%的code是模型產生的但是可能就是我需要花很多時間去看這個code是不是寫的合適寫的合理是不是真的是我想讓他寫的然後我覺得有了AI輔助工具之後可能寫code這個事最重要的地方變成了你怎麼去設計你怎么去设计你这个code的逻辑然后它需要和哪个哪个文件相关联然后需要做某哪些哪些事情然后你需要给这个模型可能给一些合理的context比如说比如说这个code你可以做一个reference去看一眼对真正去输出code的我觉得模型比人的能力强太多所以說對我來說你要實際去數有多少行code是我自己手寫的有多少行code是模型寫的我覺得保守估計模型寫的超過90%不保守的可能就是9%或者10%剩下10%是他不能寫還是為什麼你沒有讓他寫保守估計90%給我自己點面子我覺得他不能寫而我能寫的部分已經越來越少了过去可能是什么样的是他不能写的我觉得很早的时候就是可能在一年半以前那个时候市面上其实说白了就是只有Cloud一家能够真的写这种软件工程的code那个时候某些还是能体会到很多缺陷的比如说他有时候可能写code就只关注这一个文件他就不会很关注那种多个多个多个文件之间的关联然后如果一个比如说一个class它的定义其实藏在很多层里头或者说它其实没有直接被套在这个直接的树里面可能这个模型就找不着现在我觉得这个事已经越来越少了真的越来越少了作为一个researcher你的写程序的工作量能够是过去多少倍因为从写code的角度来说是比较难量化这个事但是如果说从比如说我做实验然后实现一些idea的效率上来说我觉得可能比起一年甚至一年半以前可能都是20甚至50倍的这种加速对因为现在模型真的变得就是可以很离谱就是你可以同时开好几个然后你好几个idea同时的去试甚至有些时候这个模型可以帮你监控一些实验啊监控一些结果之类的所以说还是真的是一个挺大的效率提升对但是呃如果从个人工作时间上来说我觉得他好像让我工作时间变更长了这是为什么就是因为开发的速度变快了之后就越试越想试有越来越多的想法要去试所以说感觉以前你可能存在说哎你有一个东西就是这个文件以前没见过你可能自己看你搞得不是很明白那可能你要去花时间去找那个人然后你预约那个人可能就几个小时之后但现在就不是你就看到这个文件你不懂拿去问一下Cloud或者XMLXML可能5秒钟就告诉你结果你就接着干了所以说从工作时间上来说我觉得好像工作时间反而变长了而且工作的密度也变高了Google已经不是那个Google了是吗不是那个养老的可以养老的Google不是那个worklifebalance的Google我感觉在站AI这个领域没有谁可以养老所以你现在早起晚起啊我一般可能早上九点钟开始然后晚上到公司吗九点我就早上九点钟回去可能先起来看一下邮件然后看一看我前天晚上时间然后到公司可能一般十点左右然后呃晚上啊如果我一个人在美国的时候我可能就会待到可能十点十一点这样然后当然我如果我我家人在我老婆在的话我可能就会早一点回家但是在家反正也是干所以我觉得这个战略AI这个领域没有谁是在躺着的除非就是你已经完全对技术没有兴趣了对自己没有追求了那你躺着其实也没有人管你但是我觉得大家还是比较selfdriven就是还是自己想干对你觉得其他的领域会出现更多的这样的cloudcode的时刻吗coding之后会在哪里爆发你问了一个好问题我要是看清楚了我可能已經出去創業了但是確實就是除了coding之外我們已經能看到就是對很多別的方向已經產生大的影響但只說那些方向可能並不是一個好的這種市場上的方向比如說好多現在的做基礎科學的研究比如做數學做理論物理好多人其實已經就大量的在使用AI工具因為過去你可能像我们做AI研究其实很像就是说你可能想玩一个想法你想跑一个数值学物理的人又不是很会写code光学明白怎么打开这个编译器把code跑起来可能半天已经过去了现在就没有这个烦恼了就是你现在想试5分钟之后code写完了你就可以开始试了对然后甚至像GeminiDeepSync发布之后有很多基础科学的研究人员就把这种比如说数学推导数学证明然后甚至就是去看这些不同的这种文章然后归纳这些事全都交给模型了所以说已经我觉得对除了coding之外的方向产生了影响当然就是那些基础研究你可能很难就是变成一个万众瞩目的事情除非你就真的发现了一个以前人都没发现的很妙的理论比如AI产生了爱因斯坦理论这样级别的东西那可能会变成万众瞩目但那个时刻可能还没到来但是影响是已经在产生了哇AI好神奇啊它為什麼首先上來做都是人類覺得最難的那部分工作我覺得這是一個特別好的問題就是我覺得過去的嗯在我人生的階段裡大家往往會覺得最智力上有挑戰的工作對反而是那些比較理性的事情比較客觀的事情嗯比如說數學比如說寫代碼比如說做AI研究嗯還有科學研究對就是越是這些事其實AI越容易做好因為你一旦想清楚這個事怎麼去評價你就知道怎麼訓練人為什麼比較難呢你看人都是智力分配最高的那部分人做這些工作對但是可能未來就不是這樣了未來會怎麼樣我覺得未來其實會發生的一個改變就是那些AI就是有很多AI其實沒有那麼容易做但是反而是人可能做比较好的比如说做产品经理我说实话觉得做一个好的产品经理是一个我现在想不明白该怎么训练AI去做的事这是为什么没有标准没有标准没有刻度就是什么叫做一个好的产品我其实想不太明白没有一个很客观的标准你一定是做出来了之后给人用了你才知道它好大家才会说它好我覺得那個就是一個回饋信號很不明確的事那個我就不知道該怎麼去訓練AI做程序員什麼時候會被徹底取代嗎會有這一天嗎我覺得這一天會來但是它不會是一瞬間的來就不会是程序员都还在过了一个晚上第二天程序员全被开除了不会是这样的他一定会是一个见面的过程但是大家现在已经看到这个见面的过程了因为有些公司已经开始开始裁员了对我觉得呃从某种意义上来说AI是一个从某种意义上来说它虽然是一个很好的东西但是从某种意义上来说它可能也是一个很很不幸的事儿就是AI是一个很centralizedtechnology它会让少部分人变得更强但会让大部分人失去他们的他们的独特价值对所以说我觉得对于传传统的软件工程来说呃以最后变成结果可能就是现在千分之一的人干了过去所有人的工作拿着现在一百倍的工资那你对陈迅有什么建议我觉得我觉得可能接收新事物吧就是我觉得很重要我觉得未来程序员可能很重要一件事是怎么和AI去有效的协作比如说有很多事情是AI可能做的不是那么好的事比如说怎么去合理的设计一个事情的实现方案然后怎么样设计让它可能跟这个公司未来的发展比较契合那这些东西可能你很难去告诉一个模型让他理解这件事那这件事可能还需要人去做但是可能像具体的就是很具体的就是像过去很多程序员做的工作是你的经历告诉你实现这个方案下周五之前给我我觉得这样的工作未来可能就不会再存在了那千分之一的程序员会是什么样的程序员他们的特质是什么首先千分之一是個虛數我真的不知道會是千分之一還是萬分之一還是十萬分之一也可能是百分之一你不要那麼悲觀我是一個著名的悲觀主義者所以說你也不要太內生然後我覺得未來好的成員首先他肯定是從技術上來說他一定會非常強因為如果你技術上的弱那沒有什麼道理也還不能取代你但技術強可能不會是唯一就不會是一個必要條件它可能是一個充分條件另一個事情我覺得會很重要的就是你得能夠理解你的這部分工作在一個大的組織或者一個大的公司裡該去怎麼適配進去這件事情可能也是一個重要然後呃当然还有可能别的很多事情啊比如说这个人的规划能力是不是足够强他规划能力强化他可能可以同时把这个大的一个很复杂的事情拆解成很多相对较小的事情然后交给不同的AI去做但是现在看这三种能力是重要的可能AI还不能完全做不代表6个月之后不得可能六月之后你过来问我我发现最后一个事AI已经能干了那就只剩下两个事再过六个月可能剩下两个也能干了那可能我的回答就会变得更悲观所以说没有人能预计六月之后发生什么我只能说从现在的观点来说刚过去的那个春节很多人关注另外一件事情是seedanceseedance会让Google焦虑吗我觉得其实有可能有但是这个焦虑的情绪目前还没有传导到我这可能让Googledemand负责多么太深层的团队会有一些压力但是我如果你要问我的话我觉得我可能不觉得他们有什么可焦虑的就是我觉得并没有体现出什么范式上的改变更多的是我觉得字节在不管是这个产品的效果还是可能在数据上之类的这些细节会做得非常非常好我觉得确实是字节过去在动动态生产一直以来都有比较强的优势但是我觉得至少我个人没有体会到它是一个一个范式上的变化那可能就不足以说让大家非常的焦虑吧但是肯定是有压力Cdance它的产品能力来自于模型能力还是产品能力我没在自己也干过所以我也不知道具体的细节但是你要让我猜我觉得可能模型还是占大头的模型能力的好来自于什么来自于数因为算法可能没有本质创新我觉得算法首先就是因为刚才动物态属于咱们说的就是还属于科学问题动物态的生成属于科学问题动物态生成还属于一个比较科学的问题动物态理解解决了吗比生成肯定是要更系统有更系统的理解但是比起taxtoken来说肯定还是没有那么的还是还没有那么固定对我觉得生成上可能就是呃因为它是一个还没有范式上还没有规定的事可能每家用的技术都会有一些大的或者小的区别然后呃现在更多的只是能看到说效果上来说可能字节和googledemand属于在效果上来说做的比较好嗯所以它可能也是来自于细节做的更更好对我你如果要让我猜我会猜数据数据啊你要让我猜我会猜数据但是就我也没在自己干过所以也是我硬猜的嗯你怎么看从google去自解的吴永辉啊我喝得很冷哈哈哈哈评价也会我觉得我觉得呃我我当然过去没有和永久永远会一起工作过所以我我其实真的不是很难给什么很好的评价很客观的评价吧就是说但是我觉得我去了Gemini之后呃看到的更多的是永辉好的一面就是我觉得他是我通过去看他偷偷去看他以前教过的代码以及他带过的项目我的感觉是他是我见到的少数呃层级非常高然后人也很很senior但是还有很强的技术能力我觉得是非常非常少见所以我觉得我觉得我可能是还没到能够评价永辉的这个水平但是要让问我说的话我觉得永辉是非常非常强的你说站在206年的这个QE的拍一张快照你觉得中美的模型能力差距是在放大还是缩小差多远我觉得如果现在放一张快照去看过去一年的发展趋势或者过去一年半的发展趋势吧显然这个中美之间的gap是越变越小但是最后这个gap会不会完全弥合甚至中国超过去那我觉得是一个不清楚的问题我觉得对中国的AI的研究员来说研究机构来说也是一个机会然后我觉得一个很真实的事就是中国确实在实际的算力资源上来说是占很大劣势的但是这个很大的劣势可能反而逼出了一些有趣的事比如说中国的模型公司其实对distillation就蒸馏有别人很在行对最近达瑞不是点名了三家公司征留他对我觉得其实可能是一个征留这个事存在是一个一个心照不宣的事实但是我觉得征留他也有不同的方式就是也有硬征和和聪明的征两种不一样的选择硬征应征就是最觉得最简单的例子就是我从cloud里面取出一堆他生成的token然后强行在上面做训练如果干这样的事我就觉得首先商业上也不是很道德然后治理上来说也比较愚蠢因为干这个事的公司其实本质上来说它体现出来的一件事就是他其实都不知道自己想干嘛他能干的唯一一件事就是抄别人然后让自己的模型数据上能看好看一点对但本身就说明他自己都不知道该干嘛这是印证但是其实张柳也有些很有趣的科学问题就是比如说我是不是有一种可能就随便举个例子就是有没有可能是我生成我自己生成数据的这个链条当中用到了别的模型作为辅助或者说我自己模型生产的答案用别的模型作为它的评价者这个其实是一个我觉得商业上来说比较灰色的地带但是从技术上来说其实很有意思因为你想其实从某种意义上来说可能中国的实验室成为了做multiagent训练的先驱而且是真正的multiagent因为它如果从不同家的模型里用这种比较聪明的方案把它们融汇到一个训练系统里的话每家模型它可能是分布很不一样它的语言的分布很不一样这个是真正的MockAgent它可能比起比如说我用了好几个Gemini一块做是一个基本上更有趣的事所以说我觉得对我来说聪明的争我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事但是技术上其实很有意思你这两种争分别说的是谁能不能后期把名字逼掉我首先没有在中国的Lab干过所以我不知道确切的事实但是我的感觉就是应该是应征了然后可能曾经应征过但是后来可能慢慢也在努力向软征的方向转化我觉得比较明显可能挣留的比较少的是字节我觉得字节是我感觉到这个模型还是比较有特点特点体现在哪里比如说这个模型你说它有多聪明呢我觉得豆包是肯定没有Gemini和Cloud聪明的但是豆包首先比如说豆包的语音生成非常非常强这个很难吗在技术上确实豆包是做的最好的因为我发现我生活上的问题我只想问豆包因为它很快但其他模型为什么不优化这个产品功能呢我觉得还是跟它的用户群体有关系在美国我觉得大家的这个想法更专注于怎么能够提高工作效率你生活没有一些困惑吗我生活中有首先我个人确实是一个生活上比较无聊的人所以我生活中没有很多有趣的困惑可以去问豆包我生活中更多的困惑都是技术上的困惑问Jamila这种聪明的模型就是最好的对我没有什么什么半夜去打豆包情感电台的需求不只是情感就是很多比如說你做飯你可能會遇到一個什麼問題你可能即時需要一個需要有人告訴你但是你有沒有不知道沒有這樣的人那些我覺得可能更多是數據上的問題然後可能更多的只是說美國的公司現在主要的優先級是在智能或者工作效率上未来有天会不会变成这些日常的事情我觉得是有可能的事实情况是你如果去问这种日常话题其实你能发现詹姆纳每代一代到另外一代会做的也越来越好其实我身边很多朋友包括我自己以前也是就是我以前在Authority的时候可能写code会去问Cloud但我可能日常查个什么东西我就会去问詹姆纳你用过兜包没有我其實只用過一兩次我發現你們都不怎麼用是不是有鄙視鏈有智力的鄙視鏈沒有沒有不至於不至於我覺得首先就是就跟在中國的人試圖用美國的模型會有一些複雜的事一樣我在美國用中國的模型其實也是挺複雜的第二呢就是确实也没这个动机尤其我觉得我可能生活中工作是工作休闲的时候就是找不一样的工作所以对我来说我的最好伙伴就是Cloud和Jonathan但是可能对别人来说并不是这样所以可能也只是我个人的问题我自己用豆包的那一两次是因为有人给我展示豆包手机对你怎么看多宝手镜我觉得是一个很很很很好的想法我个人觉得效果上来说其实做的也不错当然我不知道的是技术上来说它的优化做的有多好我觉得它实现一些任务的实施从效果上来说是没什么问题但我不知道它会有多大消耗如果这个消耗非常非常大那可能是一个技术上需要解决的问题因为你并不希望什么让你的模型去给你订了一张高铁票结果花的钱比高铁票还贵这个肯定是一个不可以接受的事对所以说可能技术上来说我个人不清楚他有多成熟然后我觉得产品上来说对大家来说还是一个挺不能说惊讶吧但是让大家觉得挺兴奋的事儿吧然后我觉得可能苹果以前也想干这样的事儿只是苹果可能自家的模型一直不太行苹果好像不太在意它的AI战略现在我觉得呢苹果一定是在意AI战略了因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点但是自己的模型没赶上趟现在可能要通过和咱们俩合作来试图做这样的事至于现在他是不是重视首先我也不知道你要让我猜我肯定觉得是重视但你要让我解释他为什么从外界来看没那么重视我的唯一猜测就是如果你外界来看就显得很重视还做不成那就显得很蠢万尊对我不在意要我們說一下豆包的模型你剛才說豆包模型比較有特色你們具體一點李克賽的語音做得很好這是第一點我覺得語音做得很好是我能感覺到最有特色的事就是我覺得語音這個效果可能是客氣的說可能是全世界最好的之一不客氣的說我覺得就是全世界最好的就很難嗎我自己没做到那个地步过所以我也不知道是不是难但是我觉得可能是一个很费功夫的事不管从数据上还是各种优化上来说它是个产品的事还是个模型的事它一定会是模型的事它有可能也包含一些产品的部分但一定是一个模型的事然后我觉得这是一方面然后另一方面另一方面我自己感受就不多了因为我其实用的机会没那么多那可能就是更多的是来自于就是亲朋好友的反馈就是说哎这个多巴这个模型就是funtotalk聊起來很有趣但我覺得那個更多的是一些主觀的反饋我覺得他的那個一個是語音然後一個是他生成的很快也是一個很重要的因為我很多模型他都在給你展示思維鏈但是我就說那個生活上的瑣事我不想看他的思維鏈对这个事我觉得技术上并不难只是可能大家目前还没有花更多时间在这上面然后事实情况是如果你去尝试Gemini3.1和Gemini3的话你会发现Gemini3.1在完成同样一个问题的时候已经会比以前快很多然后废话少很多了所以说我觉得这个不是一个在我看来不是一个技术上的难点它更多只是什么时候去重视去做这个事我覺得可能就是現在美國的這幾家還都處於在努力把智能的上限往前不斷推進兒子節呢當然他也肯定是在推進上限的但是我覺得他可能就是在用戶的優化上也做得很不錯最近還有一個話題就是中國的機器人很火在春晚上我不知道你對這個有沒有什麼觀察看過一些表演也在亞馬遜上搜過一些價格確實很驚訝他居然這麼便宜買了嗎沒買我買了也沒什麼用但是確實我以前會我不知道我以前腦海裡覺得這種人形機器人然後當然就是軟件層面其實沒什麼但主要是硬件我覺得硬件想做的這麼成熟可能怎么也得是个什么大几百万美金啊这样的但是好像我去看了一下价格比这要便宜很多我觉得这还是体现出中国在硬件这个产业链上还是很有优势的但是我并不知道他作为一个它作为一个机器人硬件来说我觉得确实是非常非常强然后从软件上来说没太看明白我觉得机器人的模型也是一个目前非共识比较大的事情对怎么说就是说它我觉得机器人的模型可能更多的处于FutureEngineering的时代就是你让你有一个给定的环境給定的場景你去優化這個場景大家是知道怎麼做的嗯做RL嘛做強化學習做強化學習構建合適的虛擬環境還是虛擬的這種數據然後你去做訓練是可以提高的但是它沒有很強的泛化性我覺得這個是就是有沒有泛化性其實是很多AI方向它的一個分水嶺就是一个确定的场景一个很单一的场景能不能做好这个事不是最近这几年才解决的十几年前就能干对吧就是像像语言也是语言在这个基于传输方式这种类似架构之前的时代里并不是说完全做不了对吧那时候你也可以训练一个很强的模型去做翻译你可以训练一个很强的模型去做语音分析但是你不能做的事是我可以水平的提高所有能力这个我觉得是一个分水岭然后我觉得LanguageMode在在呃在Transformer和GBT之后跨过了那样一个阶段跨过了一个就是可以水平的提高所有能力然后你可能在一个点上来训练他会把这样能力抽象的放到所有相关的事情上但是呃机器人我觉得没到那个阶段嗯更多的还是在那个阶段之前就是我有一个单一的场景单一的呃的事情然后我能够为这个事情去做优化所以你怎么看硅谷的这些机器人团队啊还包括Gemini内部也有很多机器人的人嗯你会怎么看那个方向有点这这算什么这是你们子方向还是你们的平行方向还是什么我觉得过去是一个挺平行的方向但是现在机器人我觉得大家也在尝试就是能不能利用语言模型作为一个基底模型然后在那个上面去训练这种类似比如说像VLA这种类似的特别是多模态模型对对对然后所以现在来说就是变成了和语言模型这个这条线比较相关的一条线然后我觉得我个人的感觉是他们未来会变得很重要但是目前还没有找到自己的路但是他们做的事真的很有意思我非常推荐大家去看看机器人的实验室比作为语言模型的实验室要有趣的多作为语言模型的实验室感觉就是正常的办公室但机器人他们是真的就是会有人去操控这个机器人采集各种数据然后去看这个机器人在什么在货架里去取不必要的货品之类干这种事情就是是很有意思的一件事你去的是哪家呃我去我在Gemini自己的實驗室不是Gemini就是那個GoogleDeepMind自己的實驗室去去看過然後還有那個Dana嗯我也去看過他們是一個疊衣服的機器人對他們就是可能場景更單一了一點就是我疊衣服是一個機器人可能做一些別的探索比如說倒個水啊之類的這樣對你直觀感覺機器人進展相當於大猿模型的那一年還沒有到GPT1的時刻對不對一定沒到我覺得一定是沒到對嗯就是相當於大家還沒有想明白怎麼去scaleup我覺得對我來說不管機器人還是多麼太生長都沒到這個點那接下來進入今天的主題我們還是對你非常的感興趣然後聊一聊你是怎麼從一個學物理的人進入AI的世界的你從小在哪長大你是怎麼長大的我出生在寧夏然後一個很小很小的城市叫那個大悟口看就是你這困惑的表情已經說明了這個城市有多小這個城市過去的存在是因為一個煤礦對因為石灘井一個煤礦然後有了這樣一個城市對所以我在那出生但是我小學的時候跟我父母一塊去了上海然後所以我小學的後半段和初中高中是在上海然後我上本科就去了北京就是剛才說的那些本科在北京然後博士在美國你從小就成績很好是嗎你是物理競賽保送然後在清華和斯坦福讀的是理論物理對我不是物理競賽保送的我觉得我小时候挺菜的首先我读的初中和小学都是无名之辈我觉得我当时读的初中好像就是竞赛不是一个你该考虑的事就处于这样一种这么一个初衷里那个叫上南中学东校又是一个大家听了很困惑一脸一头雾水的学校既然都说到这儿那小学是哪个小学小学叫啥来着我的contactmanager们能力太强了我已经不记得叫什么了其实对然后对就是就是那个初中就是呃一个班里面一个小环境是还是有一些想要好好干事的同学的但是总体来说那个初中我觉得是比较躺平的状态对然后呃我觉得就是可能还学习还可以还可以是还可以就是當時的狀態就是上海高中有所謂的那時候有所謂的四校有什麼上海中學然後華二焦達和復旦的附屬中學對然後當時的狀態就是能上這四個學校但上不了這個四個學校裡最好的班但是我當時特別想搞競賽因為以前都沒搞過競賽你初中開始搞競賽我初中沒搞我初中沒搞過競賽你沒搞過競賽為什麼想搞競賽因為沒搞過所以想搞怎麼植入了這概念我這個人我這個人的個性就是总是爱干一些自己不太会的事对然后当时没搞过竞赛但是知道有这么回事所以觉得义无教训不是义无教训就是上大学之前得干一把但是成績也沒好到那個份上所以去四校就是最好的那四個學校是進不了搞競賽那個班的我當時就發現有一個稍微差點的學校那個學校就是格致中學稍微差一點的學校但是那個學校有一個競賽班然後我感覺這個競賽班按照現在的話說就是underdog用当时的话说我感觉就是光脚的不怕穿鞋的我觉得可以一搞所以就就其实当时那个那时候就是那时候上海还有就是所谓的退优生的制度就是你可以在考试之前就去和某一学校签约然后你就提前预定学校的名额然后就直接去去他们那儿然后就很自然去了然后去搞了竞赛高中对然后所以你其实是在上海四校的普通班里面和这个革职中学的竞赛班里面义无反顾的选选了革职中学的竞赛班呃当然我也不能我不能说我做选择的时候这个上最好的四个高中是那么板上钉钉的事儿虽然后来的分确实够了但是那时候还没有中考那时候还没中考呢对对但是当时就觉得就算能上我也应该去一个Underdog的地方赌一把为什么因为想干这个事啊你想干竞赛的目的是什么我觉得当时最主要的事是想体验我觉得没干过一定要找机会干一下为什么一定要干一下这个第一就是覺得他確實男吧就是確實有一種對男的興奮感就是確實至少當時沒搞的時候大家給我的印象就是感覺這個事比你不搞竞赛学的那些东西要有挑战性的多了嗯你觉得干这个事的人确实强不干你也就只是这个平庸石头里最光滑的那一个啊所以我当时觉得要干当然所以就去干了当然干了之后也实际上带来一些好处就是我后来回想起来如果当时没去搞竞赛可能就进不了清华了哦你是不是有加分还是什么當時其實那個競賽的保送生制度已經比較銳減了就只有進國家集訓隊才能保送我那高中反正我覺得我當時是沒進國家集訓隊這個水平的所以就別說了但是呢就是我在考高三競賽之前陰差陽錯的去清華參加了一個夏令營然後陰差陽錯的在夏令營的最後一天聽說了他們在搞自我招生但是主要是面向北京的學生我就瘋狂給招生辦的老師發短信說我要跟他們一塊考他答應了然後他就答應了我們去考你們還是你就是答應了我們高中一塊去的那幾個人去考就上海去夏令營的那幾個高中同學去考你有什么理由说服他你给他发短信我已经忘了短信具体怎么说了但这个短信大概说的意思就是你给北京的同学考为什么不给上海的考理直气壮你当时觉得他们开后门是吗我也不是觉得他们开后门就是觉得人家有这个机会凭什么不给我们大家都在一条线上竞竞争嘛就是你们当时同学然后所以就就发了这个信息然后还人家就真让我去考了几个人我记不太清楚可能有上海去那个考场里可能有七八个人的样子是你发那个短信可能别的高中也有别的学员发但我们高中是我发的哦就是都是上海高中去北京参加夏令营的同学然后就让我们去考然后就签了这么好说话对所以我从那件事得到的人生最重要的道理就是胆子要大你不争取是永远得不到争取了也有可能得不到但不争取就绝对得不到你当时发那个短信的时候忐忑吗你当时还高中我已经不记得了当然觉得自己这是个很大胆的事吗还是还好我当时满脑子想的都是现在就得争取再不争取明天就争取不到就當天就發了就是我在聽說的那天就趕緊去瘋狂發短信瘋狂發給誰清華招生辦的老師就發給了一個人還是多個人我記得了應該是一個老師他很快回了嗎嗯我覺得清華就sayyes了我不知道他們自己有沒有討論了但是反正最後是說了是同意那就一起考試了對所以我为什么我感觉我一直对新华还是挺有感情就我感觉这个学校是是愿意给大家提供机会给大家提供评论机会对你那个考试考得怎么样我当时出来的时候觉得考挺崩的因为有半道题没做出来但是我后来发现别人没做出来更多就果然就着了对对你们那一波上海同学见了几个好像两个自主招生是减分还是什么是降到一本线降到一本线对哦然后你高考考得好吗后来高考果然没考到清华的分啊但是就是除了清北之外的学校都能上哦所以为什么网上都嫌你是保送的我觉得就是大家沒在那幾年上過學的人很難理解清楚那幾年到底發生了什麼因為在我的兩屆之前還是拿了省一等獎就能保送的拿了省一等獎就能保送你們那時候呢我們那時候就是拿了省一等獎進了省隊然後再代表省隊去考國家的比賽然後進了國家集訓隊才能保送我是進了省隊去考的國家比賽但我沒考進國家集訓隊所以說我那屆我是沒有保送省名額的你搞竞赛搞得好吗我觉得挺菜的就是难道不是没有干到最好就是很菜吗然后显然没有干到最好所以就是很菜你家里人对你搞竞赛这个事情是什么态度我觉得我爸妈最好的一点就是他们不太管我他们可能曾经也是都管过我后来发现管不住哦怎么管不住就是我也不听他们的哦哦我觉得可能大多数中国家庭都是孩子和父母商量已经算是很好的了我一般都是通知通知了啥通知哦我去自主招生了哦然后包括中高考填志愿也是我我爸妈甚至可能都没见过我志愿单哦他们比较服我是吗他们我觉得就是当你没有办法理解别人在干什么的时候别指手画脚就是最好我觉得我爸爸这个道理懂得很好那你是比较叛逆是吗我觉得我是比较我因为我觉得我个性是我很care我想做的事如果这件事是我自己想明白了要去做你就别拦我然后我也一定会尽最大的努力做到最好但如果这个事我不想干逼我干也没用我也不会干你的胜负欲强吗挺强的哦对但我觉得我更多的是在跟自己较劲吧不是不太不太愿意和别人较劲哦当然就是如果happen就是如果正好是我觉得这事很重要你也觉得这事很重要那我肯定是要干的比你好好那你到了清華就更省了去學了量子物理為啥呀對我當時做那個尼泰理論然後為什麼選這個專業因差陽錯現在回過頭來說當然能編造出一些聽起來很合理的理由但是摸著良心回到當初我覺得就是因差陽錯就是當時我們在機科班然後機科班有一個非常好的傳統就是首先機科班它雖然在物理系但它不限制學生幹什麼所以機科班實際上三分之二的學生都不會做物理你為什麼會進這個班當時清華的物理系全都是機科班現在可能不是了但是當時是然後它另外一個好的傳統是它鼓勵學生在實踐中學習所以它鼓勵學生儘早地去進到科研的實驗室裡去然后去和在科研中中学习然后我当时想很想做理论然后你会觉得这个难吗感觉就是你对难有一种着迷可能也是一种病之后可以再讲讲这个这个病带来的不良后果是什么对然后然后那个对然后我就想搞理论然后呃当然机科班或者我们叫学堂班有一个更小一点班然后那个呃老师就推荐说哎高等研究院是个很好的地方清华高等研究院就是杨振宁先生呃创立的那个研究院是个很好的地方完了我就去那找老师然后正好有一個那時候還很年輕的老師叫王忠是我本科的老師那時候他也沒幾個學生然後我倆就聊我當然啥也不懂但他也挺耐心他還給了我一些這個paper讓我去讀然後讀完我就跟他討論後來又發現虐待理論尤其當時做的那個方案就是跟頭部絕緣體然後這些比較相關的方向其實是一個很適合本科生上手的方向就是他需要的背景知識不太多他只需要你可能懂最最基本的就是你得會量子力學會統計力學會過去物理就是非常非常容易學的基礎知識但是他可能很考驗你對這些知識理解的深度所以对本科生来说其实是一个特别好的方向就是你能够很快的上手去做一些实际的项目然后我们就一块做了一些工作其中有可能在开放量子体系里面的那个工作现在看来还是一个挺重要的工作对然后从某种意义上来说我觉得现在回头来看做那个工作做那段时间的科研其实和现在做AI特别特别像其实它更多的是你有一个想法你有一个理解然后你可以在那个阶段就是你可以做一个数值的实验去验证你这个想法和理解是不是对的你发现AI其实也是一样AI也是你有一个想法你有一个理解你去设计一些实验验证你的理解是不是对的然后你设计一些模型上的训练的这个Pipeline来把你的你的想法实施出来对所以其实这两个是很像嗯你能不能講一下你這個非惡米系統的研究可以講我盡量說人話但是也有可能實際上說了鬼話所以要是不想聽的人可以跳過劃一下鏡子條劃一下鏡子條到時候可以在鏡子條上設置兩個戳對非惡米系統是這樣量子力学一个最基本的假设是一个孤立系统它的演化被幺正演化所描述腰震演化是個鬼話對不起腰震演化的意思就是它是一個線性的過程然後這個線性過程它可以被一個算子叫做哈密頓量來描述哈密頓量從某種意義上來說它有點像這個體系的能量但不完全是就是有點類似於所以它決定了這個體系隨著時間的演化然後如果是一個孤立系統的話這個哈密頓量會是一個厄米的矩陣厄米的矩陣就是你轉制一下然後做一下共餓它和原來是一樣但是呢真实系统绝大多数都不是孤立系统比如说你我作为人肯定要和外界有信息交互有物质的交互材料也是一样就是你一块材料放在那除非你抽特别特别真空的你总得和城里有交互你得和外界环境有交换所以真实体系绝大多数时候都不是孤立系统然后孤立系统它就不会被一个腰震的过程去描述然後它所對應的哈密頓量也不會是一個厄米的哈密頓量就是這個非厄米這個詞的來源它本質上是為了研究開放量子系統就和外界有交換的量子系統它的行為然後當時發現一個很困惑的事是我們一開始是試圖研究這個開放量子系統裡的一些拓撲現象然後就發現首算出來的這個理論的結果和數值子活也對不上然後更確切的說就是手算這個結果是假設了這個體系是一個周期的邊界條件比如它在一個環上或者在一個這輪胎的表面上然後數值的話就會因為就和實際的情況比較類似嘛它就會算一個開放邊界的比如說一個方塊這個材料上的行為就發現這兩個結果死活也對不上然後就試圖理解這個事後來就發現大家過去用來描述惡米系統的一個基本的範式就是所謂的這個布羅赫波就假設物體的本正態都是一些波的線性組合這個sorry一些正弦預先波這種波的線性組合這個假設其實在非惡米系統裡面會breakdown就是會變成錯的实时情况就是后来我们就发现在非厄米系统里其实它的这些能量的本质态都会有可能会聚集到这个体系的一边一边去对然后我们就系统的建立了这套描述的方法然后就是建立一套体系去描述一个开放边界的非厄米系统它的本质态该怎么去描述进而描述它的一些随时间演化和一些动力学所以呃这个是当时这份这个这个工作然后后来就有很多呃因为因为他其实是一个一个范式上的更新嘛所以后来就有很多呃很多followup的工作但是后来其实我换方向了所以就没有太在这个方向继续做了你为什么不也让他做很难抓住一次范式的变化呢是不是很难抓住一次饭食的变化是的是呢这就是人性的弱点就是我感觉我总爱挑战一些自己不会的事儿哈哈哈哈尤其当时就我不知道我当时的感觉是在那个方向可能那个工作从再过几年回头来看就会是这个方案最重要的工作后面你再去做一些工作可能确实会让你更有名获得更多的引用写更多好的期刊的文章找到一个好的教职但是感觉作为一个科学生来说就没那么令人激动了所以我当时就想换个东西做换一个自己不太会的东西做对然后所以就读博士的时候就换了一个方向去做高能理论高能理论对高能理论物理对哦所以你本科和博士也是不一样的也是不一样的还不是从物理跳到AI其实你本科和博士看起来都是物理其实也方向也已经发生了很大的变化对是两个几乎没有任何联系的方向哦你这个很很神奇还包括你选竞赛去那个格致中学也很神奇对这是你的什么人性我觉得就是说难听的就是爱折磨自己说好听的是挑战自己被折磨开心吗我觉得如果为了被折磨而被折磨那这个人就是有心理疾病但是如果一个人是为了学习更多的东西丰富自己的精力和能力而被折磨我觉得是值得的嗯你本科那个老师王忠老师也是个underdog是吧算吗不算人家做的挺好的怎么可以这样说他在那个时候你跟刚才说还是很年轻吗没有没有他他很年轻但是他我对他的印象一直都是他是一个很sharp的人就是很能能看问题试图理解问题理解很清楚的人確實可能不像很多老師那樣是就是很有名氣在社會上或者很光彩獨木至少那個時候不是現在已經很有名氣了那時候還沒有那麼有名氣但是我覺得從能力上來說我覺得他是很強的對然後其實他一開始是他讀博士的時候是和那個守成老師張守成老師學習所以說能被守成老師挑中的人基本都不會太差嗯他对于你博士换方向说过什么吗没说过什么我觉得他是一个他是一个不爱干涉别人的人哈哈哈我不知道他内心是怎么想的但是我觉得他是一个不爱干涉别人的人哎量子物理整个是一个什么样的世界观他跟嗯我觉得最大的区别就是和经典物理有很多很多不一样的地方他们两个是一个对应的概念是吧经典物理和量子物理它俩是一个在不同能量和时间或者空间尺度下的理论就是说本质上我们这个世界都是量子的当然就我们现在也不知道比更小的尺度上会是什么对吧就更小的尺度上有很多不一样的想法比如说玄论是一个想法然后可能其他想法因为全量子也是个想法之类的对但那些都没有办法验证被验证了小尺度上的有效理论就是量子如意最小的尺寸就是被實驗上能夠驗證的最小尺寸的有效理論就是量子當然這裡面包括量子力學和量子潮論然後經典物理是當你所看的這個空間尺度和比較大的時候這個量子物理會慢慢退化成經典物理所以說它更多的是在不同尺度下的不同的有效理論這個事其實在物理上是一個很深刻的想法就是所謂的重創化群風化學說的事就是說在描述一個體系的理論在不同的能量尺度下可能看起來是完全不一樣然後哪怕他們可能從根源上來說都是一個大一統理論當然現在沒有什麼真正的大一統理論了如果存在的話他們哪怕在根源上同一個根但是他們在不同尺度上可能看起來也是完全不一樣所以經典物理和量子物理更多是兩個不同尺度下的描述講到量子物理有幾個詞好像是相關的比如說蝴蝶效應比如說量子糾纏能不能講這些我覺得這個可能是大家能聽得懂的然後我也不懂物理大家不要罵我我也不懂量子物理对我觉得量子纠缠确实是一个大家比较耳熟能详的量子物理比较独特的事情量子纠缠就是很简单的就是说我有两个粒子比如说它属于一个纠缠态然后我可能它们实际上相隔很远但实际上我可能对其中一个做一些测量或者围绕它也会影响到另外一个的状态这个是真实存在的什么样的会有量子纠缠什么样两个物体有很多就是有很多实际的情况就是实际上当当你足够看得足够足够细足够足够微观的时候绝大多数的粒子可能都处于纠缠态但是实际上来说你可以比如说制造一个自旋和另外一个自旋你先把它俩靠在一块然后把它探索到一个纠缠态上然后你可以把其中一个拉得很远它俩就成了一个就是一个距离很远的纠缠态然后甚至好像我记得几年以前还有人专门去做就是把一个细菌和一个什么东西然后置备在一个量子纠缠态里什么叫置备在一个量子纠缠态里这个是可以人为操作的这是一个可以人为操作的为什么怎么操作一般来说就是通过一些测量和演化算幅的作用能够把它置备到这个状态上但是这里面难的其实是实验上怎么实现这个过程就是你可以想象就是说你做一些量子测量和一些和一些所谓的量子门的操作其实是比较难的因为你还因为就又回到刚才那种就是每一个体系它其实都不是孤立的你可能这两个自旋你觉得我这么准备一下他就知道到结果状态了嘛那我再把他拉开不就完了但是实际的问题是这两个粒子其实活在我们这个世界里會不斷有別的粒子撞他一下或者外面的熱量挨著撞他一下他一下就狀態就沒有所以難的是怎麼具體實際上去實施這個過程對然後糾纏的另外一個粒子可能更老實說能像我其實應該提那個粒子就是薛定諤的貓薛定諤的貓對那就是一個更老實說能像的粒子就是說它的狀態其實是疊加了這個某一個放射源發出粒子和貓死了這是一個狀態另外一个状态是放射源没有放出粒子猫活着这两个东西的叠加状态其实比如说你去测量一下那个放射源发现放射源放出粒子你就知道猫死了不管猫还在放射源里离多远对所以那是这是纠缠但是蝴蝶效应是一个是一个另外的事然后蝴蝶效应这个事蝴蝶效應就是耳熟能詳的部分其實反而是經典物理其實大家經典物理聽到的蝴蝶效應就是那個著名例子就是什麼可能南美洲一個蝴蝶撲冷一下翅膀半個月之後什麼北美洲掛了個颱風但是它從更數學的表述來說它就是說在時間起始的時候你如果做一個很小的擾動然后你去测量这个扰动产生的影响在未来有多大你会发现这个扰动的变化是指数级变大的对这是他数学上对经典的蝴蝶效应的一个描述但是之前大家比较费解的一件事就是这个事情在量子体系里怎么可能存在因为量子体系刚刚说了就孤立量子体系是一个腰震影它是一个很线性的过程所以说从某种意义上来说就是你如果一個狀態就是一個矢量和另外一個矢量開始的時候夾角不太大那經過一些演化之後這個夾角應該不會變然後所以怎麼會存在這種就是初始狀態變得離的差別很小在未來變得就是指數就變大了好像在量子力學上看是不太可能實現的事但剛才又說了其實我們的世界是在微觀是量子然後在宏觀就變成精煉了那它倆一脈相承怎麼可能這有那沒有這是大家都理解的事當然這個後來大家就有一些更好的理解就是說其實你討論這個量子裡面的宏光效應的時候不應該討論兩個態之間的這個變化而是應該討論一些所謂的localobservable就是局域的觀測量的變化那個其實是對應了經典物理的你看到的那些變化那你读了四年的量子物理以后你当时在想什么你觉得物理对你的帮助是什么在你大四要毕业的时候我觉得本科期间读物理最大的帮助就是第一想问题要想清楚就是读书不在于读的多而在于读的深你读的多不代表你能够发现新的东西但如果你对一件事有和别人不一样的见解那个才是对这个社会来说更有价值的事这一件事然后另外一件事就是别太相信理论别太相信纯理论因为都说这个结论了因为当时那个事发现的主要原因还是因为能做数值就一开始是因为数值和理论对不上才仔细的研究那个问题然后发现了这个事对那你博士为什么去读了高能物理也是一个理论啊对就回到了刚才这个话题就是总爱挑战很难的事有时候也是会带来一些不好的结果的什么不好的结果比如我就感觉我觉得我这个博士就是对我自己来说学到了很多东西成长很大但是于这个世界来说没有产生什么贡献高能理论这个方案就是足够难非常非常难然后嗯但他不好的事情在于他其实不是特别可以验证嗯没有什么客观的评价标准因为呃高端理论已经发展到了就是呃实验完全追不上的这个阶段实验完全追不上你在理论讨论那些不管是能量尺度还是还是这种微观的尺度对所以说他是怎么进步的呀他的进步依赖于什么呀如果不是实验呃一个进步的来源是来自于数学上的自洽性就比如说你提出一个框架来描述这些事情那你能和现有的已经被验证的更低能标下的理论相自洽就比如说你研究弦论那可能自然大家问题就是弦论能不能在低能情况下回到量子炒作再回到近代物理那这个自洽性是一个判定方法我觉得这个是很合理的就是很科学的一件事当然也有一些不科学的因素就是当这个领域完全没有实验没有客观标准的时候肯定不会只有一个框架出现肯定不会只有一个字下的框架出现这个时候谁做的好谁做的不好其实就依赖于领域内一些老灯的主观判断你是被谁伤害了是吗我也没有被谁伤害只是我在那个领域待时间越长就越觉得这件事蠢就是人这一辈子也没多长为什么要把自己的时间浪费在伺候老登身上对所以感觉是花了五年学了很多知识买了一个大教训这个教训是這個大教訓就是要做有比較客觀評價標準的事或者從另一個角度來說就是要做對這個世界能夠產生影響的事所以其實你本科還是比較順利的對吧在量子物理這個研究領域很快你很快就有了非常好的學術成果而且是範世紀的變化但是你很快覺得沒有新力了所以你想找博士去挑戰一個更難的事情然後在博士期間其實是比較落寞的至少從結果來說是這樣的外界看不出來外界看都是非常光鮮的旅店博士在Stanford對我覺得從實際的科研闡述來說我觉得没有人会说我博士今天的文章不好但是摸着良心说对这个世界有多大的影响我觉得几乎没有影响几乎为零对所以对我自己来说我自己很不满意的但是我觉得确实也没有不满意到说我会担心有人说我在混日子确实也没在混日子就是你还是能达到所有的外界标准的对这是怎么做到的呢? 这还真的是很多事情冷暖自知对吧? 我觉得达到外界的标准或者达到一个小的圈子的评价标准是像训练模型一样就是一旦有了这么一个小的圈子你知道他们的评价标准之后做得好是很容易的但是就是其实你哪怕不认可这个标准你是可以达到的但是你还是知道你是不认可的因为有时候你哪怕不认可你达到了我也可以蒙蔽自己就继续往前走但我后来就发现我蒙蔽不了自己骗不了自己是哪一年发现的我觉得可能从博士最后的两年吧就会有这样的感觉但是那时候确实也没有想好没有想清楚如果不做这个该去做什么那可能就花一些时间去了解一些不一样的方向比如说一开始我可能更多的是去了解是量子计算或者量子信息这样的方向然后拿了postdocoffer就是博后的offer之后感觉这个事更晋级了因为离开在学校里的时候你还可以一个学生的心态离开学校之后就是自己的career你得给自己找一条路那当时就是觉得可能量子计算和AI是两条我觉得给年轻人给小灯的机会比较多的对哦所以你博士后的方向是啥薄厚沒有方向薄厚其實就是理論物理這個方向薄厚是一個很獨立的職位就是你自己想幹啥就幹啥他更多的是从某种意义上说有点像搞慈善谁搞慈善啊就是有一些可能不管是在意科研的国家组织还是个人组织他可以给学校捐一笔钱或者给学校批一笔钱然后学校用这笔钱来招一些国之后在一个系里面去做他的研究然后把自己研究广泛地告诉系里的别的人觉得他更多的是一种一种社会氛围的这种工作然后所以其实没什么限制就是你其实想干什么就干什么但是我其实也没做多长时间的博客我实际可能到博客里待了两三个月但官方来说就只待了两个星期官方来说是什么我其实在入职之前已经去那了因为我反正人就在班区嘛我就入职之前就去那了但是我入职之后其实只待了两个星期就辞职了这两个星期发生了什么鄭亞欣啥也沒發生我本來都不準備入職的但是伯克利人就是太好沒事就是等事情定了再說能來多久就來多久你告訴他們你其實在跟Anthropic談對我告訴他們其實我覺得我可能會去做AI了我要不就別入職了但是伯克利不止伯克利我覺得就是灣區這兩個學校的老師都人很好他很照顧你他就覺得你還沒有完全談定那還是先把現在的工作先拿著哦你觉得物理对你后来做AI有什么帮助吗嗯我觉得硬实力上其实没什么帮助就是呃从工具性的技能上来说其实从物理到AI的呃的转化是非常非常少的但是我觉得可能非要问的话我觉得可能主要的主要的不能说能力吧就是性格吧可能是可能做物理人会更想刨根问底更想理解一个事儿然后更想做事很系统因为我们习惯那种很系统性的不管是做实验的方式还是做理论的方式所以觉得这个可能是一个比较好的地方但是我也不觉得这个事儿是做物理人独特的就是为什么做计算机的人没有这个特性我觉得我认识很多做计算机的人也有这个特性那很多做学化学的人也有这个特性学生物也有这个特性所以我也不觉得它是做物理独特的对但事实上就是可能比较有趣就是这个领域里面确实有很多尤其就是语言模型这种比较就是LargeScale的这种AI确实有很多物理出身的人然後做得很成功就現在操作這個公司因為很多人在描述這一代AI的時候都會說是黑盒你能用科學的角度來理解一下這個黑盒嗎就人工智能的運作我覺得這世界上所有東西都是黑盒就是哪怕像物理這種大家覺得很理解的東西其實也並不是真的有一個從他微觀的行為一路演化到了宏觀體現的這種理解像不管是剛才說的量子力學還是量場論其實都是描述那個能標下的行為本質上這個系統還是一個黑客你還是不知道他最微觀的地方是什麼樣的動力學AI也是一樣就是黑客不黑客其實都是一個相對的事我們確實對語言模型沒有理解到神经科学手术刀级别就是不是说我理解这个行为能理解到说这个行为是由于哪一个neuron哪一个人工神经元的哪一个激发产生的这个行为没有不会有这个没有到这个层面理解除非就是在一些很很稀疏很小的这个网络里面就是像Zobey有这个所谓的interoperability就可解释性团队他们可能会做一些类似的工作但是在实际能够使用的语言模型里都没有达到这样的理解但是也不代表我完全没有理解比如说skinlaw它就是一个描述了那个尺度下模型随着模型大小和数据是怎么在propensity就是这个指标下变得越来越好所以你说是完全没有理解吗那如果说skinlaw不算是理解的一个小部分的话那是不是我们也说我们其实对这个世界也完全不理解这个世界也是一个完全黑盒所以skinlaw是一种科学规律它是一種經驗規律經驗規律對但是經驗規律和科學規律它之間的界限是很模糊的比如說我們回頭去看這種熱力學的各種不一樣的定律第一定律第二定律什麼克拉伯隆方程序這些東西在當年被發現的時候也都是經驗規律但是只是說後來隨著時間的發展我們慢慢知道了它的微觀機制那它可能變成了一個科學規律对我觉得可能像scanout或者类似的这样的东西它目前肯定还是很惊艳的但是未来当技术它变得比较固定然后大家开始越来越多的理解它微观的过程的时候会不会变成一个科学规律如果这个定义是存在的话我觉得是有可能的对能不能用科学的表达来解释一下所谓的智能涌现首先這個話就不太科學所以自然也沒有辦法用科學的話來表達一個不科學的事智能有限嗎對就是我覺得智能有限對我來說它更多的是一種主觀的感覺而不是一種客觀現象當很多人說智能有限的時候他腦子裡想的可能是以前的语言模型只能做某一个方向的事比如只能翻译只能做分析只能做什么但现在模型好像可以做所有的事但是这个事Again我觉得像是对我来说它更多的是一个技术上的涌现而不是一个行为上的涌现主要是我们通过研究发现了该怎么去做这种大规模的训练然后能够水平的提升所有能力我觉得这个是一个更本质的事儿至于智能涌现这个事儿其实我觉得每个人可能心里的定义都不太一样对你的定义是呃,对我来说就是没定义,对我来说这个唯一致的区别就是有没有发现发生一个技术上的改变,使得我们可以做skillup,可以水平的提升所有的能力,这个对我来说是一个是一个良好定义的事。
- [109:35]
你最后是在量子计算和AI之间选择了AI,这个是怎么发生的变化? 对我觉得还是花了一些时间去了解两个方向的瓶颈在哪我觉得好处是他们都给年轻人机会好处是都有机会但是量子计算对你来说好像是离你的主线更近一些在那个时候对不对这就是为什么要去了解一下细节因为了解细节之后发现不是的是反过来的因为量子计算我觉得它现在的主要瓶颈其实在实验上并不是你怎么去设计那些算法或者设计那些算子更多的是你怎么在实验上实现它那个事反而是我不擅长反而是和我过去很多我有兴趣的事其实是比较不相关的然后反而跟我相关的事是更我想AI就刚才说的就是AI其实更多的是你有一个想法然后你可以用一些数值去验证这个数值在AI里面可能就是训练一个模型或者怎么样对然后这个反而和做物理很像他甚至是就是為什麼我之前一直愛把這個和18世紀的這個物理學做做比較就是他熱力學對更像那個時代的物理就是那個時代就理論和實驗不分家沒有什麼理論物理學家實驗物理學家你就是搞物理就是搞物理你自己可以做實驗然後也可以做理論推測我覺得AI就有點像那個時代所以其實從理論物理跨越到實驗物理的距離比你直接跨到AI要遠要遠其實要遠而且從興趣上來說也更遠你不喜歡實驗物理你不喜歡做實驗我覺得確實不是我的興趣所在雖然我自己不願意做但是我確實很有興趣知道別人的實驗做得怎麼樣不用做實驗嗎用但是它是更多是像述职对它不太像那个就是你实验室去搭一个光学平台然后什么你还我觉得实验真的是一个就可能因为是我不懂我没有达到那个境界所以有些事在我看来挺玄妙的比如说就是大家都知道这个光学平台怎么搭但有的人就能给你搭出来有的人就是耗了6年都没搭出来这个是动手能力我就是沒搞明白啊我有時候覺得真是有點玄妙所以還是數值實驗要清晰很多對我來說做數值實驗或者像AI就是訓練模型啊然後研究各種不一樣的技巧看某些細節這些事對我來說反而是我能想明白他為什麼要這麼幹但是在搭台子這個事上我就是一頭霧水你做過什麼我當然就是大家可能都做過基本的就讀物理的人肯定都做過基本的實驗培訓但是更多的就是有很多做實驗的朋友然後不管去看他們的實驗室然後看他們怎麼做實驗的還是跟他們聊這些怎麼設計實驗我就感覺很多事我其實不太能夠理解但是他們確實有的人就是做得好有的人做的就是不好所以你說現在從事AI研究像17世紀熱力學研究其實在表達雖然大家沒有辦法很清晰的從科學上去解釋和理解這個事情但是它並不會阻止它的發展對就是它更像是在為什麼比較那個時代熱力學就是那個時代大家其實不理解什麼是熱的微觀理論大家不知道熱是什麼東西就像現在不能理解对就像现在大家不能理解这个languagemodel里面哪一个矩阵元是在干什么其实大家也不理解但是不妨碍你有一些好的经验定律比如热力学的各种定律和现在的各种skilllaw所以说从这个角度来说是是就从这个方向的角度来说是这个层面上来说它是类似的然后从研究人员的角度来说就是刚才说的另外一个问题就是他的理论和实验期不太分家对那你是怎么去面试Unthropiqued这个Unthropiqued的历程是怎么展开的我覺得其實主要還是因為有前同事在安桑菲克前同事對就是安桑菲克其實有很多做物理學的人尤其是做理論物理學的人為什麼呀他們從人的選擇上為什麼會選擇這一撥人我覺得當然就是很多很多人可能会找一些原因说做物理的人擅长这个或者擅长那个但是就我个人的视角来看我觉得主要的原因还是connection就是联系就是因为Isobel的创始团队里面当时有三四个比较技术的人然后其中有两个现在还很在技术一线领导的人他们俩都是做物理出身的然后他们可能招的一些人也是走物里出身的所以就这样一直延续下来但其实到了现在这个就在我之后其实也几乎没怎么再招完全没有AI背景的人了对所以说也是一个我觉得也是一个时代的产物对然后我反正是当时我决定去做AI了所以我就就试图去联系一些地方然后你只找了Dropkick吗? 没有,我还找了OpenAI和GDM,就GoogleDemand,但GoogleDemand因为它那时候速度太慢了,所以就最后没有出现在考虑的范围内,但是速度太慢了是指他们面试的速度慢? 但是後來顯然後來詹姆乃這個事就獲得了成足的提升後來動手就非常快然後Anthropy就是OpenEye呢OpenEye也聯繫了但是OpenEye可能沒有找到特別合適的人Enthopia是因为我当时联系了后来就是我的第一任那个manager,我第一任经理然后他以前也是做这个理论物理的然后他当时就说我们在尝试做强化学习尝试做这种大规模强化学习有很多科学问题要去理解那個時候24年8、9月的時候那個時候其實喬化學家還沒有像現在這麼成熟那個時候大多數人其實都不知道怎麼做因為O1其實還沒發佈呢O1只是快發了對就是只是大家都知道有但是大家都還沒看到結果但Andropic當時其實不知道怎麼做的當時是大體上知道但是有很多細節需要仔細去研究然后所以他就跟我说哎有这么一个事儿你要不要来面试一下然后我觉得他觉得哎可能是一个好的机会你当时怎么认知强化学习啊没认知啊你大概知道pretrainingposttraining我大概知道這個流程但我其實不太知道具體的這種工業級別的語言模型是怎麼訓練的只能知道就是像學術界是怎麼訓練的然後所以其實現在談那時候的認知其實在我現在看來就是沒有認知然後更多的還是我当时觉得这个事是一个不确定的事然后是一个好的机会所以我就去干了当然也有些面试的准备和面试的过程怎么准备的聊啥跟谁面呢后来我的一些同事当时面的面试题也不太难反正对但是对我来说我也我当时也不知道怎么准备然后我就去把我能找到的那些课自己能学的学了一遍然后能做的作业做了一遍然后自己手搓了一套就是那个AndroidCapacity他有一个著名的那个项目叫好像叫NanoGPT还叫什么反正就是他有一个可以在一个Google这个Collabnotebook里面就能训练一个很小的GPT模型然后我就手搓了一下那个然后就去面了对然后很快拿到了offer然后就对然后就拿到offer然后你第一个方向就是大规模的强化学习当时其实是有两个组来两个组的manager来跟我聊一个是做evaluation就是模型评测然后另外一个是做强化学习然后我是选择了强化学习你当然选择强化学习是因为它更加的不明朗对然后那个时候其实Azure也不像现在是一个大公司了那时候公司其实也很小当然我去的时候我们的那个大的team才只有十个人左右不是十个人或者十一个人大team叫什么叫Horizon对然后那个时候那个大team也就大team的平行team有什么那個大題目其實後來幾乎就是強化學習的方方面面都在這個題目所以他的整個大組就是一個強化學習整個大組首先这个创业公司你也很难说这个组的目标是什么因为他可能曾经也有过很多不一样的目标但只是那个阶段可能主要的目标是做强化学习对然后当然底下也有做更呃更数据的组更做环境和和infra和基础设施的组也有更做这种呃research和和算法的组然后我去的那个组是比较偏research和算法的组嗯那种ontopic多少人呃那个时候可能七八百的样子吧总共但是对是整个的公司七八百对你一进去对这家公司的印象是什么呢我觉得我觉得我对养消费的印象其实还是挺挺consistent的就是我觉得进去之后我觉得公司的印象就是执行力非常强就是他他其实是一个比较淘不到的公司对然后所以很多事情决定了之后就会全力去做然后呃公司其实呃员工之间的的氛围也很好就大家都呃不会藏着掖着然后尤其刚去的时候很小嘛所以就是大家都认识所以就氛围很好然后呃我觉得如果是做只是做语言模型相关的事的话其实现在回头来看那是一个非常非常好的学习机会就是你能够接触到这个模型训练的方方面面然后都能找到对应的人去问对那个时候的anthropic已经有了现在我们都知道他那个非常坚定的bet了吗有的有的这个bet来自于哪里为什么会有这个bet嗯我不知道它完全的来源在哪我自己能看到的一个显然的来源就是前一代模型Cloud3放了之后推特上那时候可能还没叫X呢推特上有很多人在讨论说那个Cloud3好像写code比GPD4强哦那个年代GDP4还是一个和大家概括很大的模型所以你能有一件重要的事比GDP4强就很厉害了所以是试出来的我觉得至少是其中一个原因就是试很快地对这个市场做了反馈这也是我觉得这个公司很强的一点就是它exclusion执行力非常非常强一旦给他一个信号让他觉得是很reasonable这公司该做的事那就会铺上去他没有那些呃大组织那种荣誉嗯对为什么他的coding会比GBT色要好不能说哈哈哈哈哦是有原因的是有原因是有原因的对但是是个随机的原因不是一个我我这么选择所以有了这个结果的原因是一个纯技术原因但是確實我不能確定一開始是隨機試著的還是故意選擇的你要讓我猜我肯定會覺得是隨機試著的哦純技術的原因是有某個人做了某個事情是確實有某一個團隊做了某個事情是自上而下的還是自下而上的我覺得最開始可能是最自下而上的但是後來就變成了一個自上而下的事就是要快速捕捉到一些市場的就是內部和市場的信號然後要趕快要鋪上去對我覺得這閃遭是非常非常強的一點他非常非常的反應非常快現在執行力來自於哪裡來自於Daryl這個人來自於他的某種特質我感覺就是Antarctica作為一個公司來說它能夠實行這種比較topdown的機制是一個很獨特的事因為實行topdown其實有一個很難的點就是你做技術的決策人必須也得是公司本身的決策人首先就是你技术上得能服众那下面的研究员才会你才能够就是信服下面的研究员去做这个事另一方面就是你得是公司的决策人你得能为这个公司负这个责任赵薇有这个条件就是说她的技术上的leader的领导人其实是公司的口风的是,你指的是誰? 不是達瑞爾?
- [123:32]
呃,就是傑瓦爾·卡普蘭和賽姆啊然後像他們倆就是公司口方的然後他們自己做這個決定那是人家的公司所以他有權利做這套不當的事那達瑞爾作為CEO他會sayyes和no嗎? 我不知道他們決策層的討論裡面達瑞爾起到了什麼樣的作用我只能說就技術leader是有決定權的我只能说对我当时的工作来说我接触的最多的就是这方面的可是这对于其他模型公司很难吗很难比如说OpenAI就干不了伊利亚在的时候难道不行吗伊利亚在的时候有可能可以但是伊利亚后来一方面我也不知道因为什么原因他好像就是失去了这个做决策的能力然后就走了所以就其他公司呢其他公司我觉得都比较难就是Gemini也比较难但是我觉得Gemini就是另外一套打法不太一样就是说我觉得就是打公司和startup它打法本来就不一样因为startup重要的是makebet就是我得赌一件事我如果想要赌就意味着有风险所以就意味着我能够去很快地做一些决策然后很强力地推进一些决策那可能在这种情况下淘汰我觉得是一个很有优势的事所以我觉得淘汰从组织上来说是比欧派更有优势但是作为大公司来说可能就是另外一套想法因为大公司的想法可能是我不仅能尽量减少做赌的成分而是我能在方方面面都有储备然后任何一个事成了我都能跟上然后如果有事我自己做成了我可能还能领先这可能大公司的形态所以说在GeminiGoogle是一个很传统的就很bottomup的组织就是公司层面可能有一些比较良好定义的框架来看你的工作是好是坏来引导你做一些公司需要的事但是本质上还是你自己来决定自己做事所以你覺得Andropic能makebest是因為它的獨特的文化組織和文化對這個聽起來其實應該是其他公司也能做的但是卻非常奇怪的發現其他公司很難做而Andropic可以做到對我覺得還是需要技術的或者公司的leader有公信力吧這個其實挺難的我覺得你说的还不是CEO有公信力是技术的一号位有公信力对我对我来说我觉得技术的一号位有公信力很重要嗯但是与此同时CEO可能没有成为一个阻力对这个难吗呃这个我觉得就得看你这个cofounding的这个team有没有足够的互相信任嗯这个也很关键我觉得Enzobe这点也是在startup也很强啊就是他cofoundingteam没有一个人离开公司他们如果你看他们过去那就是那是一群真正一起打过仗的人就过去他们源自于他们都是以前OpenEye的YouTuber然后像他们甚至好多人都是就是在一系列关键的文章上的合著者因为你像SkinandLaw这个paper是GerardKaplan然后Sam然后当然还有Daryl然后还有一些可能TomBrown也在吧我不太记得TomBrown在不在然后CPT3的paper就是TomBrown在然后BenLyon在然后Gerard和Sam也都在Daryl也都在就他們是一塊趴過戰壕的人我覺得互相之間的信任還是很關鍵有很多公司可能就是幹著幹著連這個小集體都團結不住了那你怎麼能指望這個大公司能團結住呢你在說OpenEye是吧你加入Onthropic公司正在做的最重要的項目是什麼你參與到那個大項目裡面了嗎对当时就是为了能做大尺度的强化学习然后能够用它来提高coding的能力这个就是当时最重要的事然后我们当时做这个组当时的研究的重心就是这个事这也是这个组为什么后来就慢慢变大然后变得越来越重要的原因然后最终带来的结果就是大家一块串了这个3.7Cloud3.7这个模型你说内部叫有一个3.6这个是不是內部交就是外界的cloud3.5其實有兩個版本一個可能是6月的版本另外一個10月版本你也可以看出Ansafet這個公司曾經也是沒啥產品能力的居然管兩個模型叫一個名字所以後來外面人為了區分管那個3.5後面那個版本叫3.6所以Ansafet跟隨著外面人的這個習慣就叫3.6了管這個再新的模型叫做3.7所以就是你去看實際的這個公司的產品時間項其實是3.5、new、3.7怎麼會有一個3.5NEO這個是怎麼想的我只能說那個時候的ISOPIC可能真的是沒有什麼產品上的想法所以你第一個項目是3.7還是3.5NEO3.7還是3.5NEO3.5NEO其實我沒參與幾乎沒參與但是3.5NEO就已經看到了coding的跡象是嗎你剛才剛開始的3.5NEO的時候已經看出ISOPIC的模型在agentcode會比別的模型強了這個是為什麼所以你進去的時候剛好就是他們有他們知道了這件事情就是管理層也知道這個跡象然後他們要makebest的時候你這個運氣很好啊我覺得我覺得對我覺得我進去的時候是大家肯定已經看到這個事能做成且重要但是不太清楚怎麼去把它做成然後我去的時候是跟大家一起去研究怎麼把它做成哦所以方法是大尺度的强化学习对这是从大的角度来说是但是当然就是有很多技术细节是需要去研究的这里面有什么弄好啊有好多NDA的内容呢NDA社会写的这不详细的吗其实原则上来说原则上来说呃员工是不能在在值期间和离职之后透露任何跟公司内部相关的信息的当然实际上来说就是大家可能心里都有一个路就是说呃如果这个技术没有公开的话肯定是不会公开去谈的但是我觉得虽然我不能公开去谈但是我我觉得把简单的事做的比谁都干净是最关键的什么叫干净啊你刚才用过这个词对就是就是我觉得有很多花里胡哨的技巧比如说做墙外学习最简单的algorithm就是policygradient但是不代表这是唯一的algorithm它还有别的算法比如说各种复杂的这种搜索算法之类的东西但是是不是这些复杂性是必须的然后这些复杂性可能给你带来的一些一些efficiency也就是效率上的提升它可能给你带来一些比如说基建infra上的困难那你怎么去tradeoff这些事这些是其实做研究需要去理解的就是怎么去balance这种不同的因素然后选择最好的那条最稳定的那条路对然后我觉得很多的knowhow其实都是在这些细节里面怎么去处理这方方面面细节里面对那那个时候怎么来描述coding很重要呢我觉得他他他认为是大圆模型的一个分支一个重要的分支还是什么呢我觉得每个人可能想法不一样对我来说对我来说他重要原因有二一个原因就是一个原因是阿尔曹贝一直在讲的事就是说coding本身也是做语言模型研究的一部分如果你能够把coding做得很好那可能会让你的研究效率有翻倍的提升就是形成一个研究上的费轮了这是一方面原因对我来说另一方面原因是因为coding其实是模型使用工具和环境交互的一个很好的抽象首先这个抽象刚刚已经说过的就是这个抽象的好处在哪比如说就是回馈信号清晰然后数据充分然后其实你是很难在别的场景下找到能同时有这两个特质的使用工具的场景所以对我来说这是一个好处像在这里面做的一些研究可能是对更通用的那些使用工具和环境交互的能力的一些有用的有用的lesson有用的课嗯那时候Cursor是什么状态啊那时候Cursor还是一个纯产品公司呃我觉得从某种意义上来说好像在我去演奏瑞克之前的那段时间里Cloud和Cursor都属于比较underdog的状态然后somehow在3.5new就是3.6外界的3.6这一代的时候首先是这个模型能力上去了然后Cursor又发现这个模型真的能够做这种AgenticCoding的工具了它就是一个壳对但是这个壳包着一个模型一下子让公众体会到了不是公众就是公众的设计就是软件工程那个圈子当时体会到了哎这事好像是真的是效率工具了所以后来就是这个一下子就起来了所以那个时候Andropi就意识到Cursor是未来的竞争对手那就不知道了该问Dario3.7是怎么做出来的这个是一个分水岭对于Undropping来说是一个分水岭式的模型我觉得对于Unstoppable的后训练来说是一个分水岭就是在3.7之前后训练都是处于一个比较小规模然后可能就是修修补补模型的这种一个状态大家不重视后训练是吗也不是不重视就是一开始大家其实很长时间大家都没有搞明白后训练该怎么scaleup但是在那个阶段不管是OpenActionSofia还是包括像中国的DeepSeek大家意识到了这个事该怎么去scaleup就是你得找到合适的环境这个环境它的回馈信号足够的清晰然后这个环境本身也是一个很强的数据源然后在这个上面其实能让这个训练非常稳定这事就能做成对对我记得那个时候其实大家都不知道OpenEye的保密项目是什么就知道它的草莓叫Strawberry然后大家觉得会带来一个新的范式新的范式就是后续那个强化学习但是更多的就不知道了对其实呃其实我觉得我去AnswerBay的时候大家已经比较清楚这个事大概该怎么做就是大概的这个方向是怎么做然后当然后来就是后来随着我对这个领域知道越来越多之后我就发现其实那个时刻其实OpenAI做的方式和AnswerBay其实还是差别挺大的这么说就是具体这种算法和使用数据的方式其实是不太一样的虽然都叫后训练和强化学习虽然都要这个但是当然就是我觉得那些不是不是本质区别就是就是大的方向来说他们是同一个就是找了一些找一些这种很回归信号非常清楚非常客观然后呃数据本身又比较干净然后对于模型来说是可学习的然后在上面做稳定的强化学习训练大的方向来说都是这个方向但具体实现其实是差别比较大但后来事实也证明就是具体实现其实每家方向都不一样但是都能做成而且當時openmind的目標也不是coding當時我了解到的敘事是說預訓練作為第一個範式已經金礦快挖完了所以我們現在要開啟第二個金礦就是後訓練要強化學習然後來讓skinlaw繼續对我觉得很长时间偶尔还是都是这个想法我不知道他们现在想法有没有变我觉得对我来说我的想法经历过摇摆在三转七那个时代我其实觉得我当时也抱着这个育群恋已经快partyisover这种感觉然后就在你要入职的时候是吗刚入职刚入职然后当时在做这种三亚气相关的这种实验的时候我当时也曾经抱过这个想法但是后来随着了解越来越深我就觉得发现其实还有做的空间的然后预训链它预训链ScalingLaw这个事它也不是告诉你你要一直变大它其实本质上是一个很系统的框架能够告诉你做什么样的事是更有效的对然后所以后来就发现其实还有还有很多做事然而事实情况是后来AnswerBear和Gemini的运行链也一直在不断的进展OpenAI自己卡了很久他現在又重視育訓練了嗎他應該已經重視育訓練挺久了就是最近可能剛有點進展所以育訓練和後訓練作為兩個範式都沒有達到他的那個平台期我覺得都沒有但是你說要去預測到了多少這個做不到對就我覺得我覺得到達平台期有有兩種兩種可能性一種可能性是技術本身到達了就是你明明還有想讓模型要幹的事但是這倆技術就死活消不穢了另一種可能性是你想幹的事到品牌期了我覺得現在就是負責就是我們現在知道了哦有一個chatbot你可以教他幹這個然後又有一個Cody你可以教他幹這個後面就不知道了對就不知道該教點啥啥好就是说这模型还是一个非常聪明的小孩你其实可以教他很多东西但是我们人类作为老师现在还不知道下一个东西该教什么对对或者说该怎么去合理的教他用现在的一些方式说到3.7还有什么knowhow这是几几个月做出来的这个最后林林总总从从开始训练到发布可能花了四五个月的样子吧对就是从你刚进去就是从开始大家为了这个事做做研究那可能花了两三个月然后后来开始训练到训练结束中间磕磕绊很多事情要处理啊然后有很多新的基础设施其实基础设施真的是很重要很花时间然后又可能花了可能两两个月这样子你在集中做的重要的工作是什么我觉得我也没什么重要的我觉得我我对我个人的贡献我覺得我個人對任何一個模型的貢獻我的陳述都是我覺得我自己對那個事沒那麼重要我覺得我更多的是我很幸運有機會在那個時候加入了一個重要的項目做了一些事因為從某種意義上來說我覺得AI在現在最近這幾年這個事本身是一個不可阻擋的事他不在于你这个人去干或者不干你不干也有别人一样能干出来的所以我觉得在这个时代其实所有给个人贴金的事其实都有点炒作的嫌疑但是确实我觉得对我来说我是很幸运能在那个阶段加入一个重要的事然后学习了一些知识对吧好的那你在幸运的在那个阶段在orthopics这家公司的大尺度强化学习的这个团队里做了什么我觉得3.7那个时候可能主要做的还是就是在ROA做这个agenticcoding这件事这件事怎么把它scaleup或者怎么去准备各样就是怎么去制备各种各样的环境和data然后包括算法上会遇到什么样的问题当时主要的研究都在这部分这有别的什么tips吗現在來看沒啥特別有用的TIPS我覺得說到說技術的TIPS其實這個事是一個大家一方面很願意聽公司又不讓你說但實際又沒啥用的事為什麼因為很多算法設計其實並不鼓勵獨立算法它是非常強的依賴於技術設施举个简单的例子就是有些公司他可能就大家经常讨论一个问题就是说在强弱学习时候这个sample就是给你产生这些trace这些token的那个机器和trainer用来实际训练这个模型然后改变模型权重的这个机器这两个机器可能会有不一样當然不一樣有些原因是因為數值上的不一樣有些原因是因為使用了這種異步的訓練架構所以說它自然就是從根本上來說就不一樣那你不同公司可能這個不一樣程度是不一樣所以你算法上设计也会不一样有些公司他可能这个这两个difference这两个区别非常非常大那你算法可能最大的部分就是在于怎么控制这个然后怎么让这个训练稳定可能对于训练的这个实际的效果之类的权重就会稍微小一点但有可能有的公司他的就说是建设就特别特别好这两个差别没那么大那可能就可以花更多精力在这个训练的效果上所以说很多这种小的tips其实是没有什么用的就很多knowhow其实是没什么用的我是因为我确实也发现了就是很多呃别的lab就不是在这三家lab里面可能很想知道诶Isobel怎么做这个或者Gemma怎么做那个但其实我有时候不愿意回答一个主要原因是因为我觉得本質上我回答這個問題也是在誤導他就是現代的AI訓練是一個大的系統你其實要了解這個系統的方方面面才能有一個全局的認識什麼事是因為什麼而變得有用了而不是說這個事本身有用從3.7到4.5又發生什麼呢這個預訓療後院都有对然后呃当然就是一个就是skillup上做的更多了然后data呢不管是data还是训练的呃这个这个算力都都都更大的尺度了但是我觉得从范式上来说就没有呃没有特别特别大的改变嗯对到你离开安特拉皮的时候他已经多少人了接近20人了扩了一倍多所以你在Unorthodox时期刚好是他最剧烈转变的一个时期我可能就是踩在了他还是个小公司的尾巴其实我觉得进去之后过了可能三四个月这个公司就已经开始人一下子就变多了文化有变化吗还是经历一些比较混沌的阶段吧然后可能尤其可能就是在我离开的那段快离开的那段时间我觉得文化上还是经历了一些一些混沌因为从外面来了一些人然后可能跟本来的文化有一些冲突对然后哦之前的文化是我觉得之前就是很简单对就很简单就是它更像是一个小作坊大家都是朋友然后大家都知道对方在干嘛然后也没有人特别会就是做过多的这种个人宣传还是怎么就是做一些没有用的事也没有人做没有用的事大家都是有很多事要处理然后公司那时候可能紧迫感也更强一些吧然后后来可能就觉得这样人多了嘛这样的文化肯定会受到一些冲击带来了什么风气啊呃我觉得确实有一些人我个人不是很喜欢当然不代表他们真的不好就是我个人不是很喜欢就是可能我不太喜欢在这个领域里面说很多话的人啊就是那个我觉得ideaischeap想法是是是便宜的很多想法其实很显然所有人都知道难的是怎么把实现怎么把它变成一个一个小的可实现的步骤把它做出来我觉得呃我不太喜欢那些一天中很多时间花在在slack就是slack是美国用的一个办公的这种软件然后在slack上花很多时间在那讲一些大道理我觉得就是没啥用呵呵你後來為什麼突然離職了你是完成了什麼階段性的工作嗎當時醞釀了多久我覺得可能醞釀了一兩個月一個多月吧一個月多一點然後對我觉得一个方面是我其实不是特别认同Daryl反华这个事我觉得他作为一个公司的CEO来说就他个人来说他做什么样的观点我觉得都无所谓但是作为一个公司的CEO来说我觉得把这个观点推到这么极端的地步是一个非常情绪化的体现然后这是一个一个比较小的原因但大的方面有很多公司在刚才说的公司的文化上有些冲击啊然后包括我自己可能也想去学一些不一样的事情就说Isobel它毕竟非常的专注然后你可能做如果你很想做和语言模型相关的方方面面然后呃做这种呃使用工具啊这种agent这个然后coding这种事那在Isobel其实很好能学到很多东西但是Isobel有很多不做的事比如说纳瑟贝尔完全没有人做这种多模材生成你想学没地儿学然后纳瑟贝尔可能也没有花太多的精力在这种更底层的工程的技术家技术设施上对所以可能想学习更多的东西也是我当时离开的一个动力对访华占百分之多少比例因為他有他的個人原因我在公開場合說40%但是這個數字反正就是聽就好這個數字就是告訴你它不是主要原因但它確實是一個很大的原因對就沒有控股不是個控股原因對不是個控股原因但是是一個manualityholder的原因嗯你這個選擇也很神奇因為大多數人在一個他還是一個underdog的時候加入會更有感情然後會願意陪公司走更長時間但你反而跳去了Google因為很多研究員一進去Google他會覺得Google給的scope不夠所以他會反而想跳去像XAI或者Anthropic這樣的更小一點的組織你這個行動好像也是反的对我觉得其实取决于你自己想要的是什么如果你很想要的是我有一个很明确的像你说的很明确的scope然后这个事和我的最后产品的模型息息相关我一定要把我其中的一个想法送到这个模型里去那可能Google是一个很差的地方因为毕竟有那么多的研究员有那么多已经成熟的组织做这件事情是有很复杂的这个过程但是我觉得Gemini很如果你想要的是你有研究的自由有探索的自由然后想去能从更广泛的人类学习我觉得这个世界上可能找不到第二个比Gemini更强的地方所以所以就是我觉得本质上还是取决于你要自己想要什么但是我觉得很多人离职不管从哪离职换到另外一家之后可能会觉得不开心的主要原因是因为没想明白自己想要什么比如说你要是到了Google你可能该是如果你刚开始想的是我要有研究自由然后学更多的动机是学习然后你去了之后发现还是想要有产品impact那你可能就会很难受你不追求impact吗? 你在你那个说这个现在这个AI是一个非常大的系统,然后是一个很大量的人写作的一个东西。 你在里面追求什么? 我觉得分阶段,就是我觉得在AnswerBay经历了太多这个和产品息息相关的事之后,我可能也想给自己换个脑子。
- [149:06]
去學習一些不一樣的東西但是你說有沒有哪一天我可能又換回這個腦子又想去產生一些產品的影響力也是有可能的產品影響力怎麼量化這個內部都很清晰是嗎不好量化因為發論文的時候他還是有一作這種作者主導作者現在呢其实没有办法了实际情况就是没有办法了这也是为什么我觉得在这个时代其实谈每一个个人个体的影响是一个很虚无缥缈的事情我觉得本质上还是这个组织做了这样一件事或者这个世界需要这样所以产生产品impact是个主观感受呃在模型测试上是这样在模型测试上这样对然后呃当然实际上你可以我觉得可以细节谈的是说你自己做过哪些事情具体的技术的贡献然后他在技术上产生的效果这个是可以客观的去谈论的但是比较主观的事是你说这个效果在最后的产品里占了多大的比重这个没有人能说清楚在3.7上你能描述一下嗎你覺得什麼樣的技術性的工作對模型產生影響主要还是跟AgentCoding的环境有关的工作然后也有一些算法上算法上主要是怎么让这个训练变得更就更稳定说实话就是但是我觉得算法上肯定是有一些提升但是也没有达到特别理想的效果说实话比之前的算法肯定是要好的对但是那个我觉得也不是我个人的贡献我觉得也是大家集体的贡献对我每次问你你都会说这是极其的贡献不是一个个人英雄主义的时代我觉得该英雄主义时代对于兰桂士模特来说可能过去了什么时候是啊就是在那个时刻对就是在那个技术还没到scaleup那个点之前那找到了那个技术的人可能是一个英雄或者找到那个技术的一个小团体可能是个英雄找到那技术之后可能很长一段时间从模型测来说都是我觉得更多的是集体主义就是这个集体能不能一起工作能不能为了一个目标一起花自己的时间花自己的精力这个是最最重要的事而不是每一个个人提供了什么样的东西說集體主義的原因是因為其實能力是來自於AI是嗎? 說集體主義的原因是因為我覺得AI這個方向本質上是簡單就是我覺得沒有哪個除了可能挑辮子那一下那個idea可能是得有一些很深刻的洞見在之後的那個過程中很多想法其實是非常trivial就是非常愚蠢的就是誰都能想誰都能幹只是你預計好撞到了一個機會就幹了包括你在描述Enthropic做Coding好像它也是某种随机性但是你要抓住它对对但是就是我觉得做Coding可能还比做模型测的这些技术上的东西可能还更稍微有点公司英雄主义就是说你能不能足够快的赌这件事那确实还是一个Enthropic很强的但如果今天没有Enthropic做可能别的公司也做了我觉得是就是是一个必然的事所以它都是AI在涌现能力对我觉得就是看你能不能抓住那个能力不管是公司还是个体对对我觉得就是在在这个可用的语言模型大尺度的语言模型出现之前那个时候很多事情是一个非必要就是有没有一个人能够发明一个东西一个语言模型能够大尺度的做训练然后以及GPT这个范石能不能被发现出来那是有很多不确定性的但是你说比如那个时候你说如果没有Googleprint那可能Transformer就不会被发现可能要过很多很多年才会另外一个有钱又有人的组织发现那可能就是一个很大的影响但是进入那个阶段之后尤其到了现在已经反过来就是你任何一个组织想要停止AI进展是做不到的就是Azure很担心AI安全那Azure有没有这个能力阻止AI发展你停止發展別人會發展你的話語權還會變小其實現在更多是這樣一種狀態這個世界在推著我們前進而不是我們在推著這個世界前進感覺未來我們會更加難以阻止我覺得已經阻止不了就是我覺得試圖去阻止AI裡的一件事發生可能本身就不是一種正確的想法这也是就刚才聊到因为刚才聊到说Anthropy就是说Anthropy其中一个很重要的动因是所谓AI安全我觉得他在AI安全这件事上这是他创立的时候动因对现在跟他有什么关系现在的关系比较复杂就是说一个自然的问题是大家可能会问一个做AI安全的公司为什么现在开始训前沿模型了Answered的解释是说我首先得拥有一个最前沿的模型我才有话语权来推进我的AI安全所以说他其实一直以来的想法是说我要做这个世界上最好的模型你大家不得不听我的来推进我的安全政策但其实从我个人角度来说我觉得这个想法是非常幼稚就这个事现在看来他是不会发现不会发生更有可能发生就是大家都有很好的前沿模型而你没有办法阻止这个事任何事发生你觉得可能对于这个事来说现在更多该想的事是如果你真的想要避免AI带来一些危机什么才是一个更自动化的事举举举一个自动化例子就是比如说核武器就是那核武器也是一个可以大家觉得哎可能有毁灭世界力量的事但核武器最后最后最终受到控制的方法就是multipartycontrol说这实际上大家有很很多个有核武器的国家他们互相都有毁灭对方的能力所以通过这样一种制衡才稳定住我觉得你要阻止AI干一些不好的事可能最终是需要一种类似的机制来实现而不是希望说一家公司制定一个法律而干一件事对而且他自己制定他也只能管得了自己你刚刚也提到Utopia有个可解释性团队是吗这个它的可解释性到达哪一步了在一些比较简单然后比较稀松的神经网络里面他们能够做一些有趣的研究比如说看看某一个输出了或者输入的文字或者图片它内在的表示是长成什么样的然后你可能把那个表示反一下之后它会能输出一个什么样的东西做一些这样的研究你刚才还提到一个观点就是AI本质是简单的你能不能描述一下这句话这是一个结论对我觉得这甚至不是一个结论这是我的一个statement是我的一个陈述它可对可错这是你的观点对我对这个陈述的解释是我觉得它本质上简单的点在于它能做实验就是它和比如说本质上难的东西比如说物理它的区别在于那个东西你没有那个能标下的实验数据你就是理解不了那个能标下的理论但是AI不被这个所绑的目前你理解不了没关系我也可以往前发展而且就是我现在事实就是能够做任何我能想到的实验只是可能说我需要一些时间去把这个计算量提上来或者把这个基础设施准备好但是没有什么本质上的困难对所以我一直说就是就是觉得AI就是没有给人感觉它它碰壁的原因就是首先很多东西你都能试其次现在不是说大家已经想空了脑袋没有什么想法可以试了更多的情况下是有太多的想法得一个个试花时间对感觉人好渺小啊在这个世界面前是的所以說我覺得很快可能AI就會開始自己做實驗了很快是多快? 四個月內? 我覺得未來的6到12個月AI就會自己做實驗我覺得其實當然就是這話不太良好定義對不起我說了一個很模糊的話AI自己提高自己或者自己来加快自己的发展过程这件事其实已经在发生了对吧就像我们刚才最早的时候聊过就是他已经开始帮我们能够去实现一些一些我们想要的东西然后很加快我们实验速度但是我覺得未來6到12他目前還做不到的事情是什麼是說他能不能從頭到尾的把一件AI研究的事做完就比如說他不僅能寫這個code他還能跑這個實驗跑這個實驗還能看到這個結果看到這個結果還能分析這個結果分析這個結果知道他哪做的不對然後提出新的假設計新的代碼跑新的實驗這條鏈目前還沒有完整但我觉得这条链条可能是下一步会慢慢变得完整的事基于你的各种原因在你离开决定离开Enthropic那一刻你对这家公司未来的预期是什么呀我觉得我离开的时候我对这公司其实挺悲观的但后来显然是我过度悲观了为什么悲观我当时悲观的原因是因为我觉得我当时离开Enthropic的时候Enthropic其实主要的收入来源都是API就是卖token然后这个是个差生意是差生意因为这个生意只有对一个公司是好生意就是Google因为这个生意最后就是得打价格战就是一般处理就是要打价格战打价格战你没有完整的这个链条是没有什么太多优势但是后来Isobel显然在产品方面就是我觉得确实有很多巧思做了很多好的事不管像是Clockwork也变得越来越好用了然后Clockwork啊然后和各种各样的这种和工作和效率相关的事情都慢慢汇聚起来了所以感觉他现在反而变得比我当时觉得你要问我OpenAI和AnswerBay哪个会先死但是就不会真的死就是说哪个会先变得没那么重要我当时会觉得可能是AnswerBay会先变得没那么重要但是后来首先OpenAI被Google揍了一拳然后AnswerBay自己就上道了所以现在看来好像AnswerBay更占优势一些你自己后悔过没有不太后悔我觉得对我个人来说我个人的动机还是想去换一个地方提高自己我觉得对于这件对于想做的这件事来说这个选择没有什么错误对你也提到OnTopic的产品有很多巧思特别是今年就是像Cowork这些这个来自于哪里啊我觉得我没看到Cowork的发展过程所以我不知道然后CloudCode我觉得人产品还可能还真的是有一些个人英雄主义的机会是研究员还是产品主义呀Boris就是那个我觉得CloudCode几乎至少这个事的开端吧是他自己想要做这个事提高自己或者同事的工作效率最后变成了一个对所有人都很重要的事Boris是一个什么样的人我跟他没有太多的个人接触我更多的只是看到他的工作在公司的时候他是个researcher是吧对但他主要是在产品那边对所以Ondorpio是专门产品部门的以前没有分得那么开后来有单独的对Ondorpio感觉是很懂AI的产品对我觉得我觉得这就是为什么刚开始说的时候觉得这个产品经理可能还是目前挺难被AI取代的好的产品经历而且他好像不是上一代那种产品经历他不是那种feature的摆放啊什么的他好像是知道怎么跟AI协作的某种产品经历对我觉得上一代产品经历可能大家也不全是就上一代也有一些就是交互方式级别的变化但每一次交互方式级别变化其实就带来很大产品比如说就是可能这个抖音就是一个交互方式级别改变的产品那它一下就带来了很大的打开了新的方向然后我觉得可能CloudCode也是一个这样级别的产品对CloudCode和Cowork都是Boris我不知道Cowork是谁做的我已经离开了那说说你到了GoogleDeepMind以后的工作吧工作重心发生变化没有呃还是发生了一些变化的然后呃我我反正我自己主要在站外就是做MLcoding然后和一些比较longhorizon的事就是这两个事其实刚才都都大概提了一嘴就是MLcoding其实它主要就是想要实现刚刚说的这个完整的AI自己研究自己的这个立场那当然这个过程当中呃有很多实际的问题也有很多实际的细节要去解决就是我觉得大的方向上来说大家其实是比较有共识是该怎么去做但是还是回到细节就是细节上有很多要处理比如说怎么去选取合适的data怎么样去选取合适的回馈信号以及它又带来新的基础设施的挑战然后呃现在就是要把这些事情要慢慢慢慢摸清楚然后呃像老Horizon就是刚才说的另外一点就是说想要能够实现说这个模型能够在就还是那句口号Trimisfinitebutuseasinfinite我觉得想要把这个训练的长度一直一直一直变长可能并不是单个这个训练的这个这个这个语段的长度一直变长可能并不是一个很现实的方案但是很现实的事儿是你如何在有限的context下去做更长的呃工作其实你其实是想人其实就是这个样子人的contact其实很短很短你现在问我昨天晚上吃了什么我是一点也想不起来了你可能想起来了我是一点也想不起来了因为什么因为它对我现在这个场景来说不关键对吧就是我现在知道昨天晚上吃什么又能怎么样所以我选择把它忘掉所以人本质上contact是很短但它能够选择性的遗忘然后它选择性的去retrieve就是去把这些重要的跟当前场景相关的信息再抓回来对所以说我觉得那个可能也是一个对我来说很有趣的这种方向这两件事其实是有点相关有点互补的为什么就说这两个事其实都在模型使用工具和环境以及不同的模型不同的人交互的这个大的范畴内在这个范畴大家过去完成的那个节点就是AgenticCoding就是又是工具又和环境环境就是这个虚拟机或者你自己的电脑做交互然后这个事儿其实它横向就会长出不同的使用场景那作为AIresearch其实就是横向这个场景里面另外一个场景啊这个场景它其实不仅横向上是一个新场景它在纵向上也让这个这个事情的尺度变得更长因为你可能完成一个一个代码的补全啊这类是一个很很快的事但你做一个完整的AI研究或者做一个这种计算机科学的研究那是一个很很长的过程对所以说它其实就是像一个T字形一样就是横向也有延展然后缩向也有延展嗯对那Horizon是不是还是一个科学问题啊有科学问题也有工程问题我觉得它的科学问题更多的是怎么把不同的方案尝试一下以更科学的方式尝试之后来找到一条最后我们要走的这个方案这个有哪些方式啊呃,我可能不太说太细的,但粗的来说,从有一些方案是从pretrain的角度,从预训的角度来说,有一些方案就是类似于这种西出的attention,spotattention,那这个比如deepseek也有一些工作,然后学界也有很多工作,然后从后训练的角度也有后训练的方案。 比如说像呃外界比如说你每天用什么cursor这些他们就是很强的contextmanagement管理这个context能力比如说他可以让这个模型去选择哎我把这个中间某一段我觉得不重要就扔掉了然后那一段重要就存在某个文件里到时候再取回来这两种大的来说这两种方案都有人在研究当然它具体实施细节是不止我刚刚说的这些例子刚刚说这些例子就是比较公开的例子具体实施细节当然就每个公司还有自己的小秘密我觉得其实也就是最终也都会大家都会互相知道然後呃我個人是比較花很多更多更多時間在後訓練的這部分的方案上因為呃當然首先因為我自己呃本來就沒有花正式的工作時間在在預訓練上預訓練對我來說更多是一個就是興趣我想學習的事但我自己其實沒有在那上面做太多的工作然後呃另一方面是我覺得后续的这个方案其实更符合我自己对这个事的理解我对这个事的理解就是刚才一直在说的一件事就是说能不能用短的context去训练但是他能做长context的事预训那些方案其实本质上还是需要你有长context训练他需要数据里有对对对所以说所以他不太符合我对这个问题的哲学哦对所以你现在看可以吗用短的去训练长的我觉得可以是一定可以但是我们不清楚哪个方案最有效哦Chaminade的长文本做得很好好像为什么呀有些技巧有一些让我很惊讶的技巧哦这是预训练的事吧长文本做得很好一定是两边都有但是我只是说对我来说预训连那边那个技巧还是挺让我惊讶的对OpenEye做的没有Gemini好在长文本上但是但是也有也有说法也不一样就是有些人也说Gemini3这一代长文本反而变差了一点啊之类的Again你加入Gemini的时候感觉大家对Gemini的预期不高没我对于jamlet当时的预期已经挺高的了你那是几几年举我是2就是去年的9月底那个是jamlet放jamlet3之前你对它的预期高其他人呢我觉得业内的人当时对jamlet都还是印象不错的吧就是我觉得之前一直觉得Google很有危机在OpenEdge的冲击之下我觉得大家的感知可能在Gemini2.5这一代产生了变化因为2.5是一个明显你能看出来谷歌可以上道了当然之前就是Gemini的1.5也有一些就是小的事情某一个距离的方面做的已经算很强就是很明显他已经不是很落后但是2.5是真的一代就是我觉得开始有人开始用的模型我自己其实也用过2.5用的挺多的你是看到2.5去的Zamina我去詹姆纳跟这没关系主要还是我知道詹姆纳他大概是一个什么样的论点就是有很多人在做不一样的研究啊然后我也知道一些人其实做研究很有意思然后很多詹姆纳工程师我觉得技术是非常非常非常强的我覺得我是從他們身上學到了非常非常多然後對我來說那是原因但是我覺得從大家的感知上來說可能我覺得業內的人在看到宅邁的2.5之後就可能就已經意識到了說宅邁是要趕上來了對那就你來說是不是你加入了宅邁的一個信號不是我加入他的一個信號那你為什麼加入宅邁那就是刚才说的就是主要是因为我当然想做事其实我想要去有但你是知道渣民的人强对吧对对那个是因为就是他们来来找我的时候肯定也会让我去去和他们的人去聊嘛嗯那从聊的过程中其实是能够能看出来状态怎么样哦是他们来找你的呃对但是我觉得最后就变成双向奔赴了所以哈哈你当时openup是选择吗如果你想从啊thropic离职對OPI也是當時的選項OPI當時應該還是比Jamena從勢能上要強吧在那個時候不過那個時候是不是各種那個內部的內鬥開始出現了我覺得對就是OPI確實也是我當時一個選項然後當然還包括像XII之類的然後我覺得OPI最後沒有去的一個轉折原因還是我對他的文化至少当时来看我对他的文化是有比较大的担心的就是我觉得用用粗话来说就是感觉他是做事他是做事的人没有在买多哦也更没有买消费多对哦这个我很care哦对所以一种文化和人的亲近感让你去了这样的对然后你又赶上了刀三的那个转折点是吗詹姆纳三应该对他来说是一个很大的转折的一个时期是吗我觉得从实际的效果来说我觉得是两件事让詹姆纳产生了一个大的转折就变成了一个市场里举足轻重的玩家是NanoBonata和Gemini3两件事连着就是我觉得如果只有Gemini3可能也不会有现在这么好的效果因为当你的市占率连10%都不到的时候你这个模型好一点坏一点其实等它传播出去就是太慢了但是Nanobot做到一件事首先市场上这件事很爆款然后大量的人去下载了Gemini的APP然后Gemini3又紧接着放把这个部分留下来了所以现在他变成了一个举足轻重的玩家觉得可能就是没有Gemini打这么一拳那其实OpenAI的位置很爽就他市占比已经高到你其实模型上干点啥对他来说可能影响都没那么大甚至說實話我覺得就是真正普通人用模型的時候對於模型的這個能力的感知其實其實很弱很弱的絕大多數人甚至都不用O系列模型絕大多數人都都用普通的那個GPC的對所以說我覺得對於詹姆納來說這個一個拉多寶娜把量打起來然後詹姆納3又把人留回來是一個很很關鍵的事他有事實上搶走多少拆GPT的用戶我不知道现在具体的比例但是我的感觉是宅卖可能市占会在20%左右吧但是我确实没有仔细去检查过现在的数据這是從事後歸因來看這兩個因素共同促成了Gemini今天對於OpenAI的衝擊那你從內部視角肯定能更前置的知道為什麼就發生了什麼谷歌會有這樣的變化我觉得首先就是Google的这个技术储备一直是够人够对吧对人一直是够的然后组织上来说就是后来变得越来越清晰了就是有一个更好的框架来让大家干一起干这个事了所以说可能会慢慢慢慢有些进展对然后我觉得从某种意义上来说我作为一个局外人从某种意义上来说我觉得OPEN还是救了Google一命哦就是因为大家以前一直都担心说这个聊天机器人会不会完全把搜索取代掉对如果这个事真的发生了Google其实很难受但是好在呢就是OpenAI先把这个事做然后让Google意识到这个事很重要但是它又没有把这个事做到底又没有把这个事做到极致又没有完全把搜索干掉可能就吃掉了一些份了结果让Google自己把要填机器人也追上来了那现在难受就是它了你要万一比如说有一个公司就假如说在一个虚构世界有一个公司不仅做了chatbot而且还一路高跟往前越做越好真的把你一把就把你搜索吃掉了完全没有给你反击的机会那就很难受了那chatbot没有吃掉搜索是因为openn干的不好还是为什么呢还是因为这个形态干不掉搜索我覺得兩方面其實都有就是說首先目前的X日報這種交互方式其實不會完全吃掉搜索因為它比搜索強剛最早時候說過它比搜索強的一點是說它有很強的交互性你可以追問然後你可以把它可以幫你把一些很複雜的信息去濃縮至少很强的地方所以这部分使用场景它确实会把搜索的人抢掉但是搜索里还有一些非常愚笨的场景就是你有一个特别简单的事你根本不想浪费这个时间在聊天机比如说我就搜买大米我就一搜買了就完了結果我還非得去問XGBP我還得問哪個好然後他還在那轉圈轉半天然後給你個link你再一點再跑到網頁再去買沒有那個必要所以說從事實的使用上來說他目前的形態並不足以把搜索完全吃掉然後當然從另一個角度上來說他可能在聊天機器人這個事情上也沒有做到登峰造極結果他還真的讓別人讓Google把他給趕上了那就是他自己现在还不算赶上吧在产品上我觉得在产品上不算赶上但是在模型上已经是赶上了但是投资人投OpenEye他们会说他们下注的时候是认清楚OpenEye其实是一个产品公司的时候他的呼声盒其实是产品和品牌那从今天来看的话似乎Google还没有在这件事情上能够感恩不能说超越OpenAI吧赶上OpenAI的对就是我觉得呃这其实是反正这都是我作为一个局外人观察者的视角来说就是你今天是点评价呵呵呵呵呵观察者的角度来说我觉得Google传统上在产品就是有点慢是一直都比较慢啊然后所以你说OpenAI会不会在产品上有优势我觉得是有可能的对然后Google特别擅长的一件事是什么是找到一个具为简单的产品形态大家都长一个样他就疯狂给你卷技术你就卷不过他对其实那个事是Google擅长的因为搜索引擎就是这样的一个事搜索就是一个典型的就是大家都是一个框一个键但他就是比你搜得快搜得比你准你拿他一点办法也没有所以这个为什么就是我感觉就是一直以来Google都处于一个做得很好华尔街都不太认可的状态大家总觉得这公司毕竟到底在哪也没有什么产品的巧思也没有什么留恒的机制但是他就活到了现在所以他技术好的原因是啥我觉得还是人好吗我觉得还是氛围吧就是说是一个是一个特别特别重视以前就是特别的重视工程师后来就是特别特别重视研究的这样一个氛围所以他很适合那种通过技术能力溢出的产品能力的产品对如果从这个角度来看的话那你觉得OpenEye的位置是稳固的吗现在我觉得像谁的位置都不稳固对我觉得就是AI的形态还有还有很长的路要走嗯没有到什么终局之战这个这个这个地方的感觉呢对感觉国内已经有点这意思了对我不理解就是为什么不理解我很费解就是那国内觉得我们在争夺一个superapp啊superapp就是此消彼长的呀我觉得conditionon聊天机器人这个事儿就是superapp那可能可以争夺一下但是问题是你这个形态是不是superapp的那个形态会不会别人就是哪天出了一个完全不一样的形态然后你的功能变成那个东西的一个子集这是很有可能的是吗我觉得没有什么我觉得我看不出什么不可能为啥X爆不是那个终极形态但是这么多年我们也就看到这个了对就是都是一个对话框我觉得在这个事上我确实没有什么没有什么理性或者量化的标准来来说明更多的是你觉得这个事很蠢就是这个模型明明有那么多的能力但居然用的方法是Chatbot就是不太makesense所以需要一个产品经理来解放一下模型的能力人类到现在只通过Chatbot去跟AI沟通让你觉得很蠢是吧那應該用什麼去跟AI溝通呢沒想明白要想明白我就幹了你沒有告訴我Google內部到底發生什麼變化然後有了外界看到的和模型能力的突飛猛進對就是剛才說的我覺得組織上更清楚了然後組織上一旦清楚的話組織變化了嗎对尤其像运行训练现在变得非常非常清楚就是谁负责什么事情然后每一个点每一个这个节点上谁是负责人这些事情都很清楚以前是混沌的吗以前最早的时候很乱我没有最早时候在那待过但是就是同事根据同事或者我以前认识的人的描述以前还是更混乱一些的对然后现在就是至少运行训练变得非常非常清楚然后加上这个Google一直有的这种就是比较比较强的技术背景然后他做事也比较系统所以觉得预训链在Google是一个非常非常可控的事可预测的事你能够你能够知道下一代不会差然后可能你还会知道他会有多好通过Dropkick这种自上而下的管理他也不错那Google是这种自下而上的他依然是自下而上的是吗他比以前肯定要更自上而下了比起最早的时候但是他比乔培来说还是更自上而下了一些就是好像不同的文化都可以是吗对于模型的训练来说就是我觉得大公司有大公司的打法Stardust有Stardust的打法所以大公司是你刚刚也说它是一个完全不一样的趋势它是一个不一样的方法Google是什么方法现在我觉得Google更多的说是像这种比较确定性的事比如像预训链已经是一个比较确定性的方式了那可能Google就会更像把它做成一个工程项目然后Google的工程管理能力又很强所以说他就能帮到你把它做好什么叫工程项目工程项目的意思就是你其实是其实是非常非常非常topdown的一个组织然后很清楚我们下一阶段要做的是什么事情然后去做这个事情中间需要有哪几个节点被处理掉然后哪怕是做研究也是说就是有一个很清晰的框架告诉你怎么去去验证你的结果是好是坏evaluate你的结果是好是坏对所以这个是是Google很强的事情在过去的任何的一个大的工程项目上所以说就是运行链其实我觉得就是现在进入到郭的舒适区里了然后后续链当然就是有更多的不确定性那可能后续链现在来说还是更bottomup一点就是大家可以更广泛的试对你说printtraining也是一种RL为什么这么说就是我觉得就是你很难从纯技术的角度说futuring就是预训链和或者说这个监督学习SFT和RL的本质区别是什么因为预训链和SFT当然预训链和SFT本质也没啥区别就是你无非就是把你拿到的那些数据当成你的groundtruth然后你就把那个当成你的expert把那个当成你的专家输出然后你朝那个专家输出的分布上靠强化学系可能就是更宽广的一个级别一个级它就是说我首先就是这个本来输出的东西也不是一个给定的专家是我自己产生的一些东西然后我里面又有好的结果又有不好的结果然后好的结果要往上靠不好的结果要远离它之类的这样的东西所以说从某种意义上来说Protruding和SFT是强化学系的一个子集但是呢这两件事确实在现在这个时代是有区别的他我觉得对我来说它的最大区别在数据上就是protecting的数据更多的还是要distribution口号就是分布足够的广或者足够符合你想要覆盖出的一些范围但是数据的质量并不需要非常非常高但是后训练就反过来就是说它分布上来说可能要圆窄但是它在有的那些数据质量上会要求非常的高对所以我觉得目前来说对我来说它俩最本质的区别还是在数据分布上的区别而不是在算法或者训练范式上的区别那像不同的Lab它是怎么分这个组的呀于训练和后训练有不同吗还是都一样Unsolved和Google比較類似兩個都是就是預訓練是預訓練一個組然後後訓練是後訓練一個組OpenAI可能比較混沌最早的時候一開始的時候它是分三個組就是它有預訓練然後它還有強化學習就是Strawberry草莓組然後它還有一個Pose生津組然後我的我沒在那幹過但我的理解是他的posttraining其實是就不是他的那個2L組就是strawberry和他的posttraining其實是別的公司的posttraining和產品然後他可能是以一種不一樣的方式給他切了他把後訓練當產品做就是他的一部分後訓練其實是和產品是在做產品哦他是不是名字沒改過來呢也不完全是因为绝大多数公司的产品其实不太训模型他更多的是把这个需要的需要的这个特质模型特质告诉训练模型的团队但是他好像就是他的posttraining从某种意义上说自己又是产品但自己又能训模型这是不是他对于产品的理解就是需要训练模型的人来做产品对对对有可能有可能是一件好事但是他后来也这个组织变化很多次所以我现在也不知道他们组织成啥样嗯你们最近发了几个模型然后我看到你也都参与其中Gemini3DeepThinkGemini3.1Pro呃我觉得可能只能说是有幸参与对again就是感觉都是集体工作你为什么现在都变成明星人物然后每次都被拎出来单独写一下我不明白我觉得其实不太好每次看到之后我都感觉明明天该怎么去办公室见同事呢会有异样吗在办公室还好我觉得同事可能可能还是人比较好就是他们可能不是特别看重这些事啊但是說實話我是覺得我參與過的任何一個項目不管是在Google還是在沒有我都會發生都一樣會發生效果也不會變差我覺得大家現在就是每個人都是衝浪的人本質上是那個浪而不是你那個衝浪的人浪是AI嗎對就是AI這個事情本身是這個浪它會往前走不管你衝不衝這個浪這個浪都會拍到岸上只是说有人可能就冲了这个浪有人就可能晚了一点没赶上那个浪尖对好你有心的参与了这两个工作的什么主要可能就是一些有一些那个就是算法上设计的小的细节然后我们就会一块讨论然后有一些数据上的东西但是数据上的东西我觉得可能对之后的工作会影响更大一些这几个模型有范式变化吗嗯我觉得没有哪个没有哪个变化大到了从不知道怎么做大尺度的强化学系到大尺度强化学系那个级别的变化没有哪个变化大到这个地步肯定都是会有一些小小的变化这几个小小变化你们讲一讲就这几个新的模型不能讲哦呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵最近我感觉模型已经发麻了国内一堆模型国外也是很多模型OpenEye你们国内GLM自己DeepSeek一直期待还没发Kimi你能不能给大家划划重点啊我觉得从某种意义上来说都没那么值得关注大家在争什么现在感觉群魔乱斗我觉得有一些争的事情其实现在看来已经在这个时代已经没那么重要了就是因为过去带来的惯性是大家会争各个benchmark的第一名证明自己模型的基本能力很强这个事情其实到现在已经到了就是公众关注那些benchmark都有点打满了嗯就是你想最早大家关注这个sweetbunchsweetbunch大家都打到80多幸亏没有人超过83因为最近OPI刚放一个post说超过83那个有的题目都是不良好定义的幸亏没人超过谁超过谁尴尬反正啊然后大家以前reasoning就是打完AMI打MMO打完MMO打什么想不出来RKGI啊这些半吃麻烦然后RKGI咱们在战斗3之前大家想最高的都哇那时候可能10G这样子吧然后大家就哇登天男然后战斗3给变成30多了然后Cloud4.04.
- [189:35]
5还是4.6变成4.6应该是变成60多了然后JMLat3DeepSync一下达到80多所以这个也大嘛所以现在就是感觉光靠打这种公众认知的模型能力其实已经没啥太大的意思了然后所以从这个角度上说我觉得就是本质上就是没有什么太多的种变虽然大家发的很快发的快也说明其实这道题对大家所有人来说特别简单了大家都知道knowhow了没有什么秘密了已经对对就是还是说还是这个就还是那个冲浪理论就是还是这个浪在往前走对嗯那大家下一个可能在寻找的目标是什么下一个范世杰的变化是什么还会有吗呃我觉得我我刚才自己聊的那两个事是我觉得对然后这两个事我觉得我觉得呃是我觉得是一个可能没有到范式级变化但是我觉得是对于Google来说会很有价值的事情因为首先M1coding是因为Google首先自己是一个AIresearch大户然后他自己又是AIresearch最全战的就是他不仅有这些训练模型这些部分他还有设计硬件的部分从硬件接到模型的部分这一整套东西如果能被加速会或者说被更好的管理那可能对这个公司来说是很有价值嗯然后就不说了就所有人都知道就所有人都都都都觉得很重要对所以说我觉得那个可能是对我来说不能说是范氏级别的绝对是不到范氏级别但是是一个我觉得是很有价值需要去在未来几个月之内能够呃能够看到曙光的事然后嗯我觉得范氏级可能就还是那些更非确定性的东西就是什么东方台升城那个我觉得可能会有一个英雄吧或者会有一个英雄集体吧然后对像那种可能会有一些还有聊比较多的continuelearning世界模型呢我觉得continuelearning和这种longhorizon刚才说longhorizon没有本质的区别因为大家以前觉得这两事差别很大是因为containerlearning会改变模型的一些权重然后你做这种比如像开放开源的大家做很多这种contextmanagement是不会改变模型权重的但其实你想这两事没有本质区别因为context里那些词自己的KV不也是一种权重吗所以说你觉得这两个方案就是最后谁能谁能更有用在长久来说更具更有用我觉得是不清楚的但是他们本质上都是为了做刚才nonhorizon这种这种类型的事情然后世界模型一万个人有一万个世界模型啥意思就是定义不清晰就是就是首先我不知道什么叫做一个世界模型其次就是每个人在说他们做的世界模型的时候可能也在说不一样的事比如说咱们俩做的世界模型可能就和比如说像小飞飞李飞飞他们做的世界模型就不是一个事对恩恩描述一下区别是什么呃我不是特别了解像外面像李学辉啊他们这些lab做的事情到底是怎么样的但是呃展版的世界模型更多的是一种呃是一种endtoend的这种级别训练他想要的结果是说比如视频生成是大家能够给定一个描述然后生成一个视频但他想要的结果是我不仅能够生成一个视频我是能生成一个场景什么叫一个场景场景就是说我生成了这个时刻的状态然后我还可以再给他一个一个条件这个条件是我在这个状态下做了一样什么样的动作然后他下一个时刻状态会变成我上一个时刻状态和动作的函数然后他是endtoend去训练这样的能力所以说这个可能是一种方案然后我首先也不知道大家最后想要的到底是什么结果然后我也不知道大家对自己世界模型的定义到底是什么所以我觉得更多还是一种探索状态刚才我们一直没有聊到一个组织是XAI我们刚才聊了Onthropic聊了OpenAI聊了DeepMindXAI呢XAI我是不明白作为电评价来说一下他们怎么最近这么动荡我覺得他們一直都挺動蕩但為什麼最近這麼動蕩我也不知道然後我其實我跟XI接觸的沒有那麼多然後我接觸的一些人現在也走了所以說我也不知道他們發生了啥你剛才說ontopic的時候你說技術的也好委能makebets是非常重要的,那在Google這樣的也好委是誰啊? 這個英雄是誰啊? 英雄在可能在不同的阶段是不一样的人但是英雄的背后都有一个人就是Sergei就是Google的一个cofounder对就是我觉得最终很多很多大的决定可能不是由他来决定怎么做但是最后拍了个板给他来拍现在也是Dimus呢我觉得可能更多的在一线出现的是Corey对啊就是是呃的mindcto然后他他现在也是那个google的svp哦对Demis在负责什么呃我觉得Demis可能管了更多那种就是偏science的事情啊就比如说那个药物的designisomorphiclab啊那些事情对对对哦对Gemini他管的不多呃至少从我的视角来说我看到的更多的也是coreyok但是有可能就是那公司那個管理層的事其實有可能很多是我看不到的部分那我就不清楚了你刚才也提到AI整个是一个系统嘛你对于怎么系统性的做AI有什么认知吗现在经过了你这两年的工作有几方面吧一方面是从整个系统来说它需要一种比较科学的态度就是你要清楚的像scanout就是你要清楚的理解自己做了什么样的预设然后我在做一个改变的时候其实有哪些因素是它相关联哪些因素是不相关联的对然后这是从组织情况下来说从人的情况下来说其实需要人很reliable就是需要很很负责任的人其实每一个系统就每一个评价框架都是很容易被hack的因为你总可以做一些事让你的指标看起来很好很好看但是一个可一个值得信赖或者踏实的人他其实是会想自己做的这件事如果效果好的话是不是真的比如在大的市场上效果好是不是我中间漏的那些因素对所以说其实其实把事做系统听起来是一句话但真正做起来是很复杂的事就是有很多细节有很多阻力会因为它其实是违背人性哦因为每个人个人的人性可能都是为了让我自己做的东西能够提前的更好但是对一个公司或者一个组织来说最有利的事是把整个公司的系统系统性做的非常扎实非常严谨这个能不能举点例子呀好像有点抽象对他确实有点抽象所以这也是你说没有那么多的个人英雄主义的一个表现对就人要变成一个更可信可靠的一个他是一个系统的组件我可以举一个一个可能也是比较鬼话的例子就是就是呃比如说做强化鞋鞋你可能可以做一个算法出来效果比别人好但是可能最更关键的问题是你要去问比如说在真正的大的程度下我是不是能够保持稳定性是一样好的然后以及我比别人的东西效果好是不是因为我用了不一样的data以及我是不是用了更多的training的flop是不是用了更多的sampling的flop然后我具体在真的这个生产的这个最后这个大的跑跑的这个productionrun里面到底哪个才是我的限制因素然后我该开去哪个指标这个些可能都是需要研究员自己对于这个系统怎么运作有一个好的理解然后以及对公司负责任才能才能做到对否则就是你很容易做到一件事就是你可能比如说你在考虑training的时候是比别人好的但你考虑training加sampling是比别人差了你总可以选择你只是有training但这就很糟糕所以这个就是既需要你个人负责任又需要说组织所建立的这个体系里能够能尽量的发现这些这些有益的或者不益的这种这种边界的事情但是你作为个体的话你不知道怎么样是对全局最好的呀其实是需要我觉得如果一个研究员做不到对全局去考虑的话他就不是一个好的研究员在现在这个时代就是这个和我觉得这个和你就是在学术界做research是很不一样的事因为在学术界做research本质上是一根吃饱全家不愁的状态就是我为我的项目负责对吧我为我的可重复性负责但是在一个公司里你其实更多的时候是我得为这个公司负责对这是两种完全不一样的心态那你这种自觉性从哪里来的不知道我觉得我可能就是拉不下脸拉不下脸是什么对就是你对一个公司负责人是你和这个公司的契约的一部分其实我觉得没什么道理不这么做这么做是没有原因的所以个人英雄主义会破坏这种整体性我觉得如果只是为了个人英雄主义而做事的话很有可能是会破坏整体性的当然实际可能你能力很强然后你真的成了一个英雄那也是有可能因为你也经历了两个组织了你觉得什么样的组织更能够激发智能在这个时代我觉得其实这是一个很有争议的事就说因为刚才也聊了就是不同组织可能有些比较自上而下有些比较自下而上一个自然问题说比如说这两种组织哪个更能够激发创新过去的观点就是自下而上是启发创新的必要条件因为就是你得每个人有自由嘛自由有自由才能有创新但是完全自下而上就发现其实也不行因为它就乱那就是Google之前的样子是吗对这在我印象里就是在我了解到的印象里是这样就是它就乱就是大家甚至都不知道我做这个事有什么用那可能也不好所以就可能要需要有一个人或者有一个小的集体能够把这两件事稍微融合一些对就是为什么我觉得其实这个一个组织运行的好不好看起来是组织的问题但其实归根结底是技术leader的问题就是这个技术leader有没有特质能够把这个组织运行的很稳定因为最好的那个状态往往都是最不稳定的一个状态就很容易往不好的那个方向塌缩的所以得有一个leader来控制这个事那你覺得都是技術領導來做這個事情而不是CEO來做這個事情那當然每個公司的CEO可能有不一樣的職責但是得有一個領導我覺得至少得有一個領導他能有兩個特質才能去做這個事一個特質就是說他自己有救火的能力不是說他光嘴上說要做什麼要做什麼要做什麼而是說有一件事真的遇到困難了他能自己下場去帶人把這個困難解決掉当然绝大多数时候可能一个leader是不会有时间去做这个事但他至少有这个能力第二个重要特质就是他得他得能够能够理解别人就哪怕一件事可能是他不做的事但他能够理解到为什么别人做那个事重要能够容得下别人那可能是另外一个特质对你觉得Google的TPU在哪些方面表现的比GPU更好劣势是什么我觉得从纯硬件的角度来说很难说哪种硬件真的好或者坏尤其是在这种大规模商用的情况下因为本质上来说GPU和TPU在使用上来说最大的区别就跑掉硬件的区别来说使用上最大的区别就是GPU它有比较好的开源生态TPU没有但这个事其实在大规模商用的时候并不是一个问题因为比如Google自己用TPU那自然会花时间去搭这个基础设施而基础设施就是一个你可能比如说你只跑一千张卡那可能是一个很大的负担但你跑一个几十万张卡的集群的搭一个基础设施也不是一个多大的事然后从实际上这种大规模商用来说没有哪个孰优孰劣但是这两个确实有一些设计理念上的区别比如说GPU至少我可能后来这几代GPU没这么用过比如像hopper那代GPUH系列GPU他的设计是说我一个炮子里面可能没有多少张卡就比如就8张卡然后这八张卡之间可以两两互联NVLink非常快所以这一个POD几乎就是没什么没有什么communication的bound但是TPU他可能就反过来他就是说我抛弃了卡之间两两互联但是我能尽量的把尽量多的卡放在一个大的这个架子里面那它就是有这种三维torus的这种设计所以它就一张卡就只有在三个方向连三个最精灵的但它整个集训可以连成一个大torus然后如果你的你的compiler或者你的那个sharding的逻辑写的足够好的话你是可以利用这样的东西其实就等效来说你会获得更大的储存空间然后也会减少很多通信的bound对劣势是什么呀? 我觉得一个劣势就是它肯定是比起GPU来说至少在小的scale上来说比起GPU是更加固定的一种结构吧所以说它的应用性或者它的通用性可能没有那么强最近硅谷有很多Neolab出现你怎么看这个趋势? 为什么他们都出去从这些模型大厂跳出去成立Neolab?
- [205:00]
我的感觉是绝大多数NEOLAB都会死然后那个我觉得就是可能有一些LAB是真的有好的人的然后像有些LAB可能确实也开始在做一些事比如说像ThinkingMachine他还是在deliver一些新的东西的然后但有些NEOLAB就是请帮我把名字递掉比如说我就完全不知道他们到底要干嘛然后这俩人其实已经远离这个专业好久了我觉得26年国内会非常的看重C段的叙事谁成为那个superapp你怎么看你觉得这个这好像在硅谷没有人讲这个事对就是因为美国enterprise就是这个就是公司然后或者说效率软件这个市场太大而且利润也太高所以说对于美国来说其实C端之前就只有差了几笔以下做其实也没啥油水没有什么利润所以说就是现在大家可能重心都会先放在这种效率软件或者enterprise上然后所以中美的趋势已经发生差异化了我觉得不只是AI就是过去的整个互联网都不一样就是中国很强的就是C端就是它能够想出一些非常非常复杂的产品的性质或者结构然后用一种你觉得很间接很不自然的方式把这个利润滚下来比如说什么叫很间接就比如说像抖音这种东西它并不是说你看视频我看一个视频收你两毛钱对吧他说你可以免费看视频但是我可以偷偷加广告我可以偷偷做直播我可以偷偷做电商但是做效率软件没这个事做效率软件非常直接就是我让你帮你写code我成本一个月150卖你20我挣50就是非常直接的事我觉得美国在过去的体现就是在这种很直接的产品上能够把技术做到极致但是一直没有哪个产品让我觉得就是复杂到说让你离不开它你又感觉不到它在挣你的钱但它实际上挣了你的钱对诶你这么说我突然觉得Meta就应该抄自己的作对但我觉得Meta没自己的强因为Meta他也找不到自己的生态位然后美国又没有一个做这件事情的公司豆包这个生态位还没有人找到那Meta就抄豆包呗他也不需要那么强的模型能力但我觉得还是美国做产品的本质上做C端产品的人不行比中国来说差远了这是过去时间的积累是吗哦因为过去十年在美国的这个正反馈都来自于做2b的很多enterprise的事情或者就是在美国这种挣钱太容易啊挣钱太容易的时候你就不会费脑筋去想怎么挣钱哎不是很多人来都要找你聊聊吗有什么好玩的人啊而不是很多国内的人来科技公司来对我觉得我觉得都挺好玩的然后确实发现国内的人做产品可能还是想法更复杂一些更复杂一些对就是想的这个回路更长一些跟美国还是风格不太一样美国是我觉得美国就刚才说了我就是做个什么就拿这个卖钱了对啊就是简单啊就是这个事就是需要這個能力有了這個能力之後就是要比別人便宜我就能掙得比你多哪有一點辦法也沒有中國呢中國感覺都是這種什麼一開始不掙錢但一旦他開始掙錢你就攔不住他就是他是真的能形成那個自己的那個圈的你就是他真的把那個圈轉起來的時候你再想往裡插就插不進去了你覺得美國公司現在看懂自己的跳動沒有我的感觉是没有还没有他都这么大了你说是不是重视他那肯定是重视的大家肯定都知道字节是一家被严重低估从它的市值上来说是被严重低估的公司这是我觉得大家很明确的事然后我觉得也很明确就是说在消费者市场这一端其实我觉得没有哪个公司能和字节竞争但是它毕竟是台中国公司至少从公众的公众意识上来说他毕竟是家中国公司你在看懂他了吗我不觉得大家看懂他但是你看Meta其实也在主动的从字节挖人嘛你在AI行业有什么偶像吗或者欣赏的人虽然你在AI行业很短没啥就是我感觉我感觉我来这个行业的时候个人英雄主义时代已经过去了所以也没有什么英雄有时候你甚至觉得旧时代英雄有点蠢对所以说真的没有什么你觉得谁比较蠢这个还是不说了吧nocomment对我觉得和做物理说还是不一样我觉得做物理说还是存在着一些我觉得真的比我聪明太多的人比如我我读博的时候我那个年轻老板就是我觉得他DouglasStanford我觉得他就比我聪明太多了我觉得他可能也是看到他我才觉得自己待在那个领域也没什么没什么用有他了还要我干嘛呢对吧得跑到AI来降维打击一下是吧也没降维打击但是反正就感觉AI这个事本来也不太需要脑子不太需要脑子真的不太需要脑子需要什么我觉得这个行业最重要的特质就是靠谱就是做事细然后对自己做的事负责任这是最重要的特质你说那些东西有多需要脑子我觉得都是一些本科生就能干的活可是你说AI没有个人英雄主义现在一个AI研究员的价格炒得多高跟球星转货一样我不知道是好事还是坏事对我个人来说我当然很高兴然后是我受益于这个对吧但是实际上来说我并不知道这个事是不是一件好事你觉得为什么价格会变得这么高我觉得可能一方面是大家觉得这个事很稀缺吧但是它实际上可能确实也没那么充足就是因为训练一个人虽然这个事没那么难但是你训练一个人是需要一个环境的就是你得有那个机会去接触这件事你才能学会这件事你没有那个机会你就是再聪明也没用那可能过去能撞到这个机会的人没有那么多所以说在世界上来说可能是比较稀缺从这个角度上来说但我觉得另一方面也是可能对人的炒作有点过分了对非常喜欢神话个体现在对我觉得真的就是再说一次这是一个集体主义的事那很多人也会很好奇因为可能很多公司也想招AI的人那你觉得最重要的还是要靠谱这个有什么衡量指标呢就是怎么能够快速地判断一个人靠不靠谱做事细不细每个人都有一些自己衡量的方法然后我当然也有一些自己的trick就是我以前好像有出一道面试题然后那个我可以大概讲一下这个这个应该不是个秘诀我应该可以讲可能秘诀其实很简单就是说我需要这个人在24小时之内然后完成一个强化学习的项目从0到1就是他要自己去选用什么样的模型我告诉他他有的资源是什么样的然后他自己选用什么样的模型用什么样的数据用什么样的算法然后把这个模型选出来24小时之内就是我给他让他24小时去完成这个事然后24小时结束之后他会跟我有一个小时的讨论然后这个事呢其实在AI时代没有那么难没有AI时候这是不可能的没有人从24小时之内把它做出来但有AI之后其实特别简单因为AI能帮你全套做但为什么还要做这个事呢有两个原因有很多原因其中设计成这样的两个原因一个原因是因为我觉得在这个时代去还去考察别人比如说代码写的好不好其实没用因为绝大多数人都不用自己写代码然后他更重要的是他能不能有效的利用AI那这个事一个方面是考上这个问题第二方面是这个事其实有一个陷阱就是如果你全派让AI做了但你最后没有试图好好理解AI为你做了什么那在那一个小时的讨论里面会露香那个是一个会挂人的地方所以说那个考验的另一件事就是说你有没有真的和AI形成了协作还是说你就全权扔给他那個是我覺得我個人很看重的事兒那個其實也是他這個人是不是左手靠譜的一部分當然這個題目的設計本身也有一些比較陰暗的巧思就是說為什麼設計成24小時就是為了看這個人有多看重這個機會可能熬夜對如果他足夠熬夜他就能撐住這24個小時如果他撐不住那只能說他可能對這個機會也沒有那麼看重那對於比你更年輕的人你覺得他們現在來AI還是一個很藍海就是很有機會的地方嗎我覺得純做語言模型已經不是一個藍海了我覺得晚了就是末班車已經發車了然後末班車已經發車末班那班是哪一班啊我感觉我入行的就是那个末班车然后可能有确实在我入行之后当然还有我现在新的人但我觉得他们就没有机会能接受那么好的机会就是能在一个还没那么小没有那么大的团体里做一件事情他们可能就很少能遇到这样的机会对然后但是我覺得就是AI它是一個很大的方向語言模型只是其中的很小很小一個部分還有很多別的事情比如剛說的多貓胎生成那可能還有很多機會器人那可能機會更多然后包括更夸张的就是比如说你能不能用AI去帮助一些真正的科学问题比如说帮助做量子调控之类的那可能就是更蓝海那就是bluesky的事所以说我觉得对于足够年轻的人来说可能做现在最热火的事并不是一个正确的选择做现在没有人做到的事可能更多的是一个好的选择你自己未来会怎么发展? 你会在Google很久吗? 我觉得应该不会这么公开的说吗? 我觉得应该不会我觉得我还是会尝试去挑战自己的然后要折磨自己对要折磨自己但是我就是可能需要找到一个值得折磨我自己的事如果AI不是本質的難的話你會不會做的覺得無聊啊你對你的挑戰在哪啊我覺得它虽然不难但是你知道和不知道还是有一个gap的就是你从完全不知道这其中的细节到慢慢理解这其中的细节理解它怎么运作的之类的这些事情我觉得还是需要花时间花力气的然后当你理解之后我觉得对这个事也是会对你未来做比如不管你是做产品相关还是说往别的AI的方向去发展我觉得都是长期来说会有帮助的你未来想在哪里去盘查我觉得都有可能没想好该怎么折磨自己你应该不会再跳去另外一个大公司了吧应该不太会了你觉得你在OnTropic上学的和在GoogleDeepMind学的有什么不一样我觉得还是挺不一样我觉得在OnTropic就是你可以把一个事了解很把一条线就是languagemodel这条线的方方面面的了解的很很很透它给你这样的机会然后在谷歌它更多的是一种横向,就是它有很多不同的方面,有很多不一样的人,然后也能见到不一样的视角,也能见到不一样的研究方向。 嗯,对。
- [217:49]
就是你都可以看见。 对。 Ontropic是因为它bet的足够的坚定,所以你能理解得更纵向。 对。 你有想过用AI去解决物理问题吗?
- [218:01]
你们那个理论物理有人在干所以我觉得不需要我去干你对这个没有本质的兴致我觉得这个事就是首先我觉得目前对我来说不是最高优先级我觉得如果哪天我觉得我把我手上最高优先级的事解决了我又没有找到别的事干我可能会去干这个事你现在最高优先级是什么我现在最高优先级是就是把我刚才说的这两个事情能够把他至少推进到一个就是和同时能够把自己推进到一个比较我觉得比较比较稳定的状态吧啊那个我觉得是我的最高priority但是可能之后也会有别的priority但是呃自用AI做物理我觉得是一个已经有很多人在试着做的事然后多一个不多少一个我不少不如就让别人先干你有特别崇拜的物理学家吗也没有有但是有点多不知从何说起哈哈哈物理學家有人工智能科學家沒有但這個跟人的成長經歷有關吧就我覺得就是一個成年人是很難真的崇拜一個人的那一個兒童可能會崇拜過誰啊我觉得就物理学家其实还是有很多就真的挺挺强的当然就是大家都说的那种是不是10年前那种也就不说了就什么什么爱因斯坦和黑森伯格这些就不说了然后包括大家后来都知道什么像弗兰克·杨就是杨占尼啊这些也都不说了然后像我之前做土不拉这种体系的时候其实有一个他后来也拿了我讲就是那个好蛋就是你会发现这些人他他有些异常的远见就是他在他那个时代显得格格不入但是你看好战最开始做好战model和这些分数量子或者相应相关的事的时候离最后大家搞明白这些透复物态过了好几十年在那个时候他能够觉得这事重要然后一直在自己在推进这事我觉得这是一个很很不容易的当然我觉得你要非要在人工智能找一个类似的人我觉得可能JeffKing是吧就是在大家都觉得这事可有可无或者不那么确定的时候他一直在这个方向做那我觉得这可能是一个英雄级别的人物在他之后呢AI在他之后我觉得我觉得可能也有一些英雄的集体就是比如像Transformer就是NomuShazier和那些那个Ashish啊Nikita他们那可能是一个英雄集体你讲过一个特别让我印象很深的话我在这个行业又没有什么导师又没有什么旧友我想喷水喷水这可能就是不做AI的好处吧不做AI出身的好处对就是真的没有什么负担就是没有哪个老的是你的亲属所以你觉得他傻他就是傻就可以直接说他傻没有无所谓的你以前也这样吗我觉得我做学生的时候还挺收敛的哦但我后来发现收敛没用对自己也没好处对别人也没好处还是更直接的表达自己的想法是最关键我觉得直接表达自己的想法是一个短期一定会有人恨你但长期大家会会欣赏的事情哦你最近听谁说话特别蠢把这个名字逼掉谢谢我可以一直挺出来哈哈哈哈而且蠢的始終如一他有沒有可能是那個對的人呢我覺得他說的話用Polly的話來說就是notevenwrong因為不良好定義你很難說他說的是對是錯就是有一天可能有一個不一樣的範式發生了他就可以跳出來說我當年說過這個這個這個但是你就发现可能如果范时钦这种状态他也能说一样的话这就是我为什么很讨厌这种很很vague很很很模糊的人的原因因为一个事儿模糊就是没有意义的对你为什么觉得他说话很模糊没有正确定义就是是一种模棱两可如果他有正确定义的话我可以解释他为什么有正确定义但他没有正确定义的话我没有办法解释他为什么没有正确定义因为他真的没有正确定义我觉得起码就是还是一个很良好定义的事就是他他要他是要做然后他的方式可能更偏这种更更传统的这种这种neuralnetworkmodeling的方式而不是更endtoend的这种方式我觉得至少他是良好定义的至于他是对是错那我觉得是未来会检验的事情对就大多数老灯其实都还好就是我觉得人年纪大了不一定会变成老灯的人年纪大了会变成两种状态一种状态叫做得高望重就是他会可能少指手画脚还会花自己的力气去培养年轻人另一种人就是老灯就是自己也不懂还爱指手画脚所以人老了不一定会变成老灯你说受了谁的刺激啊我也不知道我受了谁的刺激但我确实见过不少老灯您从什么时候变化的就是说话非常直接开始不收敛了就是你过去都是这么想的但是你不说我觉得我过去可能也会比较直接但是没有这么直接但是做了AI之后就更直接没有束缚是吧一是没有束缚二是这个领域足够客观就是你其实不用太担心因为自己的观点惹到什么人只要你的观点就是是自洽的就是你有一套自己观点的理论你不是说随便喷人那肯定是会惹到人但是你是有一套自己的理解我觉得其实大家是会尊重你的因为最终你在这个领域做的怎么样是有客观的评价标准的好我们每个嘉宾都会推荐一本人生之书要这本书真的对你产生过重要的影响你要说的这本书是什么这是今天最难的一个问题我感觉你还是高看了我的文化程度我真的没有什么人生之书说实话真的没有什么人生之书好最近读了一本书最近上次那个七一超说的是线条小狗最近读的书就是就是唐川的自传唐川修书的自传啊旅人然后你要非要说就是可能有印象的书首先我这个人确实不爱读书我感觉就是我这个人文化水平比较低然后我读的书除了就是专业性的书之外所有的书感觉都是闲书像什么唐川的自传其实本质上也是本闲书但是就是我觉得写的挺有趣的就是你能看到一个一个后来看起来如此成功的科学家在他年轻的时候有一种挣扎感很真实对然后啊可能就还有一些什么闲书像小说之类的油本小说我很喜欢他的那个来自新世界是一个日本的小说对我觉得你要非让我推荐闲书的话我可以推荐那个对哎你最近有看什么电影啊什么电视剧玩什么游戏什么都没有一个全球范围内你喜欢的食物寿司吧一个全球范围内你喜欢的地点全球范围内喜欢的地点我觉得现在你要非让我选我可能会选夏威夷因为我很喜欢海对但是也很难说因为之后可能去了更多海的地方就另有新欢了一个少有人知道但是可能需要知道的知识点别相信老邓算吗你有迷信过吗我本质上没有迷信过但是我觉得有些时候可以靠迷信来安慰自己我说你有迷信过老登吗哦迷信老登啊从来没有吗真的没有好但是我以前可能没有这么恨老登后来就变得越来越恨老登为什么可能就是当你自己有越来越多判断的时候那些蠢的人就显得更蠢那他们也没有伤害你啊为什么会恨他呢我觉得就是厌蠢症每个人都有厌蠢症哎你的NBT是什么为什么这些年会有一个对于就是年轻人对于年龄大的人这么不友好的一个词出现? 它的来源在哪里? 不知道,没有研究过,可以问问Gemini让他deepresearch一下,看看老邓这个词是哪来的。 那你心目中影响AI进程的这篇论文? SequencetoSequence是一篇然后那个我觉得是languagemodel在featureengineering时代的的高峰然后呃SkinandLoss是一篇就是GerardKarpin他们在在OpenEye的那篇SkinandLoss是一篇是一篇把这种体系化的研究方式引进到这个领域的一篇当然最后实际上SkinnyLaw的做的方法可能他那样并不是正确的就是但是是第一篇把这个想法引进来的我觉得这很关键基于你当下的认知一个关键的中央的BAT是什么LongHorizon我们工作室叫语言及世界工作室第一次听到这个名字的时候你在想什么我觉得这个名字有点正常的太平庸了可以对其实我觉得这个名字是一个可能放在十年以前是一个很独特的视角现在主要是大家共识太多了我觉得十年以前确实就是可能现在不止十年对不起我感觉我年纪也大了可能不止十年了就是可能在就是什么145那个年代大家都会觉得视觉是最重要的事在那个时候我觉得意识到语言是承载智能的重要载体的人可能是一个不一样的事情不过我觉得我们这个名字不是在AI的语境里面讲那就值得深思了字幕by索兰娅好了今天的节目就是这样这里是商业访谈录是一档由语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室获取更多的信息我们的公众号是语言及世界languageisworld我们希望和你一起从这里探索新的世界WellexplorethenewworldfromhereShiningoutsothecloudscanhearEveryheartbeatdrawingthemapwesteerWellexplorethenewworldfromhereStepbystepturnthedoubttocheerWerethestartofthestory