149. 亲历中美neo labs资本狂潮，和清华刘子鸣聊：AI for AI、机制可解释性和Max Tegmark

Summary

张小珺Jùn｜商业访谈录 EP149 亲历中美neo labs资本狂潮，和清华刘子鸣聊：AI for AI、机制可解释性和Max Tegmark 嘉宾：刘子鸣（清华人工智能学院助理教授、上海七志研究院PI、AI初创公司“圆环智能”首席科学家）

录制日期：2026年7月30日

---

一、节目概览

本期嘉宾刘子鸣，是清华人工智能学院助理教授、上海七志研究院的PI，同时参与AI for AI初创公司“圆环智能”。他在北大物理、本科后前往MIT攻读博士，师从AI物理学领域风向人物Max Tegmark。节目聚焦中美AI初创Neolab资本热潮，探讨AI for AI、机制可解释性、AI研究自动化，以及“物理学视角下的AI”，穿插个人学术转轨与中美创业心态变迁。

---

二、资本潮中的“NewLab”现象

资本狂潮崛起背后的本质（00:03–16:00）

• 近年来，AI领域一级市场极度火热，尤其关注“世界模型（World Model）”和“AutoResearch/AI for AI”方向。
• 新一代Neolab初创大多由名校青年科研人员创立，未出产品即获亿级融资，呈现“太疯狂了”、“投项目都非常快”的现象。
• 刘子鸣分享亲身经历：2026年春回国，清华入职后即进入融资阶段，“我的体感是就太疯狂了……大家都相互打听消息，投项目速度非常快。”（刘子鸣 07:30）

引申：

• 新一波lab创业涌现，是因为顶级AI人才更愿自主探索，不想“去大厂做大头兵”，期待下一场范式突破。

---

三、从物理到AI的科研转型路径

学术与个人经历（16:00–31:00）

• 物理学的“盛宴已过”，AI带来更多给年轻人的机会。
• 受GAN（生对抗网络）论文（2017）点燃兴趣，由AI for Physics入门。
• 博士期间逐渐从“服务物理的AI”转向“服务AI的物理方法论（Physics for AI）”。
• “物理人对推导与结构的执念，使我很自然想做AI的物理学。”（刘子鸣 20:45）
• 师从Max Tegmark——物理系中最早关注AI与物理结合、AI机制可解释性的学者之一。
• 科研风格自述：“如何嫁接神经与符号，或者AI与自然科学，是我研究的主线。”（刘子鸣 25:13）
• 讨论“鸟人与蛙人”，自己和导师都是偏“鸟人”：视野广、能跨界搬运结构性洞见。

金句举例：

• “真正成为AI科学家是因为AI能带来成就感远高于物理，且对年轻人机会更多。”（19:10）
• “所有的模型都是错的，但有些是有用的”（引用“All models are wrong, but some are useful” 21:15）

---

四、KAN网络、机制可解释性与AI科研范式变迁

KAN项目由来与科学哲学（31:00–51:00）

• 刘自述KAN网络开发经历，从“物理美学”到结构/符号与神经的二象性（玻璃二象性）。
• KAN灵感来源：让网络既是神经网络、又是符号公式，实现连接主义与符号主义融合。
• “物理学的目标是在于压缩，AI设计模型也需要科学性的structure，而不是‘拍脑袋’。”（38:20）
• 机制可解释性（Mechanistic Interpretability）动机——理解大模型的工作方式、覆盖Anthropic等业界路线。
• 对算法设计和硬件适配关系的批判：“Transformer是抽中了GPU的彩票，真正的创新应是模型本身的结构可压缩、抽象与泛化。”（43:11）

Timestamps与quote：

• 33:07 “我做KAN网络，其实是想实现AI和物理两种极端哲学的契合。”
• 37:40 “All models are wrong, but some are useful…物理人更关心一般情况——宇宙不是最坏的宇宙。”

---

五、AI for AI/AutoResearch：定义、核心路径与技术难点

AutoResearch本质及路线图（51:00–72:00）

• AI for AI被定义为“让AI自动化生成AI模型及科学研究”。
• 不同于主流coding agent（把AI变更勤奋），刘的路线强调让AI变得更聪明——即三次想法中有一能work，而不是十次才有一次。
• 技术核心是“结构化research”：从收集人与AI的完整思维链，建立AI研究的结构化数据。
• “我们采集的前20天，发现自己预测训练结果的能力在每日训练后显著提升——说明模型可以通过‘自我训练’获得科研直觉。”（刘子鸣 62:00）
• 研究品味的可训练性——“顿悟、灵感背后，都是可追溯的思维链条，并不是不可言说的奇点。”（刘子鸣 86:55）

OFHIS结构：Observation、Problem、Hypothesis、Intervention、Speedup

• 用以结构化科研步骤，也是新AI科研语言的雏形。

金句：

• “AutoResearch的终极目标，是提出下一个模型结构，不止于人的直觉拍脑袋，不依赖海量试错，而是机制化的发现。”（刘子鸣 69:20）

---

六、机制可解释性与AI Physics（Physics of AI）

学术与工程的桥梁（72:00–79:00）

• 可解释性与结构主义的定位——既非纯粹神经、也非僵硬符号，而是“结构主义”。
• “Anthropic强调单个神经元的解释性，但维持高稳健性依旧困难，可能只是模型中的故事。”（刘子鸣 76:45）
• Physics of AI强调的不只是结构透明，更在于理解每个trick、每个架构的适用条件与局限——“科学的态度无需神话某一模型。”

---

七、AutoResearch / AI for AI中美路线与生态梳理

国内外代表性路径比较（79:00–87:00）

• Recursive（田渊栋率领）：更偏coding agent与记忆驱动改进；有向科学本质投入，但目前细节未公开。
• 孙天祥团队（曾研发False系统，现去百度）：更像paper agent，强调自动生成科研论文。
• 陈永超团队：同样为paper agent/AI research agent路线。
• 自己的区别/核心：“Better/Different Thing”——坚信AI for AI不只是‘提升行动力’，更重要是结构化和机制层面的“聪明”。
• 中美投资生态对比：美国投资人“允许三年不盈利”；国内要求短平快，有6-12个月RD窗口。

---

八、商业化和未来预言

科技创业的机会窗口（87:00–95:00）

• “短期目标是training copilot，长期则是training autopilot——打造端到端的AI模型设计、训练与部署系统，让人人都能训属于自己的模型。”
• 如果AI for AI得以落地，将实现“训练能力的平权”，人人可训模型，随需而定。
• “人人可训模型”远景下，类似大电脑—个人PC—智能手机的技术经济变迁。
• “我们不打算做另一家OpenAI，我们要孵化各行各业的OpenAI。”（刘子鸣 93:00）

---

九、个人与思辨

创业和学术身份切换（95:00–结束）

• 刘自述：从纯学术到创业，感受“开了天眼”——大世界与资源、人脉都迅速放大，但技术和产品创新依旧需“脚踏实地”。
• 创业与教授身份，“我都要”——短期需6-12个月的研究型探索，产品化转型后可引入商业合伙人。
• 热干面、江河沿岸、GAN论文——个人生活片段作为结尾，反映其人文温度。

---

十、金句摘录与重要节点

• “所有模型都是错的，但有些是有用的。”（21:15）
• “我们要把研究的语言结构化，然后让AI基于这种结构，去自动化科研。”（57:50）
• “顿悟时刻其实可言说，是因为我们还不够深挖自己的思维链。”（86:55）
• “AutoResearch的里程碑，是AI在一个细分领域提出了结构创新，并碾压现有阵营。”（71:30）
• “人人可训模型将类似个人PC革命，是AI领域的平权。”（94:20）

---

十一、重要时间节点索引

• “资本疯狂”与NewLab现象——[00:03–10:00]
• 物理到AI的学术轨迹——[10:00–31:00]
• KAN网络、可解释性、结构主义——[31:00–51:00]
• AI for AI/AutoResearch定义、路线、痛点——[51:00–72:00]
• 机制可解释性与Physics of AI方法论——[72:00–79:00]
• 中美AutoResearch生态梳理——[79:00–87:00]
• 商业化路径与训练平权前景——[87:00–95:00]
• 创业、学术、个人选择——[95:00–结束]

---

十二、结语

张小珺以温暖与激励作结： “如果我的访谈能陪你走一段孤独的未知的路，也许有一天可以离目的地更近一点，我就很温暖。” 本期为AI领域最前沿的科学与创业交响，浓缩了中美创新对比、顶级学术思潮与资本范式变革，多维度展现了AI for AI/AutoResearch的现状与未来。

---

适合谁听：

• AI研究员、创业者、投资人
• 关注AI科学原理、机制性突破与自动化科研的人
• 对AI产业中中美区别有兴趣的听众

---

Transcript

[A]

Hello大家好我是小君我们此前访谈过谢赛宁洪乐同他们分别是来自于欧洲和美国的NewLab但是今天的这个现象已经不止于海外206年中国也涌现了一批新型实验室这些有研究背景的老师或者学生正在成为一级市场的新宠儿他们普遍很年轻,有名校科研背景,第一次创业,在还没有产品的时候就能以估值数亿美金融资。 当下资本涌入最活跃的方向是世界模型和AutoResearch,AutoResearch可以叫做AIforAI。 我很好奇這個現象的現實與成因這期節目我邀請了清華大學人工智能學院助理教授上海七志研究院PI劉子明他畢業於北大和MIT是看網絡的一座在今年3月份剛回國到清華任教同時參與創建公司圓環智能他用太疯狂了来形容这股新的资本潮我们聊聊中美Neolabs的兴起与成因以及他所探索的一条非典型的AIforAI叙事那接下来就是我对刘子明的访谈对我是三月份回了国然后大概是四月底入职的清华然后五月底开始参与融资然后这个过程我的体感是就太疯狂了怎么说但反正不管是AIforScience还是世界模型还是这个AIforAI我觉得都是一个就一级市场是一个非常formal的一个状态確實就是說大家都在這個相互打聽消息然後大家都投項目的動作就都非常的快Hello子明先給聽眾朋友們打個招呼吧Hello大家好能不能先做一個簡單的自我介紹聊聊你的工作和你現在的一些狀態嗯好的好的对首先感谢小君的邀请啊然后我是刘子明现在我是清华大学人工智能学院的助理教授同时呢这个我们节目录制也是在这个上海汽车研究院也是在上海汽车研究院担任这个建制PI然后同时也是参与到了创业当中来然后在《圆魂之人》担任首席科学家然后我之前的经历呢本科是在北大物理学院读的本科然后后面去了MIT接着是做AI和物理的交叉之后短暂的在斯坦福做了半年的脑科学家AI然后我博士的导师比较有名是这个MaxTechmark他是从201年就开始去宣传这个AIforphysics然后包括20年底203年初他也是最早的这个宣传这个mechanisticinterpretability就是这个机制可解释性这个最近也是这个唐杰老师说要制服要投资百亿的这样的一个方向也是Anthropic在做的方向对这个我们是20年底203年初就开始布局这样的一个事情对你是怎麼從物理走到AI的我觉得很多包括姚舜禹是吧我觉得很多做物理的人都会有这样的一个经历就一开始做物理是觉得物理它是一个很美的在智力上非常challenging就是非常困难的一个事情所以就被物理这个学科所吸引但是后面慢慢的就感觉这好像不是thepartyisover这个也是高明你们经常说的一句话就是说盛宴已过就是感觉就是给年轻人留下的那些问题其实没有那么多了但是AI它是一個相反是一個給我們這些小的人有非常多機會的領域然後我大概是具體來說我是大二那會兒應該是2017年我就是關注到了這個GAN網絡就是那個GenerativeAdversarialNetwork生存對抗網絡那個時候我就覺得這個東西特別中我的興奮點而且他好像在数学上也没有那么难他做的东西就非常的fancy然后那个时候正好被理论物理和实验物理双重毒打那个时候就不知道自己要做什么因为理论物理又非常的困难也比不过姚舜禹对姚舜禹bytheway就是也是我们一直以来的一个偶像吧因为在本科期间他就发了两篇这个PRL的论文你们是一级吗他比我大一些我在北大他在清華對是的是的所以一直就是聽說他的傳說然後實驗物理那邊我也在想OK那我理論做不行那我去做做實驗然後發現實驗做起來就更差就有点像那个我不知道奥威海默还有杨振宁好吧我少在这里给自己贴金了就是我感觉到就是我进了实验室只会把这个事情变得更加的混乱就我其实也参加过一些实验物理的一些科研比如说之前做过一个磁流体结果搞得满手和满脸都是然后后来我就觉得那我好像也不太适合做实验所以那个时候就是比较沮丧就感觉理论物理跟实验物理都不是我所擅长的那接下来我要干什么然后正好那个时候就看到了干这样的一个东西我就觉得哦那这个东西非常中我的兴奋点那我要开始做它对但可能一开始还是比较谨慎一点就是觉得我不想轻易的放弃自己的物理的这个背景所以呢一开始我们还是这个做AIforphysics比较多一开始这个forphysics主要做的是这个高能围巷就是highenergyphenomenology这个其实和我们现在的一些研究physicsofAI就是所谓的AI的物理学这个方法论其实是有挺多相似之处的它既不是完全的理论它也不是完全的实验它是一种围巷它是一种能够嫁接理论跟实验的这样一种桥梁AIforPhysics的本体就是你服务对象是Physics但是你PhysicsofAI的服务对象是AI服务对象是AI对是的这个也是后面为什么从17年做到2年我做的都是AIforPhysics其实那个时候我们就已经开始在谈AI科学家AI物理学家这样的一些概念但是也是到了2年的这个时间点就是ChadGPT出来了我是觉得物理里面没有那么多像ChatterGP那样sexy的东西可以值得去做所以我就把这个AI跟物理的这个角色给它换了一个位置就是不再是这个AIforphysics而是physicsforAI更具体的就是physicsofAI这个AI的物理学就是我要用这种物理学的这种方法论用物理学的这种思想去帮助我们更好的去理解AI和设计AI所以你本科就已經開始接觸一些AI的內容你做了嗎? AI對本科就開始做AI我的第一個項目就是拿幹網絡去做高能物理裡面的一個任務但是和很多人一樣第一個項目很顯然是不成功的但是在這個過程中我自學了很多AI的東西然后在这个过程中慢慢的就觉得就还是学习AI能够给我带来的这种愉悦吧给我带来的这种成就感是比物理要多很多的所以我就学着学着学着我就慢慢的就是就是说我基本上所有的时间都投在AI上面了所以你到本科毕业的时候是一个什么状态我本科毕业的时候状态那个时候我是发表了三篇就是AIforphysics的文章有两篇是就是和高能物理相关的然后还有一篇是可能算是physicsforAI吧就是我们用量子里面的一些想法去设计了一个更好的一个海样的一个东西一个exampler一个优化器所以那个时候的状态我觉得还是偏物理这边的包括后面去申请这个博士MIT对现在也是物理的这个项目但是Max他就是不拘一格匠人才吧就是说可能整个MIT物理系除了他可能还有MarisZajic就是另一个做光学的一个老师但是也是AF光学的一个老师他们两个是非常好的好哥们可能整个MIT那个时候是20年AirforScience还是一个有点过于遥远的概念我记得我当时申请博士就是我在我的这个研究计划里面写的就是说我接下来要做AirforPhysics只有Max看到了我的材料然后他说我要招这个人然后他就把我招进去了他是因为喜欢你的研究方向招的你他是喜欢我的研究方向然后他也跟我说就是他看我的个人网站也觉得非常的厉害因为我当时就是在我个人网站上面画了一个类似于八卦图的一样的东西我会去画我的这个researchinterest就我的这些研究兴趣他们是怎么样相互关联的然后他就觉得说其实和他的思维模式非常像就是Max也是一个就是思维有点发散的一个人就是你跟他聊可能我们就聊一个小时可能会涉及到比如说五到十个topic因为他是经济学的本科然后后面他才是去做了物理然后后来在201年的时候他就开始说AIforphysics了这个是一个非常非常早期非常非常超前的一个做法我觉得都是因为他这个人的兴趣点也是非常的广泛然后他能够看到不同事物之间的联系这个他是比较典型的这种所谓的鸟人就是FreemanDyson他会把科学家分成这种鸟人和蛙人鸟人就是说简单来说就是每个领域都懂一点然后它能够看到不同领域之间的结构性相似因此它们能够把一个领域的一些方法给搬运到另一个领域鸟人的好处就是说它能够瞄看整片领域然後他能夠去集中精力他主要的時間是花在去找到一些更highlevel的一些更高層級的一些比較和抽象上但是蛙人另一方面就是說他們會把一個領域做得非常的精細就是研究的非常的深刻那在這點上我跟Max其實都是非常典型的鳥人你是INTJ我感覺INTJP人比較像你說的這種鳥人對它是ENTP你在博士的研究探索上有一條主線嗎其实中间换过几次方向就是在20年之前就还是AIforPhysics做这个AI物理学家然后20年底Chatterjee必须出来然后Max说OK我们整个组都要换方向我们从现在开始要来做机制可解释性为什么呢因为大语言模型太危险了那我们要保证它的安全我们就需要理解它它内部到底是怎么工作的所以这个大概是203年204年就是这两年我们主要是围绕的机制可解释性BythewayKAN其实是我自己的一个sideproject就是一开始Max还不同意我做这个项目但是后面我大概做了两周做出了一点初步的成果然后他说哦这个东西还有点意思那你就接着去干吧为什么他开始不同意啊这个是你就是一个很有影响力的KAN的网络KAN的网络这个也是一个呼应就是我是因为KAN入的这个AI然后我们后来二十四年又提了这个KAN的网络对就是他为什么一开始不同意呢他就甩了我一篇198年的一篇论文那篇论文是那个ThomasPoggio写的ThomasPoggio也是我们MIT的一个就是很有名的一个教授然后今年应该是90岁了然后他在89年的时候就写这个这两位苏联科学家数学家Komogorov跟Arnold两个人提出的这个数学定理他没有办法被变成真的算法然后他们当时的一个说法就是说他们就是找到了一个worstcase就是最坏的情况在这个最坏的情况里面他们是没有办法找到这种严格的两层光滑的这种commongoalofArnold的标准这个听起来很冗长反正就是前面加了一系列限制性的条件但是我感觉作为物理出身的人可能有的时候并不那么care并不那么关心最坏的情况是什么样的我们关心的是一般的情况我们关心的是它能不能在某些场景有用它能在某些场景有用那它就是一个好的一个东西对这个可能跟另一个想法就是allmodelsarewrongbutsomeareuseful就是所有的模型都是错的但是有些模型它是有用的所以也就是这种想法对我就在想那你数学上告诉我这个东西最坏情况不work但是物理上我们关心的东西都是有很漂亮的结构的那这些东西其实它不是最坏的情况就是我们人能生活在这个宇宙里面我们这个宇宙就不是最坏的宇宙我们就一定是一个还不错的宇宙我们才能够演化出生命出来我们才能够在这里问这个问题我们到底是不是在这个最坏的宇宙里面所以说就是基于这个就是因为这样的一个乐观性让我暂时的忽视掉了FAX的这个警告就是说198年编制说这个东西不work我就是花了两周的时间把这个原型给做出来了然后我去找Max说你看我把这个网络给训练出来了但是max呢一开始还是不是很满意他就是说但是我并不知道你这个网络这个内部到底发生了什么呀你还是造了一个黑盒子出来这个也是这个机制可解释性之道他还是个黑盒子而max就说那你能不能想一下去把这个把这个网络给他做一个可视化然后我就大概花了一周的时间bytheway那个时候我还是一个不相信codingagent的人当然那个时候codingagent确实也还没有现在这么厉害所以那个时候这些代码就还是一行一行手搓的所以那个可视化还是花了我一周的时间但现在可能一个小时就够了对就我花了一周的时间把那个可视化给做好了然后把这个可视化做好了之后max说wowthisisawesome因为max是一个超级的视觉动物其实我也是就是我一定要看到一个东西我才会相信它我如果不看到一个东西我就总觉得很难受就是我脑子里有个图像我没办法把它倒出来我就会很难受对所以说我把这个看的这个结构图画出来之后Max就被说服了他说这个东西它太有趣了我们居然能够看到这个网络它的脑子里面到底在想什么而不仅仅是说它最后端到端它的这个端到端的它的这个预测是什么对所以这个是通过这个方式就说服了Max吧然后后面其实就是一个一些很正常的一些research的工作对但是确实早期我觉得还是蛮有意思的一段经历吧你当时为什么想到要做CAN的这个网络对我觉得这个也是是我一直以来的一个执念吧就是我会觉得AI和物理这两个学科的哲学差得太远了就是AI的哲学至少我们现在的AI它是一种基于连接主义的它是一种神经的东西但是物理呢它是一种基于符号的东西那我就会觉得两个东西不同意就很不好這個可能也是來自於就是受過物理訓練之後會有一種衝動想要去系統化想要去做統一的這樣的一種衝動所以呢我其實很早就從201年我就在思考這個問題就是我怎麼樣構建一個網絡它同時是一個網絡它同時又是一個符號公式這個其實有一點像玻璃二象性就是我們量子物理中說的一個粒子它既是物理它同時又是波那我能不能构造一个网络它同时是一个神经网络同时它又是一个符号公式然后就是基于这个探索我就写出了这样的一个方程出来其实我是事后我才知道大概过了几天我才知道我写出来这个方程其实就是1957年科莫戈罗夫和阿尔诺特写出来的那个方程但是我是从另一个角度我是从神经网络和符号公式玻璃二象性的这样的一个角度我写出来这个公式然後我後知後覺就意識到這個東西1957年的兩蘇聯數個學家就已經寫出來的而且他們證明了這個東西是有這種萬能筆電定理就相當於就給我們的這個模型有了這個理論的背書就是這樣的一個表徵它能夠表示任意的函數那這樣一來的話這個對就相當於是把我一直以來的這樣一個執念給它就是給它close掉了對在看之後你的探索是怎麼延續下去的呢後面跟這個工作還有關係嗎对就是看对我来说它更像是一个例子一个什么样的例子呢就是我人通过拍脑袋我能够去设计出一个新的架构我觉得我这个人思维模式有的时候有点偏抽象吧或者有点偏highlevel就是看成功之后我想的不是说怎么样把看去应用到不同的场景而是说我在想我怎么样复现我能提出新架构这个事情对所以这也是导致了我后面这个PhysicsofAI就是对AI的物理学的探索就我觉得设计模型本身应该是一门科学它不应该是像我们现在这样Transformer拍脑袋拍出来的GAN拍脑袋拍出来的ResNet拍脑袋拍出来的GAN拍脑袋拍出来的那这个就非常的不scalable就是我觉得我们不应该scale就是compute或者data我们应该compute这种AI模型的设计但是这个东西怎么去scale那这个又是一个巨大的一个research的问题所以就是在看之后其实我觉得它对我来说是一个出发点就是我会更多的去思考一些mathscience上面的东西某种意义上就是我是怎么样思考出来的然后我想把我的这个思考过程给针流到一个模型当中去所以就成了我的一个新的执念这个也是我现在参与创业做的这个AIforAI想做的一个事情就是把我自己或者把这个世界上这种顶尖的AI研究员的这种脑回路给针流到这个模型当中甚至不是针流甚至我觉得能够产生一些最顶尖的人类的科学家和研究员更好的一些东西但是大家說Transformer的時候也會說它是抽中了GPU的彩票就是它跟芯片它是更適配的一種模型結構那如果基於不管是FacelessofAI還是AiforAI設計出一種新的模型結構那它跟當下的這個硬件它能適配嗎嗯这是一个好的问题对其实是更加说明了就是transformer其实在算法上也没有那么厉害他是中了这个硬件的彩票就我其实挺同意就是赛宁就是之前赛宁和你的采访里面赛宁的一个观点赛宁就是说大语言模型它是反bitterless的就是大语言模型它能成功它成功的点在于语言它成功的点不在模型就是因为语言是我们人类演化了百万年相当于是自然给我们的一种馈赠然后我们把这个礼物把这个馈赠拿过来然后在上面其实你做什么样的模型只要这个模型能够把这些馈赠给吃下去那它就是一个好的模型它可能是transformer但平行宇宙里面它可能是另外一个模型它都是有可能的其实我们现在已经有了各种各样的变种了对吧比如这种lineartension这种模型所以说对于语言模型来说我觉得这个地方的架构设计还相对来说没有那么精巧是因为语言本身是一个已经被压缩得很好的一个模态但是对于很多其他的魔态比如说像视觉我觉得这个也是很多现在世界模型公司想要解决的问题它这些魔态并没有被压缩的很好所以这个时候很重要的一点是我们怎么样去构建一个可以压缩的模型这个模型它不仅仅是是说像transformer一样我去把所有的知识给记下来而是它能够去学到抽象的表征这个其实也是人我们最擅长的因为我们人这个世界的变量实在是太多了但是我们人要我们的祖先我们要能存活下来我们需要去理解我们存活最重要的要素是什么我们最重要的要素是那个地方有个果子我要把它摘下来我吃下去我今天就不会饿死然后那个地方就是有一只老虎然后不能被他发现就是人因为这个进化的原因我们不得不去特别擅长就是识别海量信息里面最重要的部分但是这个恰恰是现在的AI还不具备的这种抽象的能力对所以这个我个人是觉得为什么模型设计会变得更加的重要在后LM时代我觉得会变得更加的重要是因为LM的成功不是因为模型当然了我说这话也有点马后炮的意思对吧就transformer就比如说它这种attention的机制是能够让信息在上下文方向上很快速的进行传播这个是像之前的模型像RN或者LSTM那一代模型所不具备的那这个确实是它的一个创起点但是可能只要我找另一个模型另一个模型它也能够让我们在上下轨上面有很高效的这种信息传播那对于那种模型来说可能跟transformer是一样好的就是说它牛不是因为它叫transformer他牛是因为他能够在上下文上有比较高效的这个信息传播以及ResNet也是他牛不是因为他叫ResNet他牛是因为他能在深度方向上有很高效的信息传播有很高效的这种梯度传播你自己觉得你自己是一个什么样的研究的阴格呀从你的本科到你的博士我觉得我其实是有一条很清晰的主线的但这个其实也是我后知后觉就是有很多人问我说感觉你东做一下西做一下然后后面我再慢慢地总结出来从点连成线是的是的就是这个主线说的就是如何去嫁接神经和符号这两个世界或者更具体一点就是如何去嫁接AI和物理或者更一般的就是自然科学对因为我们人所居住在的这样的一个宇宙就是在这样一个自然的一个环境里面我们是非常擅长这个这种符号就是虽然我们不一定能够显示的写出来刘登方程但是我們卻非常擅長就是能夠去就比如說我拋棄一個東西我非常擅長去預測它下一次會出現在什麼地方那這個其實是就又是神經這一部分帶給我們的一個能力對所以說我整體的研究是想要去嫁接AI和科學這兩支那AIforscience說的就是說現在的science它太symbolic了我想用neural的东西去补足这个symbolic的东西这是AIforscience为什么科学是符号主义的是因为它有很多方程式对我觉得至少物理它是一个非常符号主义的一个东西那化学生物可能也有一些不少的这样的一些经验性的东西然后这个是AIforscience那scienceofAI呢就是说我不满意于AI是个黑盒我不满意于AI它就是一个神经的东西然后我要用符号的东西我要用science的东西去描述去理解去改进去设计我的这个神经的东西这个是scienceofAI所以包括AIforAI其实我说的AIforAI其实和大家现在说的AIforAI也有点不是完全一样吧大家现在说的AIforAI可能是说我拿一个codingagent去写paper或者说我提升自己的这个这个训练的这个pipeline那这个就还是说从神经到神经就没有闭环进我的这个symbolic的部分所以我的AIforAI我是想用自动化的方式去做AI的物理学就是用AI来辅助我们更快地去理解AI本身然后这个事情最后又能够闭环到不仅仅是理解而是去提升AI为什么一定要引入符号学呢就是没有符号主义也很好啊只要你能AIforAI就可以了对,这个地方我觉得有一点取决于你的belief就是我的belief是AI它是一个半物理半天生物的这样一个东西那物理它是一个我觉得可以这么来讲就是用EliasEsquivel说过的一句话就是intelligenceiscompression或者反过来compressionisintelligence就是我觉得符号是一种极致压缩的体现就是当我们能够把一个东西符号化这个东西意味着我们能够对眼前的数据做极致的压缩那这个其实是像物理学这样的场景我们是有这样的一个luxury就是我们是能够去给它压缩成符号的但是可能对于像化学或者生物或者一些更社会科学可能我们确实没有办法把它给符号化所以我觉得这个也是我认知的一种演化吧就是比如说你如果在去年问我这个AI的物理学怎么做我觉得它最后一定是符号化的但是我做的越来越多了之后我会意识到可能我做一个预测器出来就好了就是说因为物理最后的目的也是预测我不一定非得用一个符号的理论去做预测那现在我都做了一个预测器了那这个预测器其实可以是一个神经的东西它可以就是一个neuralnetwork它可以不一定是符号的只要它能够有用只要它能够在某些场景预测的还不错就我特别同意你说的就是它不一定得是AFAI它不一定得是一个符号的东西它可以是一个神经的东西但只不过符号的东西我觉得还是sofar还是我个人的一个执念吧就是因为符号的东西它更可解释一点符号其实是把它从一个经验科学变成理论科学的过程是的对而且这个地方符号其实它也是有不同的level的它也是有不同的层级的这个我特别喜欢举的一个例子就是说对应到天文学天文学是有三个阶段的第一个阶段是地骨它这个人去大量的关心它会去记录什么星星在什么时候在什么地方这是第一阶段这是一个数据的阶段然后第二个阶段是开普勒开普勒它会去你和这个行星的这个轨迹然后他会发现哦行星的轨迹是椭圆然后这个时候就已经有了这个经验公式然后第三个阶段再是牛顿的阶段就是牛顿他会去把开普勒的这些经验公式拿过来就开普勒的这个三大定律拿过来他说你这三大定律仍然不本质你还需要三个定律我给你写个引力公式我可以把你三个定律我全部给你预测所以这就是一个典型的一个压缩的过程就是在地骨时代你需要把整个数据表给记录下来它就非常低效但是你到了开普勒时代你一个椭圆方程然后再加上一些开普勒三道定律就可以把这些数据很好的归纳进来然后再到牛顿时代牛顿时代说你开普勒仍然麻烦了我可以给你压缩的更小我可以给你把这个东西压缩的更小对那对应到现在AI其实我们大体上是处于一个就看我们怎么衡量了有的时候会说我们现在是处于第1.5个阶段什么意思呢就是我们其实有了大量的实验但是呢我们的经验规律其实还不是很多就比如说像scalinglow其实是我们为数不多的吧知道的几个经验规律它跟开普勒定律的这个地位是类似的我们现在还远远没有到这个AI的牛顿这个状态对当然有的时候我又会说我们其实更悲观一点我们可能现在是0.5就为什么这么说呢因为地骨它好说歹说它把望远镜对准了星空它会去测各个星区的星星在什么地方但是我们现在过度的聚焦在过早的收敛到比如说像Transformer这种类型的架构上我们似乎已经失去了探索其他类型架构的这样一个motivation所以就有点像是地骨它就盯着一片星区然后过分的沉溺于这片星区哇这片星区实在是太美妙了然后就忽视掉了对其他星区的一些观察所以从这个意义上来说我们现在可能连地骨时代都还没到可能连数据大数据的时代都没到就是说我们这个数据它是只针对transformer只针对很少的几分这种模型有效的我们还远远没有到能够看到整片星空的这样的一个阶段我要给大家解释一下,因为子明现在的创业的方向,参与创业公司的方向是AFOAI,所以刚才我们在讲他所相信的AFOAI是什么。 我们刚才吃饭的时候,你也聊到你当时在MIT的时候其实没有想过要创业,还是想着要当教授,然后去了Stanford才想着要创业,你能不能把这段经历给大家讲一讲。

嗯对我觉得MIT和Stanford还是挺不一样的两所学校在MIT呢大家就还是比较学术比较偏保守一点就比如说24年啊那会在MIT这个大家就是我的同学吧都觉得湾区那些人搞的agents都是在骗钱对所以说呢就是说一直到可能就是二五年五月那个时候拿了清华的offer我的mindset都还是说我要就我要在学术界然后做出更有影响力的工作我不要跟你们工业界那些人同流合污对但是现在看来那个时候就太naive了就是或者就是太理想化了或者用比较流行的话就是说还没有脱下这个孔乙己的长衫对所以MIT的人的信仰是什么MIT的信仰就是我们比如说用五年的时间就能写出AI的物理学有了这个AI的物理学之后我们会发现现在我们投入这么多资源完全就是在浪费因为我们可以从第一性原理去推导出最优的架构是什么样子的所以你也可以理解就是我为什么那个时候特别看不上工业界因为我觉得你们你们就是有钱对吧其实从这里能看出你理解的AI和大部分人理解的AFY也是不一样的也是不一样的这个你的理解的AFY还是蛮脱胎于MIT的那个文化的我觉得因为你还是在想最优的模型结构是的是的是的对但是我现在创业呢我觉得就是参与到创业当中来呢我觉得我是有一个比较interesting的一个历程就是我是比工业界的那些人都更某種意義上更學究或者說更理性一點吧也不能說他們不理智而是說他們看到了一個可行的路徑就快速地推我覺得也是可以理解的但是就是從學術的角度會比他們更理性一點但是我又比學術的那些人老學究們更瘋狂一點你處在中間對我處在中間然後我的瘋狂就使得就是老學究們就會覺得那可能AI的物理學就是需要做幾百年就是需要慢慢的做但是我现在意识到了可能如果还是靠我们古法科研我这个怎么勾出来我不是凭空说的对吧因为物理学从亚里士多德时代到现在就是20年对吧从牛顿到现在40年那我们现在到没到亚里斯多德时代我其实也不确定这就是对于AI的物理学来说对当时在MIT的时候那个时候我是特别乐观乐观的意思就是说我相信在学术界靠几个聪明的脑子我们就可以把AI的物理学写下来然后就可以savetheworld或者killtheworld我不知道对但就是不需要那么多的试错我们就可以把这个模型就是给它设计出来给它训练出来对那个时候其实我的实验已经做了很多了就是已经有大量的这个这个是做什么实验这个实验就是AI的实验对但是慢慢的后面呢我觉得一方面是我们在这个就是AI的物理学这条路径上面走起来发现没有那么的顺利就这么让你绝望了也没有绝望吧是我仍然相信它最终是能够做成的但是我是会觉得这个时间线不是我在有生之年可以看到就如果我们不是用AIfor这个physicsofAI的办法而是用古法科研去理解physicsofAI最多我说我招10个学生就是我招10个学生但是我仍然觉得这个不是特别scalable的一个方向对所以这个也是我现在参与到创业中要做的是要去scaleinsight就是因为我觉得AI的物理学追求的是understanding和insight对当然有了understanding和insight之后最后还是会闭环到它告诉我们应该怎么去提升模型但是第一步是understandingandinsight就是我们不能够跳过这一步直接到提升模型当然了你能直接提升模型那是最好的但是现状是可能你想10个想法可能有一个想法somewhatwork但是如果我们不跳过中间的步骤我们先有了这个understanding的insight它能够更快的帮助我们去去更好的设计模型从那个不想跟工业界同流合污的你到Sanford以后决定要创业的你发生了些什么变化你在Sanford多久我在斯坦福其实只待了六个月对但是我觉得对我来说是像开智了一样对我觉得也不想就是说哪边更好吧但确实Stanford就是我身边有很多人都在创业就有一个是我一个很要好的朋友叫高温浩对他在湾区那边现在也在创业做的是AIforchemistry哦他跟我一开始也都是在MIT去读博士的所以我们一开始我们的话风还挺相近的啊就都是瞧不起这个创业瞧不起大厂但是去了Stanford之后呢我们是同时开始做博后的然后他就在那边待了两周就跟我说哦子明我要创业了我们之前是每周吃饭嘛每周吃饭我们就是聊的学术聊的什么然后他开始创业之后他就开始教我这个创业应该怎么创业他的变化来自于什么才两周他的变化可能他也有类似的朋友给了他这样的一个刺激我不知道他让你受到刺激的是什么呢就是在你们吃饭的过程中我觉得主要还是就是你特别相信你的皮尔就尤其是你觉得跟你风格很像的皮尔当你看到和你风格很像的皮尔他做出一些改变他做出一些你之前觉得很危险你之前觉得你做不到的事情的时候你就会去想是不是我不够激进是不是我太在舒适区里面了这个是一个然后另一个也是我在斯坦福呆着那个组里面我在斯坦福博士后我做的是neuroscience加AI老板也是特别有名的这个AndreasTolias他是也是全球做neurosciencefoundationmodel最顶尖的几个人之一我虽然只有六个月但是弯曲的这个节奏确实非常快就是我刚去的前两个月他们那个startup还可能在秘密的筹划吧也是个newlab算是newlab但是他们更偏neuroscience一些他们是希望能够从neuroscience一些principle来去解决AIfoundationmodel的问题就更像neuroforAI对神经科学就比如说猴或者说老鼠他们脑子里面的一些表征能不能够用来去约束我这个artificialneuralnetwork这种人工神经网络中的这些表征然后人脑子中的一些结构能不能用来去约束这个人工神经网络中的一些结构等等等等大概做这样的一个事情然后我也是就目睹他们从筹划到最后announce的这样的一个过程然后基本上我觉得对我来说也是一种教育基本上我刚去的时候他们可能在开始筹划然后当我离开之前的一个月他们就announce了对我觉得对我出动也是挺大的吧就是因为我觉得Andreas他也是一个特别purescientist的一个人然后我是目睹了他也是从这个purescientist往entrepreneur转的这样的转变对然后当时当时我跟他说我有创业的想法的时候他也说那你就在我们公司好了反正我们公司也想做这个airscientist也想做airforair对但是后来想了一下呢还是觉得就有点欺人以下的感觉这我觉得我们的路线也不太一样就是我们approachAIforAI的路线也不太一样就是我还是希望能够至少早期的科研RD这方面按照我的意愿按照我的想法去推后面这个东西怎么去做产品怎么去商业化这个我觉得就我也open但是他的DNA得是你的这个方案是的是的这个原生的想法是的是的他这个技术他的这个想法得是我原生的想法对这个可能也是学术圈的人会有一种控制欲吧就是会有一种就是很强的就是说这个想法得是我原创这个想法得是我提出来的当然这个也还是我现在的想法或许我过段时间之后会发现这个也是一种常识你的那个导师他有跟你说他为什么要从一个scientist转成entrepreneur吗其实答案很简单他跟我说答案很简单就是因为他们要做大量的这种老鼠跟猴子的实验那这些实验他是真的需要去用到很贵的仪器所以他在公司做的事情其实跟在学校做的事情是差不多的只不过就是说公司那边会更多的去思考就是这个东西要怎么去商业化当然他说的是他们的投资人跟他们说三年之内你们不用考虑商业化这个三年你就安安心心的做RD因为确实你做这些猴子的实验你确实这个东西急不得你去采树去你就是需要人去养猴子这个周期你是避免不了的这里也说到了一个我们今天很想聊的话题就是今年出现特别多的NewLab你年初的时候可能还是在硅谷经历这一波NewLab包括也亲身地经历了他们整个的筹备到发布的过程然后回国你又组建了自己的NewLab为什么在今年这个时间点中美两边都出现这些NewLabs它们大量涌现背后的本质可能是什么呢我覺得這個地方就是一個人才選擇的問題就是對於頂尖的人才你的選擇無外乎就那麼幾個嘛就是要麼在學界當然現在AI其實在學界的人其實絕大多數也會在業界跨一下就你要麼就去大廠模型廠可能做一個大頭兵那你要么你就自己出来单干我觉得这个也是就是能有这么多新的Neolab也是就是现在的这个范式逐渐收敛的一个过程就是现在的人才他不太希望去大厂里面去当大头兵也是下一个范式下一个Transformer会是用我的这个路线还会有下一个Transformer吗我觉得它不一定是transformer它不一定是一个新的架构我觉得它可能是一种新的范式就像我们刚刚聊到的就是其实现在AI不管你是transformer还是什么架构它最大的一个问题是没有办法做抽象所以它就只能够说要么你喂给它的数据就已经足够的抽象了比如说像语言要么你就是给它喂大量的数据强迫让它涌现出抽象像VLA像世界模型其实就是这个样子但是sofar仍然不是很work是因为抽象实在是太差了对于视觉来说这个抽象实在是太难涌现了我的意思說還會有下一個transformer嗎我覺得當然肯定會有但是我想說的是它這時間週個期的問題就是為什麼不是就是已經有transformer架構已經有了現在這樣已經部分好用的模型是不是就應該在這個模型基礎上去做工業化就是把它推到應用場景裡還是說我們要繼續在這裡探索新的範式然後湧現出新的一種結構也好或者創新也好就是为什么大家现在的选择是出现了这么多newlab而不是一门心思就往前面推进就是基于现在这个方式之下的这个应用我觉得是对于一些方向是还是需要一些research它并不是完全已经录进清晰的事情就比如说我们这里在做的这个research就aiforresearchautoresearch这个事情它不是一个路线已经完全清晰甚至说在非常早期的这样的一个事情对当然了就是说coding其实已经非常成功了就aiforcoding也非常成功了那下一个范式其实自然而然的就是aiforresearch但是我是认为research和coding有很大的不同就是coding它是一个高度结构化的这是第一点第二点是它是有大量的数据的就是我们已经有了GitHub在GitHub这个上面的这些数据是远比其他互联网上其他的部分要更高质量的结构化更强得多的但是对于research来说research它不是一个被结构化很好的这样的一个数据结构就是我们现在还大量的在说我们需要研究的直觉我们需要研究的这个品位就是当我们说这些词的时候其实就默认了研究它不是一个可以很好被结构化的东西就是一旦当一个东西可以被结构化可以被标准化可以被规模化大家就应该会对这个东西去美但是我们现在还没对VCG去美说明它还没有被结构化被标准化被规模化那我们要做的就是我刚刚说的三步第一步是首先要结构化research因为我们有的时候我们自己做research好像是乱的我们脑子里是乱的就是我这里蹦一下那里蹦一下那这些数据其实是没有被沉淀下来的那未来我们要沉淀下来的这个关于research的结构就比如说我们先观察到了一个什么东西观察到了一个什么现象这个现象预示着这个系统里面可能有什么样的问题然后关于这个问题我有什么样的一个假设然后这个假设告诉我们下一步我们应该去做什么样的一些操作然后我下一步做的这样一个操作是不是真的能够对我带来训练的提升就这样的一个闭环这个是我们应该最近会release的一个博客就是我们会讲我们的这一套方法论以及它的一些初步的一些结果那我们这套方法论呢缩写叫做office就是OPHIS这个O呢就是observationP就是problemH它是hypothesisI是interventionS是speedup就是说我们认为所有的researchpaper都应该按照这种结构去对它进行结构化然後我在做科研的過程中當然它所有的科研不會是說那麼順利的我這樣的一個思維鏈就下來了我可能是在不同的節點當中來回的去跳但沒關係但是所有的東西至少我們要對它結構化成它是O它是P它是H它是I它是S然后有了这样的一些结构化的东西之后我们相当于创造了一门研究的语言当然这个说的有点玄学啊就是我是认为研究的语言它大体上是基于自然语言的但是它背后的结构是需要我们自己去做抽象自己创造出这样的一个结构的语言那一旦我们有了这个research的语言之后我们就可以像训大语言模型一样我们训一个researchlanguage的一个languagemodel那那个时候这个research它就能够被自动化能够被规模化但是首先第一步是我们要结构化这个research这你在说你现在在做的事情对吧是的我的意思是说为什么现在出现这么多newlab你有没有一些观察就我觉得NewLab也是就是找到了现在主流的范式的一些痛点吧然后AutoResearch是其中的一个例子就是说现在用codingagent的这个范式接着往下去做其实它会有些missingpart就像我刚刚说的它这个结构还没有被structure的很好然后还有一些痛点就比如说世界模型那世界模型它就是需要设计一些比较新颖的架构那对于这样的一些方向它也是现在的这个范氏所达不到的东西对所以简单来说我觉得nulab的出现就是因为当前的范氏啊一个是你不想去做到头笔第二个就是说呃当前的范氏有一些明显的一些痛点就是明显打击不到的地方而且那些地方呢有的时候可能需要一些早期需要大量的research而不仅仅是说我上来我去对资源我去对工程就可以做成的对然后我刚刚举的两个例子就是说AutoResearch和这个WorldModel我觉得是我认为两个我能看到的比较重要的就是现在的当前范势不能立马解决的问题嗯简单来说AutoResearch或者说AIforAI它其实都在讲一个事儿就是我们要训练一个AIResearcher把它訓練成一個AIResearcher能夠自主的去做研究然後世界模型的本質是在說它要給機器人訓練個腦子它其實是ForRobotics那個賽道的對這也是當下所謂的NewLab融資本湧入最火熱的兩個方向是的是的是的是的你們實際融資感受怎麼樣在今年這個市場上能不能給大家說一些體感你是三月份回的國對我是三月份回的國然后大概是四月底入职的清华然后五月底开始参与融资然后这个过程我的体感是就太疯狂了怎么说就是我觉得像世界模型当然更大的还是AIforscience我觉得很多投资人会把我们归类到AIforscience其实就是因为AIforAI最后它for的还是一个要for的一个东西可以是AIforAIfor世界模型也可以是AIforAIforscience你们for的是science吗可以forthescience但是我们现在还没有定对但就是说其实很多投资人会把我们去画在airforscience下面然后按照airforscience去聊但但反正不管是airforscience还是世界模型还是这个airforAI我觉得都是一个就一级市场是一个非常formal的一个状态有多formal因为我也没有一个比较吧对所以我也很难说但确实就是说大家都在这个相互打听消息然后大家都投项目的动作就都非常的快嗯因为close也非常快而且从种子轮到后面就是种子轮加加轮再加轮再加轮可以无限的加下去呃这个是现在融资的一个比较常见的一个策略吧就是说上一轮的投资人没进来对那我下一轮那我就开一轮但是我开了一轮之后下下一轮投资人又没进来然后就相当于是一个连续的融资的一个状态对你当时为什么没有想在美国创业你为什么做了这个回国的动作就是我觉得我autorese这个事情是需要比较多然后高质量高智商就是高人才密度的这样的一个对因为我就去观察嘛因为我在MIT其实也带过二三十个本科生我的体感是其实平均水平是远不如清北的本科生那我要做的这个事情我是要带小天才的就是我们这个事情是需要小天才加入的对然后我要需要很多的小天才那就回到就加入清華吧也不叫回到因為我之前是北大的就是加入清華然後順便也能從北大那裡耗一些學生過來那就相當於能聚集我覺得不是全國而是全世界最聰明的學生得償所願沒有對啊就是現在我在奇智研究院我帶的十幾個學生就跟我在奇智研究院這邊就都是我覺得是非常非常頂級的學生當我們說AI4AI和NewLab的時候我們自然會想到田園東在矽谷那家公司RSIRecursive你跟他的方向是什麼不一樣嗎當我們在說AI4AI你們在做的是一個事嗎我的理解我基于对他们最近他们最近发布了一篇博客嘛他们博客就是显示了他们的第一步的一些努力我感觉他们做的更多的还是说偏codingagent的改进就是我的理解是codingagent的这个路线更像是说把做一个更勤奋的AIforAI就是我有超强的行动力我可以不停地在这里迭代但是我们这里想做的是AIforAI是一个更聪明的AIforAI比如说我提三次想法可能你们有一个就work了之前的话你的codingagent可能是你提10个想法他你们只有一个能work对当然最终的这个勤奋跟聪明都是需要的所以我觉得我们是两个正交的方向然后intheend最终我们会在某一个地方去对两个approach进行一个整合你跟他们也聊过对吧在回来之前对我跟田园东也聊过当然田园东其实他本人是挺支持scienceofAI的所以这个我其实说实话我也有一些危机感吧就是如果说他们的路线最后会变得和我比较相似那就一定是田园东做的对对因为我跟田运栋就是关于scienceofAI关于以及就是说就之前那个他做的那个grokkin的研究我们之前也有研究嘛对所以我们taste其实还是非常相近的对但是之前的话就是怎么说呢我觉得还是吧就是不完全一样所以我还是想按照我的意志按照我想象的这个东西去推这个事情对我发现了你对你这个原生的想法非常的在意你这个原生的想法来自于哪一刻AIforAI或者是FixesofAI的这个想法诞生于哪一刻我觉得最近AIforAI的想法诞生于我把自己当成一个模型去做训练这个是我从今年年初开始做的一个事情就是我每天会随机地去拉一个数据集过来随机地拉一个模型过来进行训练然后我会在我做实验之前我去问自己现在你来预测这个训练曲线会长成什么样子我就日复一日地做这个我大概做了60天就是我每天做然后这个你如果去看我个人网站上面我个人网站上面是有个博客专栏的然后你会发现我早期是跟的非常平常我每天都跟甚至有的时候一天两根就是因为我在那段时间里面我基本上就是闭关然后把自己当成一个模型在做训练就是我今天做了一个实验之后我就去训练我的大脑这个场景然后我把这个模型这个数据集优化器它会产生这样的训练曲线然后我做这样的一个训练我发现我一开始预测能力非常差我可能确实都预测不对但是我大概自己训练自己训练了四五十天之后我发现我开始变准了我在做实验之前我大概能预测它实验的结果是什么样的甚至可能有的时候我前几天做的是language相关的实验我今天做的是个vision相关的实验我也能给它预测准这个是为什么呀怎么预测的呢我不知道就是我只是训练我的脑子就是我现在还没有办法把我脑子里的东西给它给写成自然语言它可能是一种视觉的reasoning然后可能还有一些就是可能它在浅空间有些reasoning但我其实也说不清楚这些浅空间reasoning是什么但就是somehow我自己突然获得了这种可以预测的能力就是我在做实验之前我就能够部分的去预测这个实验的结果是什么然后就是因为这样的一个在自我身上在自己身上这个人体实验让我相信存在的圆模型这个东西就bytheway圆模型就是说我的输入是一个模型以及可能还有些其他的数据集是什么优化器是什么然后输出就是这个模型的训练曲线所以我在今年年初那两个月时间里面基本上就是把我自己当成一个圆模型在训练训练到四五十天的时候我突然grok了我突然顿悟了然后是因为这样的一个我觉得是这样的一个近似于苦行僧似的一种修行让我意识到原模型是可能的你为什么想来去做这个事儿我觉得motivation还是AI的物理学就是说如果我能够去预测清楚接下来会发生什么那相当于我脑子里其实是有一个世界模型其实是有一个关于AI的世界模型或者关于AI的这个物理学因为物理学就是说我拿来我的物理理论我不用去做实验我就能够通过simulation通过计算我就可以预测出来之后会发生什么对所以相当于是一种先知的能力就是你只要能够预言之后会发生什么你就一定是掌握了某种世界模型基於你自己做這個人體實驗你相信是存在原模型的然後呢但是呢這個問題就是說我沒有辦法把我的這種諾號寫下來因為sofar我的這些知識都還是以某種腦電波的形式存儲在我的腦子裡那我下一步很自然的我就要想我要把这个东西外化就是我要把自己给拷贝一份就我要做一个原模型它能够取代我就是因为我每天最多就做一个实验把一个实验做得非常的仔细这是人的bandwidth这是人的带宽最多做这个最多做两个吧但是一个模型它其实可以一个batch你就可以建造几千组东西对所以这个还是回到我之前说的如果我日复一日把我自己当成原模群去训练我可能要训练一千年我可能需要训练几千年但是我活不了那么久所以我要去加速这个过程我要去做一个圆模型这个圆模型它不像我一样需要睡觉它不像我一样需要吃喝会有情绪它的任务就是去看各种各样的实验然后去预测它们的结果然后在我自己的人体实验上面我发现四五十次就基本上能开始有Grok的迹象了那对于原模型来说当然可能原模型没有我那么就是抽象能力那么强啊所以它可能需要四五百次但是可能无所谓可能这个地方多消耗一点这个啊计算资源也无所谓对所以这里想法主要还是说我想把自己给外化对我想把自己的脑子给外化它跟afai的关系是什么我觉得原模型是AIforAI的一个一条技术路径吧就一旦你有了原模型它可以做很多事情比如说你现在有一百个想法你不知道该试哪一个更具体一点的吧你有一百个架构你不知道该试哪一个那么你原模型说的是你把架构作为我原模型的输入这个原模型就能够预测这个模型它的性能是什么样子的那么你现在就不需要做一百次实验你就只需要用原模型全传10次做10次预测那这个是非常便宜的一个事情当然了最后我们还是要真的去做这个实验但就是对于筛选想法这个事情这是个原模型能够帮助迭代的这个afai的这个迭代的系统更快的去迭代想法就之前你如果没有这种好的直觉你如果没有原模型做辅助你可能需要比如10个想法你需要都尝试但是现在的话这个原模型它能够给你在你事前就去做一个排序啊就能告诉你哪个想法比其他的想法是更promising的然后这个地方的想法更多的还是说做AI的research所以是一个AIforAI的一个东西我觉得AIforAI可能有的时候有点buzzword有的时候我会也会管它叫做autoresearch但是因为这个地方我们auto的research是AI的research然后我们这个地方的auto也是用AI去做的这个auto所以autoresearch它其实也就是一个AIforAI的概念对,世界模型说是预测下一个state,语言模型是预测nexttoken,你们这个算是预测一个实验结果? 对,我们是预测nextcurve,我们的实验结果就是一个训练的曲线。 那你们的训练语料是什么呢? 你们需要训练自己的模型吗? 需要多少种算力?

怎么开始做这件事情呢? 对我们会先从demo做起嘛因为这个事情我觉得是一个三到五年比较长期的一个事情对于我们原模型来说我们的数据是模型那这个地方有点绕啊因为我们这个原模型它是一种关于模型的模型或者说关于模型的世界模型所以我们这个地方的训练数据是模型所以我们是要训练这些模型拿到这个模型的训练曲线这样我们就获得了我们的一个datapoint然后我们再生成另一个模型而另一个模型它会有一条对应的训练曲线然后有了这样的一个pair之后模型和训练曲线的pair之后我们去训练这个圆模型就是用这个监督的方式就是我的输入是这个模型的时候你这个圆模型应该预测它的这个训练曲线对用这种监督的方式去训练我们的这个圆模型那这个它贵的点就是说我们也是需要挺多的计算资源的但它不像大模型一样需要一个很大的集群需要卡之间communication做得很好因为我们这个地方我们是要做大量的这种小模型但是这个地方我们小模型不是说就是transformer的小模型而是我们强调的是多样性我们强调的是要让这个原模型见过很多人看起来非常奇怪的架构但或许就是这个架构能够帮助我们去跳脱出这个transformer现在的这个localminimum目标是什么目标是发现下一个模型结构这个是一个终极目标吧最终我们是希望下一个transformer不是人发现的不是人拍脑袋发现的而是说通过我们这个圆模型这个圆模型给我们预测出来的那中间呢中间要实现的是什么呢中间阶段因为你说下一个模拟结构也许是最终目标嘛那中间的目标是什么呢对中间目标还是就是我们刚刚聊到的去结构化research然后去收集这种结构化的数据然后训练一个我们自己的这个research的这个模型就是为什么我会这么去划分因为好像中间目标听起来它也是要训练一个模型对吧原本应该是一个模型我可能借用这个RichSutton的这个bitterlesson比特拉森说的就是说在短期当你数据不够的时候你需要去引入结构但是当长期当你数据特别多的时候你就不需要结构了对所以说我觉得在短期因为研究的结构化数据还是偏少的对这种情况下我们需要去引入结构到我们的这个整个框架当中来所以这个是短期我觉得比较偏就更务实的一个事情但是长期这个圆模型它是一个端到端的东西我觉得这么说或许有点像我们现在是要做一个世界模型就是短期中短期是要做一个世界模型长期是要做一个VLA我觉得可能有点和这个趋势反过来了但是我觉得可能不重要重要的是我们最终要做成LFA那至于中间的路径是什么我觉得这个就看着半杯就是就边探索着边往前去拱吧为什么短期是worldmodel中间是VLA就是worldmodelinthesense就是它有更多的结构,然后VLAinthesense就是它更端到端,对。 所以现阶段你们还不训练自己的模型? 现阶段其实更重要的是结构化,结构化research,然后以及收集相关的结构化research的数据。 怎么结果化research呢?

因为你也说你们的目标并不是说去做一个paperagent不是说我就熏一堆的论文让他比如说发现下一个科学原理因为论文其实是整个研究探索的结果过程中的灵光一现或者它它的曲折然後它的點呈現草舌灰線都是沒有被記錄下來的你這個怎麼來做這個結果化呢因為論文都只是最後的一個結果或者你可以說它是某一種公式但是它可能還沒有那麼的被符號化是的我可以这么说可能1%的AI论文其实结构化做得不错举个例子就是朱泽源他们做physicsofarms这个physicsofarms就是结构化比较好的就是说我观察到了什么事情我决定做下一件事情他的这个做实验的这个所谓的chainofthought就这个reasoningchain推理链是非常清晰的但是可能9%的paper吧它可能就不会包含这么清晰的这种研究的思维链在里面我感觉在很长的一段时间里面大家把展现思维链当做一种耻辱为什么你要显示你很厉害你就要让别人觉得不可琢磨对你就要直接把这个公式写下来就是说这是我梦到的这是我梦到的不是我推出来的这是我梦到的那这样别人觉得你最牛然后当然我写paper我觉得也是受那个MaxTagmark这个的影响就是我们写paper一个是很频扑秩序第二个是也会把思维链写进来但是毕竟这种会包含思维链的文章虽然不多吧但它也不少因为本来论文的基础就已经挺大的第二方面呢是说我们会收集我们自己的一些数据就我之前比如说和学生去讨论project的时候我会经常有一种感觉就是我们的思维链其实并没有被很好的记录下来而正是这些数据是我们做autoresearch所需要的那之所以现在autoresearch还做得不好其实可能跟架构跟这个路线没有太大的关系其实就是这个数据现在还没有保留下来对那我们第一步是首先我们要构造一个device或者说是一个software这个是我们最近在就是在做了一个东西就是它能够更好地去采集就是说我们整个思维链采集的就是说话比如开会讨论这个是思维链对最后要做的这么智能现在还就是说我在做下一个实验之前我必须要强迫你去写一段话去评价你之前干了什么然后你得出什么结论你才能进入下一个实验是一个很流程化的系统目前来说还是个偏流程化的系统这要多大规模的数据呢如果是采集你们这几个人的肯定太少了吧我觉得这个地方分几种一种就是说paper是有大量的但它质量不一定高然后人的话就是说这个是我瞎说的因为我们还在构建这个采集系统就我们还没开始采但是我预计比如说我一天采10条20个学生加员工可能每个人每天也能采10条这一天就能采20条而两个月就能采1万条我觉得就是差不多可能开始够用了就是可以开始训练这个模型来针对我们自己某种意义上采集完数据接着你要做的下一步是什么下一步就是训练一个这个模型圆模型吗它不是原模型原模型是一个特别终极我们可以把它当成是一个北极星翼的一个目标这个模型它就是去预测我的下一个动作是什么就是我们这个数据收集器其实它不仅是个收集器它也是个环境就相当于是我是在类似于一个我的世界科研版我可以在我的世界里面做各种各样的操作记录下来我的这些操作之后会有一个nextactionprediction就是他就会预测如果是子民就比如说我学生目前做了这些动作然后卡在这个地方他就可以调用子民model如果是子民现在做他会怎么去做他就能够不需要我在场就能够获得我的这个同样水平的这种反馈但这样的话就是需要去训练一个子民model然后每个人都要训一个model或者说把所有人的东西混成一个model就是要训那个model对当然这个也是我们在探索过程中不断的在pivot吧因为就是一旦开始做一个事情之后其实想法以及这个路线每周都在改甚至每天都在改甚至每个小时都在改就只要你迭代的足够快就比如说这个采访如果是上周发生的我就不会讲这一part因为这一part是我们这一周在迭代的事情那如果你下周再采访可能我们这个东西就已经做出来就已经开始收数据就已经开始有些初步的结果了还有什么人有一些其他的AIforAI的路线还包括现在的模型公司他们也会说自己在做AIforAI或者说他们觉得就是AI能训练AI的时候会是一个比较标准性的时刻就是现在主流的绝大多数人做的还是说基于现有的codingagent我不觉得说我的路线跟他们是矛盾的或者怎么样我觉得是互补的可能如果细分的话可能有些人更偏就是说找到下一个架构就比如说我的梦想是说用AI能找到下一个架构我相对来说不那么care生产paper因为我在博士期间我就是个papermachine然后我也知道这些paper写出来其实真正有价值的可能就那么几个点对但是写paper呢也是有它的价值但只不过就是paper是一个我觉得是一个研究的一个副产第一线原理就是研究的第一线原理是拓展自己的知识图谱paper只不过是说当我的知识图谱足够大的时候我一出了就是我的脑子里装不下那么多东西我必须要把它写出来我必须要把它和我的同事去进行分享不然我憋不住就是我觉得我很多时候写paper并不是说我真的需要一个paper毕业或者怎么样我真的需要一个paper干嘛而是说它在我的脑子里我就想把它给扔出来我就想把它给dump出来对是有一些AI的公司他们更像是paperagent但这个就不太是我们的目标我们的目标还是说积累尽可能多的这个AI的物理学的insight这些insight它不一定是paper当然我们想也能写成paper但就是说这些insight它能形成这个AI的物理学的知识库能够帮助我们系统和科学的在未来帮助我们去设计更好的模型架构这个是我们的目的我看到你把physicsofAI拆成三个方向空间上更细实验上更细平行宇宙间看的更细这三个分法是怎么想出来的我是喜欢从我们所居住的这个宇宙角度来思考很多的问题这是你尝试来解释AI这个黑盒是吗这是你的解释方法是的是的在空间上看得更细呢指的就是说我不仅仅是关注这个模型它端到端的行为我也会去关心它这个模型内部的某些神经元然后它的内部表征会有什么样的一些特性这个是空间上看得更细就有点像是我们去做检剖我们不仅仅是去看表面上是什么样的我们也去看它内部它的这个工作方式工作模式是什么样子的这个是第一个就是在空间上看得更细在实践上看得更细呢这个就是说我不仅仅只关心这个模型它最后一个时刻它的表现它的这种性质我也关心它是怎么样演化来的这个其实在生物上面有个对应叫做nothinginbiologymakessenseexceptinlightofevolution他说的就是如果你不从进化的角度来理解生物其实在生物里面没有东西是可以理解的就是是makesense的也是黑盒也是黑盒就是因为生物也是黑盒但是你从演化的角度来说你至少能有一些理解吧对你可能会看你的这个祖先他可能在某一时刻他没有上陆地对吧然后他就一直在水里待着了你就通过这种历史通过这种自然进化你会有一些启发看设备环境对第三个呢这个平行宇宙我为什么这么叫吧我觉得还是因为我的博士导师MaxTagmark他是平行宇宙理论他是提出者之一当然这个地方平行宇宙说的很玄学其实就是控制实验什么意思呢就比如说我有两个培养米都有些细菌然后这些细菌可能在不同的环境里面那对于一个培养米里面的细菌它就觉得另一个培养米它就是一个平行宇宙那这个对应到我们人的科学上面做实验那其实就是去做一些控制实验在一个环境里面我能训出来一个什么样的模型这个环境可能指的就是比如说我的超参数该怎么调调成了另一个槽参数我就能得到限制不一样的模型这个其实是朱泽源他的这个physicsofROM里面其实很重要的一种方法论就是他会去扫一个像图出来就是facediagram那这个像图其实也是物理学中其实比较常见的一个概念像图说的就是说物质它可能有不同的形态它在不同的状态下它可能有这个不同的像同样的物质都是HRO都是水但它可能不同的压强不同的温度它可能就有不同的像这个AI里面也是有很多的像的不管是训练动力学还是什么这个AI里面也是有非常多的像的那我们很多时候会有一些knowhow就是说什么trick它work了什么trick不work其实很多时候是针对这个项而言的就是只有当你的实验是在这个项里面的时候它才是work的当它出了这个项当它进入了别的项它这个trick可能就不work了那可能另一个trick才work但我们现在之所以很混乱是因为所有的人都在说我的这个trickwork但是没有人回答我的这个trick在什么时候work我的模型我的这个系统在什么项里面它才work所以这个其实也是这个scienceofai或者physicsofai想要解决的问题就是因为我们知道nofreelunchtheorem告诉我们没有一个模型没有一个trick能够在所有的数据及在所有的任务上都比其他的方法更好PhysicsofAI的任务就是去理清楚每一个trick每一个架构它的适用条件是什么这个才是一种做科学的态度而不是说你做出来一个东西你就在那里去卖我们这个东西好但是全然忽视掉了可能它好是有一些适用条件的PhysicsofAI其实你想做的也是AI的可解释性你试图把它的原理搞清楚是的就是我会比较警惕可解释性这个词因为可解释性现在就是不同的人可能有不同的这种诠释吧我们认为物理其实就是在解释我们的这个自然世界那么是的就是我是在做可解释性physicsoflife是在做可解释性但是我们的这个可解释要解释到什么程度我们不一定要像anthropic一样解释到neurallevel当然我们其实2年底23年24年初我们其实做了大量的这种工作因为我们自己做了大量的这种工作去解释神经网络背后是在做什么算法呀去理解一些neuron我们自己意识到这样的一些故事其实有的时候没有那么的robust就是你可能换一个随机树种子它这个故事就完全不对了或者说我们解释的有点过于微观了好处是说它非常的具体坏处是说它不一定母帮我觉得大体来说可以说是可解释性但不一定就是我们要非得做到像anthropic那种机制可解释性的那种level嗯我有一点矛盾啊你一方面在做fixiesofAI我理解它是试图理解AI的原理理论化我不知道这个理解对不对是的是的另一方面你要做的是AIforAI这两个是怎么联系起来的就是你做AIforAI需要去理解AI的原理吗AI更像是一个它自己能够自动化去做的事情的一个系统一个机器这中间需要人去把它的原理搞清楚吗我觉得这个地方有一个gap就是说之所以AI能够帮助我们去做一些自然语言相关的事情是因为我们已经有大量的自然语言的语量但是我们才创造AI几十年我们其实并没有太多关于AI的语量这个地方可能稍微有点confusing就是说怎么建模型这些我们都是知道的但是关于模型我们训练一个模型拿到它的训练曲线这样的一个映射关系目前还非常不清晰的所以也就是说连这样的一个语言我们现在都还没有把它进行规模化AIforX它能成功的前提是X得有大量的数据但是AIforAI根据我刚刚的逻辑或者说AIforAIresearch其实AIresearch它其实没有大量的数据至少没有大量的这种结构化好的这种高质量的数据而结构化这个事情本身就需要physicsofAI对这里可能稍微有点绕而且我需要显示的去说明我的这个想法是挺非主流的就是因为AIforAI绝大多数人想的是我直接用AI去提升AI就好了但我说stop就中间其实还有一步我们是先要做physicsofAI这个东西能够帮助我们去设计AI但是人做physicsofAI太慢了古法科研做physicsofAI太慢了所以我需要用AI来帮助我们做physicsofAI所以我的AIforAI的全稱應該是AIforphysicsofAIforAI有了AI的物理學它能幫助我AI这其实就是我一开始问你的就是连接主义的过程中需要符号主义吗因为你说你是连接主义和符号主义中间是的因为物理学相对来说是更符号主义的那如果AI能够自进化的话它需要中间有一个符号主义或者是短期是需要的就是这个短期我指的可能是一百年以内那更长期或许不需要我觉得这个地方还是一个bitterlesson更长期数据量大了就不需要了更长期就是当AIresearch已经被结构化好了已经有大量的AIresearch的数据了就不需要了但是像刚刚说的我们现在连这个AIresearch怎么样最好地去结构化都不知道就更别谈说这个数据量有多大了所以在这种情况下我们需要很多的人的鲜艳或者说这种symbolic的东西去做约束agent某种意义上就是把这个连接主义又往符号主义往回拉了一点就harness所谓的harness就是说你不能太自由了我要给你一些约束某种意义上我觉得codingagent它其实是在说明这个符号主义把连接主义又往符号主义回拉了这样一点但是我们做的这个AutoVC这个事情我们是希望比较第一性的从偏符号主义为什么我要讲偏符号主义或者我之前自己也捏造过一个词叫做结构主义就是我会认为看他就是一种结构主义就是我为什么不讲符号主义是因为太多符号主义的hater就我一讲我们是符号主义大家就说没意思没意思老古董但是这个事情我觉得符号主义跟连接主义其实在历史上也是不断地在摇摆的我们需要跳出对对对这一步AI是连接主义非常的厉害那或许下一步我们又应该是往符号主义又回摆一点其实像我刚刚说的agent已经是代表了这样的一种趋势Anthropic做的模型的可解释性他们现在能做到什么程度Anthropic就是比较极端的比较激进的就是说我能理解单个neuron它在干嘛可能这个单个neuron它是一个比如说说脏话的neuron那我把这个neuron给它shutoff那它就不会说脏话了但像我刚刚说的这种例子其实非常的不稳健就可能你在一个例子上面找到了有这样的一个neuron你可能换一个随地数种子它在那个网络上面可能就没有这样的一个行为Anthropic他们做的一系列工作包括SparseAutoencoder包括Transcoder其实都是基于这样的想法就是说我能够把模型内部的那些混合的表征Superposition的一些表征给它升到一个高维但是很Sparse的东西这样的话它能够把里面的一些原子的一些概念给它抽取出来但是这个我个人觉得是有一些wishfulthinking在里面的我仍然很尊重他们因为我二年底二三年初我们做机制课解释性其实也是同样的approach所以我们知道这个东西里面有什么样的一些水分包括他们科技也是姓Tim的,像SamuelMarks,WeskerNee,然后以及我之前那个MIT带的一个本科生,最后都去Anthropic了,也是最早从我们组做出来的,就比如WeskerNee去Anthropic做的那个怎么做家法,Cloud怎么做家法的那个任务,其实也是我们组的一个paper后面的一个衍生,对,所以当我脱下长衫之后,我会觉得这些东西就都是很有趣的故事但是whatsbeyondthat这个其实我也一直在思考但是最近我其实又开始在重新在思考机制课解释性这个事情我觉得还是因为到了一个新的这个AIforAI的这样的一个框架下我突然又觉得机制课解释性没有那么缥缈了我覺得這個跟我之前的對於AI的物理學的判斷是類似的就是機制可解釋性其實有一點像BiologyofAI就是AI的生物學就是我之前也會覺得生物學我們發展了挺久的醫學我們發展了這麼久那AI的生物學機制可解釋性也是需要發展幾百年的呀Again就是回到了AIforAI的這個框架下來我覺得之所以需要幾百年需要幾千年是因为我们没有办法自动化那一旦我们能自动化了这个进展其实是可以是很快的就是最近看到那个唐杰老师说要制补要投万亿级别的资源到机制可解释性上就如果半年前的我看到我会觉得这是在干嘛对但是现在就是放到了这个AIforAI的这个框架下我觉得机制可解释性它确实是一个好的目标但之所以之前我觉得不promising是因为它实在是太难了那这个跟AI的物理学是一样的就它是一个好的目标但是因为它太难了所以之前会觉得会很frustrated但是现在有了这个autoresearch就是至少我们在build吧就是现在还没有但是有了这个autoresearch系统之后我觉得这些之前看起来非常莫名其妙非常遥远的这样那些北极星的东西其实是有可能能在3到5年之内达到的你觉得AutoResearch或者说AF和AID关键的节点会是什么呀它的一个标志性的路标可能会是什么我觉得是提出一个在一个垂直的领域它都不需要很通用就是在一个垂直的领域能够提出一个新的架构出来不仅能够碾压现在已经有的架构而且能得到人的这个endorsement就大家都说啊它这个架构很精妙啊但或许也不需要就是好用就行了对甚至不需要你看见对是的我还是在想凯明就是凯明的resnet大家为什么会用有人说是很优美但是我们不要忘了当时凯明在imageNet上面是比第二名高10%的所以我就在想你要么就是用拳头把敌人打晕你如果没有办法用拳头把别人打晕你这个时候就是需要一些口舌去说服别人以礼服人这个AI4AI的系统它能在一个垂直的领域提出一个新的架构出来然后这个新的架构能够去刷榜而且这个刷榜不是说我就涨1%的点而是我能涨到10%的点那这个AutoResearch或者AI4AI它是AGI路线图上的一个什么样的坐标它是必经点吗我觉得这里所有的词汇都都有点模糊我觉得是necessary的但是还不是充分的我会觉得还缺一个东西就是我们刚刚其实也一直在聊的就是对数据去做抽象因为我觉得为什么抽象很重要因为人是有持续学习能力的然后人有持续学习的能力是因为人会做抽象但是现在的AI仍然不会做抽象如果说它能做抽象最多是因为我们的数据本身已经被抽象好了比如说像自然语言所以我会觉得就是要达到真正的AGI除了AIforAI还需要有一个做抽象的能力然后做抽象的能力是做持续学习的能力的一个必要的能力就取决于这个我们对AIforAI的定义是说它需不需要具有持续学习能力就因为听起来你这个AI的字迭代了它左脚踩右脚它就上天了就是说我说需要持续学习能力可能是我对AIforAI的定义可能更务实一点就是说它能够在一个垂直的领域它能提出一个好的架构出来为了达到这个目标其实不需要解决持续学习的能力但是要解决AGI它是一定要解决持续学习的能力的现在有一种说法也是说就是大模型的第一幕是Chatbot,第二幕是CodingAgent,第三幕就是AIforAI,所以说其实AIforAI可能也是就是在这些模型公司的这些延长线上的,你觉得作为一个NewLab和这些模型公司的竞争来看的话竞争优势是什么呢? 我觉得就是BetterDifferentThing就是因为我的思路是从PhysicsofAI来的然后这个思路其实在学术界其实也是非常先进的就是相对来说比较早期的一个东西但是我比就是学术界的那些人就更加激进就是我是相信AI是可以加速这个PhysicsofAI的这个事情的从模型厂的角度来说是一个过于risky的一个路线但这恰恰是我们的机会就是说因为我相信这条路线而且我们其实有很多小天才在我们的这个组里和在公司里面我能把这些问题去做一些拆解然后拆解完了之后是这些就是小天才能够很好的去把它们给进行完成我们是有自己的一个非常快速的一个迭代的一个东西我们在迭代但是我们的这个东西可能一直到做出我们的GPT3之前可能大厂都觉得我们是在胡闹對所以我覺得某種意義上是一種基於不同的信仰吧我們相信這個事情我們就會讓它發生大場絕大多數人不相信這個事情那就不會往這個方向投入資源可以这么说就是我的AIforAI它就是一种automatedphysicsofAI就是自动化去做physicsofAI就是我的这个AIforAI这个physicsofAI的physics到底要理解到哪一层我们是不是真的要写出牛顿引力就是牛顿公式我觉得是不一定的而且这个很可能也是需要几百年的时间投资人问你最多的问题会是什么呢在你跟他讲你的这个技术路线的时候其实你也都问到了就是说这个圆模型要花多少算力投资人可能也关心的是这个东西怎么样去最后去做商业化我觉得也是说在跟投资人交流的过程中我们逐渐地清晰了这个产品它最后是什么样子的对因为圆模型不管是圆模型还是physicsorphysics说了半天其实都是技术那它最后这个技术是一个什么产品背后的技术我们最后要做的一个产品它是一个trainingautopilot如果说短期一点他会是一个trainingcopilot这个是什么意思呢就是说我们现在并不是所有人都掌握着训练的能力的但是未来所有人都可以去训练他自己的私有模型这个私有模型也不一定是lm但或许是lm微调过去的这个用户他就只需要和我们的这个系统说我的需求是什么样子的然后我们的这个系统他就能够端到端的去给你设计模型训练模型部署模型然后交付给你你就可以直接去用这个模型然后很重要的是这个用户说我这里就10块钱我这里只有一百块钱你要在这个经费允许的情况下尽可能的去deliver一个好的模型最终这样的一个系统它要是能够做这样的一个端来端的事情那这个其实和现在的像CloudCodeFiberCoding其实很像但只不过现在是说这个对象是程序员就是我要去做一个什么样的任务你给我code出来但是未来的话它会是一个更加闭环的一个东西我都不需要告诉你这个技术路线怎么去做我不告诉你你要用transformer我不告诉你你要怎么去训练我只告诉你我的需求然后我就能够端到端的去给你去设计训练部署这个模型其实也有投资人会问大家为什么要训练自己的模型对我在想CursorCloudCode是让不会写程序的人也能写程序了对那你这个是让不会做AIresearch的人也开始做AIresearch了对吧对就是不会自己虚模型的人也会自己虚模型但是我觉得你这个是一个很大胆的想法因为你这意味着模型未来我不知道多少年以后的未来它不止掌握在几个巨头手里不止用巨大的模型对吧每个人人人都可以用你们的系统就能训练一个模型是的人人都可以训模型然后呢哦那干什么对那这个地方的点就是说现在大家不会训自己的这个模型是因为它的门槛还太高了那之后有了这个能力之后我们把这个性价比弄得足够高之后其实大家都会有这个需求就比如说我买了一个机械狗让它来陪伴我那可能我就是需要把我的一些数据把我的一些语音的数据把我的一些跟他对话的数据给存下来帮助去训练不管是微调还是怎么样去训练这个机械狗让这个机械狗能够能够让我更开心比如说他不是只天天在那里汪汪汪的叫他还能说些话来安慰我那这样的一个事情现在不会有人说我为了做这样一个东西我要去自己去学怎么去训练东西当然了现在可能会有一些创业公司可能会做类似的想法对但是未来我们想的就是说有了这个系统我们不是自己做一家OpenAI它是能够孵化各行各业各个垂直领域的OpenAI当我说垂直领域的时候我已经是谈论的比languagemodel更高一个层级了就是说我们的这个原模型当然它也不一定是原模型吧就是说最终的这个终极的系统它能够去设计出各个垂直领域的这种transformer就是可以这么讲就如同是LM它统一了NLP自然语言处理里面的各种任务一样那我们现在造不同的模型还是不同的任务造世界模型的人造世界模型造LM的人造LM造EverScience模型的人造EverScience的模型但是这些领域现在大体上还是不互通的对对但是未来会有这样的一个god就是vibetraining的一个东西就现在还是vibecoding嘛未来会是vibetraining未来会是vibetraining就是你把你的需求说清楚它就能够给你端到端的去设计训练部署这个模型对那有了这个能力之后好吧我实话实说我也没有想太清楚就是有了这样的一个就是每个用户训自己的模型能有什么样的需求但是很多时候是这样就是当你技术便宜到一定程度的时候有些需求它自然会涌现只不过我们现在还没有到这个时间点好像很难去想象这个事情这个是电脑从对啊就是怎么会有household会想要在家里面放一台巨大的电脑呢到了一个每个人人手可用的笔记本对啊对啊嗯这个倒是一个挺有意思的方向当模型人人可用的时候我们用它来干啥对不仅人人可用人人可训当然我们需不需要人人可训现在是一个大问号是就是说这个时候可训也不是说你是作为一个researcher去训它而是说你就是作为一个用户你给它提需求它能够端到端的去给你返回一个你想要的模型当然你可能不需要一个AI模型模型的类比成脑子我需不需要那么多聪明的脑子在我身边或提供情绪价值提供情绪价值或提供智慧我觉得是这样的我觉得是这个聪明的脑子它能produce一些东西它能够生产出一些东西这些东西能给你提供情绪价值而不是聪明的脑子本身会提供情绪价值事实上聪明的脑子很多时候会让你很恼火我觉得所以你对未来模型的生态有什么样的构想? 你觉得模型会是垄断于巨头手中,或者是会模型吞噬一切? 你觉得有着应用公司的生态位吗? 会从一个垄断的局面慢慢地变到人手可用吗?

你对模型的未来的一切有什么样的想法? 终极的目标如果我们能deliver那个vibetrainingautopilot那就相当于是平权了就所有人都能够去训自己的模型但是这个地方的问题是还是需要钱因为你现在训一个大约模型都这么的贵你要人人可训我觉得这个地方也是当physicsofAI理清了之后其实训练的成本也是会下来就是因为我们现在不是最优的一个recipe很有可能还有很大的优化空间吧我们也很希望为我们的听众能够提供一些就是行业新鲜的动态就比如说除了你在做AFA我们刚才也提到田连东老师他的Recursive他们的那家创业公司也在做AFA国内还有一些其他团队在做AFA你们很像给大家做一个梳理就是大家各自路线是什么好呀好呀其实AFA这个在国内还是一个相对来说比较新鲜的概念就我觉得还挺有意思的就我从五月份开始去融资轮了几天发现Recursive就announce了然后国内就开始火起来了目前来说其实还没有那么主流当然孙天祥是很早他们就开始在做了然后最近去百度做大模型了对对对孙天祥是一个特别符合你们工作室名字的这样的一个想法就他之前的一个采访说的是language基本上就是整个世界所有的东西都能够被language描述,这是他的一个belief。 他们之前做的像False那个系统,就也是自动生产paper的一个系统,就是一个paperagent。 我们AI院还有另外一位老师叫陈永超,他最近也是在做这个AFAI,他的路线呢就也是更偏这个早期的路线吧,至少现在的路线更像是这个paperagent。 能让AI自己去写一些AIresearch的一些文章RSI那边这个我们其实也无从得知吧但是从他们的这个博客里面能够窥到一些技术路线我们大概猜测他们会强调这个autoresearch系统需要维持一个比较好的memory就比如说我昨天做了5次实验我都是在调这个学习率然后5次实验我全部失败了那么我今天就会记住我昨天做过这些实验那我今天就不会接着去调学习率但是again就是说那维持一个好的memory系统但是你不理解它背后为什么学习率会失败你之前的经验也不一定是对的就是可能你之前学习率失败是因为a原因但可能我第二天做实验的时候我这个时候其实是b原因所以这个时候调息率可能反而是对的对所以这个地方还是存在一个到底我只是一个经验驱动还是一个这个机制驱动的当然我看他们的官网上然后以及因为田园东老师也在里面所以我相信他们也是会在ScienceofAI上去有一定投入的但是目前来说还不是特别清楚他们的ScienceofAI的路线到底是什么样子的說到研究啊就是研究中所謂的頓悟時刻和研究的直覺這個怎麼來訓緝魔星首先魔星他得拿到這個數據你告訴他你的思維鏈這就讓他拿到這個數據的過程嗎是的就是我們要強行的強迫自己把思維鏈寫下來每一個頓悟時刻都是有思維鏈的嗎一定是有的如果没有的话就是你问自己问的不够深因为我自己的经验是这样的就是我一开始也挺相信研究品味研究直觉这回事我其实现在对这个事情有点屈眉了就我觉得研究品味研究直觉其实是一个遮羞布就是说因为我们聪明到可以提出一个想法但没有聪明到可以去用语言说出来我是怎么提出这个想法的所以我们把动物这个事情给它说成是所谓的品位所谓的直觉所谓的灵光一线还有句话叫善战者无呵呵之功就是说最牛逼的人他提想法对他来说就跟呼吸一样简单他能够把别人觉得哇这个太神奇了他是怎么想到的他能把这些事情系统变成他的系统而那些不是最顶级的人他们也能提出一些很好的想法但是他们可能并不知道自己是怎么提出这个想法的我其实一直在有意的训练自己就是我不仅是要提出好的想法我还要去追问我是怎么提出好的想法的然后在这个过程中其实是尝试把我的想法语言化其实这个事情对我来说非常难因为我不是一个通过自然语言沟通特别顺畅的一个人我的思维模式可能更偏就是MaxTechmark就是我博士的老板就我们都是非常偏视觉的偏视觉偏视觉的意思就是说我们会在脑子里面会有一个图像我会特别想把它画出来但是我美术又不行所以这个就很尴尬对所以有的时候我只能够通过我真的把这个东西做出来把这个东西展现在你的眼前这个是我沟通的方式所以我是觉得思维链这个东西一定是能或多或少地被说出来当然还有一条路径当我们的脑科学发展的足够完善了以及我们没有一些道德的问题就比如说我们去检测一个人的脑电波我们可以用一些侵入式的方式去检测他的脑电波或者我们有些更高级的方法不用侵入式我们也能够检测到比较清晰的脑电波信号到了那个时间点我不需要用语言我直接去测这个人的脑电波就行了但是这个时候我需要这个人的脑电波但是因为现在我们没有办法获取这个人脑电波我们只能够去拷问这个人或者拷问我们自己我刚刚到底是怎么想出这个想法的你如果说不出来说明你还没有拷问的太深你只要拷问的足够深你总能说出点什么但它不一定完全可以取代就是脑电波的价值但是至少它能说出点什么你刚才说你当时做博后的那个实验室他们当时创业的时候投资人跟他们说你那三年不用盈利国内投资人也跟你说这个那是完全不可能的国内投资人恨不得你现在当天就能盈利能吗能吗你们当天还是不行因为什么时候能有产品什么时候能有商业模式你们这个roadmap是什么样的呃我们这个6个月之内还是侧重RD就是去做一些demo呀然后以及就是说做一些产品的雏形6个月之后根据我们这6个月的一些成果去决定这个之后到底要怎么去做肯定是在一年这个时间节点肯定是会开始去产品化跟商业化的但是比如6到12个月这个我觉得6到12个月的这个researchanddevelopment这个对于一个newlab来说是非常重要的不能过早的去投入到一个其实不是那么好的一个方向只是为了短期能够去调查短期能够去做商业化需要6到12个月的探索去找到一个更好的方向newlab的本质你觉得应该是lab还是公司他之所以我们起了一个新的名字给他就是因为他既不是Lab也不是公司他就是应该像我说的你6到12个月去按照一个Lab的形式按照一个ResearchInstitute的方式去运转一旦Grok一旦顿悟了这个事情就应该按照公司的方式去运转就是前OpenAI时代和后OpenAI时代的感受是的是的是的对那会不会给他做Lab的时间不够长OpenAI毕竟慢慢做了很多年你觉得现在这个生态或者机制有那么长时间的探测器吗还有这个包容度吗还有你们的现金流够吗现金流肯定是我们会持续会募资的我个人是觉得现在的路线已经相对来说比较清晰了6到12个月我觉得是能够画上一个逗号然后开始去做产品如果说你一年前问我这个事情我可能觉得我们需要做3到5年的研究和发展我觉得也是我在不断地思考我自己意识到这个圆模型的可行性之后我说我要快速地推进这个事情了那像之前我确实也是挺犹豫的吧就是因为我没有找到一条清晰的路线对当然这条清晰的路线在做的过程中实际上也是会不断地进行调整你们这个路线也可以描述成圆模型也可以描述成AFYIAutoResearch可以描述成PhysicsofAI你觉得哪个词是最精准的如果只选一个我觉得AutoResearch是最接近的但是我觉得我们得创造一个新的词汇专门给我们的路线起个名字但是我们sofar还没有太思考这方面的问题我觉得未来是需要就比如像AI的物理学这个东西就是我们自己起的名字嘛因为现在所有newlabs都是他说他形容他在做一个什么事情那创业者和投资人脑子里就不是一个事儿不是一个事儿对对不是一个事儿就之所以用这些clichéword是因为投资人他要得听懂对你看你们也被投资人描述成AIforscience他跟你心目中的构思也是不同的但是你现在心目中的构思其实也没有找到一个最准确的词来描述他所以也在套一些词汇是的是的从投资人的视角我的理解是他们投的方向其实也蛮广的在他们接触到的广度里面AIforscience,AIforAI,autoresearch其实都算一堆计算模型数据模型都算一堆你觉得今天处于一个AI发展的一个什么样的时期他收敛清醒了已经我觉得对于大语言模型它收敛已经比较清晰了但是新的机会是来自于就是其实我们一开始也聊到就是关于世界模型然后关于AutoResearch这两条赛道我认为还处于相当早期大语言模型可能辐射不到辐射不到但辐射不到的原因我觉得我也不是说transformer的hater啊我觉得更多的还是说model那边其实我觉得更像是说要找到一个更全新的架构它能够更好的去抽象和找到这个物理世界真正的latentspaceautoresearch这边我觉得更多的还是说大语言模型没见过这种数据所以第一步是首先要去结构化然后第二步是收集这种结构化的research的数据这个是最重要的有了这些数据其实大模型也能吃其实他做的其实可能也不赖当然了这个圆模型的这个路径它是一种关于模型的模型大模型也是因为没有见过关于模型的这种数据没有见过太多关于模型的这种结构化数据所以大模型也做不好你这创业几个月什么感受节奏非常快多快基本上就是除了睡觉都是在工作吧对但是我觉得也是一种挺新的体验吧一方面是你有了更多的资源你认识了更多的人你好像就是突然接触到了一个更大的世界但另一方面技术上的事情研究上的事情还是得踏踏实实的去做是一个不小的一个挑战吧因为之前的话就是说踏踏实实的做研究但是现在的话不仅是做当下的研究你还要和很多的人去做交流而且你还要去想不仅去想当下的事情你还要去想几年之后的事情根据几年之后的目标去倒推那我们这个路径到底该怎么去走所以这个我觉得是个有一点outofmydistribution的东西也是我在学习的事情嗯如果只能选一个做professor和做姐姐entrepreneur你会选哪个嗯我都要就是我现在都是我都要的状态如果非非要选一个我觉得这个再看吧看做做看做做看啊对今天这个创业的时代好像跟以前变得特别的不一样因为很多都是学术背景或者是像你是有了教职以后也创业那也有的是学生开始创业就是好多都是research背景的人在创业对我觉得还是取决于做的事情它是一个是否需要早期去研究驱动的就像AutoResearch跟WorldModel我觉得至少需要6到12个月研究驱动的时间那这个时间是不能够被跳过的那至于比如说6到12个月之后当我把我脑子里的这个东西给它当不出来比如说当不成一个雏形它摆在我的眼前然后之后比如说再引入一些有这个产品经验有这个商业化经验的一些连创进来帮助去把这个东西的影响力打出来而不仅仅是一个小而美的一个东西但是我觉得还是需要就是说啊6到12个月的时间是首先把这个原型打出来嗯所以理想状态是6到12个月这个研究探索的成果及某个产品是的是的嗯对那我最后几个快问快答全球范围内你一个你喜欢的食物反正我不管在哪里去读书还是旅游我都是会想吃这个热干面的一个全球范围内你喜欢的地点只要有江河的地方我都挺喜欢的包括武汉包括上海这边就是在这个黄浦江边上在MIT就是在沃斯顿那边就是查尔斯河我喜欢没事就去河边走走一本影响过改变你人生的书在你心目中影响AI进程的几篇论文这个太常规的就不说比如像ScalingLaw这些文章我觉得对我个人影响来说最大的就是干这篇文章吧因为它相当于是为我打开了AI世界的大门基于你当下的认知一个关键的重要的but是什么可能就是我们刚刚一直讲的就是AIforCoding下一个会是AIforResearch但是是需要用PhysicsofAI的方式去做好了今天的节目就是这样这里是商业访谈录是一档由语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室获取更多的信息我们的公众号是语言及世界也欢迎你在小宇宙的评论区与我们有更多的互动我们希望和你一起从这里探索新的世界