Loading summary
Transcript7 lines
- [00:20]
A
我们今天很开心请到了之前自己AIInfluencer的负责人然后现在义博是在街跃做联创和AIInfluencer的负责人那义博先给大家简单自我介绍一下大家好我叫朱义博我现在在节约星辰为大模型做AIInfo然后在节约之前最早是在微软优越做分布系统之类的研究的工作然后大概在18年的时候到字节跳动开始负责构建字节跳动的AIInfo做到二三年初离开中间有短暂地在Google待过但是很快就创立节约然后开始做大模型了所以基本上可以讲说你是国内最懂AIInfra的人了不好意思这么说我觉得实战经验算是比较多一点的但是最懂这没办法比所以大家经常提AIInfra有非常多的概念跟定义有很多公司我觉得只要不是模型不是应用大家基本上就分到AIInfra了从你的视角来讲你怎么理解AIInfra我觉得应该说硬件是一块然后软件的话软件有三个层次吧硬件指的就是GPU那些对对对硬件指的AI芯片这些东西然后也包括一些网卡芯片、交换机什么然后软件的话我比较喜欢类比云计算有ICE、PaaS、SaaS三层最下面的ICE其实是说我有些卡然后我要把它组装成服务器我要把它们用网络连起来然后怎么运维管控它们这是基础的然后我个人也喜欢把比如说大规模的存储系统也放在这里头所以计算机系统从科班的角度来说其实就三件事计算、通信、存储、Infra最最底层的IaaS就cover这三个然后上面的PaaS就platformservice嘛比较像比如说调度平台、资源管控的平台然后你也可以说moderateservicemass也是一种PaaS然后再往上是比较像SaaS的东西你可以说应用啊或什么的但在AIInfra里头我个人觉得框架什么的会比较像SaaS这一层的东西像训练框架、推理框架的优化所以你一上来就是做AIInfra我可以理解AIInfra是同时跟传统的互联网的Infra是并行在发展的两条线我应该这么说我觉得AIInfra这个词在AlphaGo之前甚至可以认为是不存在的那时候也许叫MachineLearningInfraMLInfra或MLSystem之类的在那之前根本就没有这么一个细分领域大家是比较传统的那些其他的Infra比较通用的CPU上为主的对所以其实你的职业生涯正好是跟AIInfra的整个发展有点连起来在一块的我觉得是然后我觉得我算是第二批第一批是包括蒋青李沐陈天琦他们算第一批他们其实更早感觉蒋青也挺年轻的他在博士期间就开始接触因为他第一个做的工作叫Cafe是一个框架然后这个框架就是为了支持他博士自己做一些算法研究而做的所以实际上第一批所谓的AIInfra那时候都没有这个词的人实际上是有算法背景的人因为他们要做先进的算法然后要把GPU利用起来於是做了這件事情所以你可以認為那個時候真正做infra正規軍還沒有進入所以他們是從無到有把這事做出來的可以這麼理解嗎對所以他們是相當於第一批人了那對於我個人我可以認為是第二批就是深度學習工業界確實有興趣要大規模去應用的時候我基本幹的是上規模的事第一批的话还比较多focus在单机单这么说可能也不公平他们那时候也看了一些分布式的东西但是真正series的上几千卡什么的然后这么大规模的去跑一些任务是我这第二代人看的比较多的事所以你的职业经历当这两年大模型出来应该也是一个特别好的机会一下子到主流舞台吗可以这么讲是,可以这么说也是为什么我觉得一定要出来创业然后一定要亲身参与其中吧因为对整个info而言创业都是蛮难的一件事情因为它天生其实是支持应用的尤其是像我们做大规模Infra的你可以理解比如说过去美团滴滴他们刚开始做业务的时候业务体量还很小他不会太重视这个Infra这是应该的只有当他量上来了然后又搞高并发这种他会去专注于Infra或者说把Infra去刻补一补这个时候他才需要比较专业的英富尔人才进来所以在过往的历史中英富尔人才比较难参与到一个公司早期创业的过程但是大模型这个确实是一个非常好的机会上次这个机会是在搜索引擎你可以认为Google做社交媒体的时候它第一次面临海量的互联网数据要处理这个数据它需要世界一流的Infra所以Google实际上是一家Infra公司从当年开始它的成功是因为它Infra特别强那到大模型时代我眼里它是在重复有点类似上一次输出引擎的过程就是同样的是你有很大量的数据然后你有很大的算力需求要做的计算和数据量突然比之前的范式高了一个数量级两个数量级只不过现在你在这些数据的处理方法上有了变化用GPU驯模型什么的这时候你想做最优秀的事你就要有最优秀的infra所以对我而言我觉得这是一个非常非常重要的机会也许10年20年才有一次一个infra能够做到这么核心的角色对你刚才讲那几部分串起来我能不能说其实一切都是由数据来驱动的就不同的数据形态数据量级等等可以这么看这个问题数据至少是非常非常重要的一方面所以做infra其实每天就是用各种技术去跟数据打交道服务于对数据的处理对你可以说今天是学习数据然后处理数据我觉得大规模的infra基本上服务于这个目的明白但你觉得移动互联网那套infra跟AI的infra它算是完全并行两条线还是里面有那些异同之类的除了一些比較年輕的入行就是AIInfra的人以外其實大部分人都是從傳統的Infra轉過來的所以我覺得他們有相當多的共同點有相當多的不同點從很多問題的本質來說其實他們是一樣的我要解決大規模怎麼可靠的跑一个任务怎么高效地跑一个任务怎么把计算通信存储有机的结合起来完成这个任务大目标是一致的但是当然到了具体实操的时候有很大的不同比如说AIInfra的绝对核心是GPU传统Infra绝对核心是CPU那这两个硬件它有不同的特点然后也对比如说刚才说的通信互联的要求对存储的要求都不一样所以基本上可以认为是为AI定制化的一套Infra在Infra的世界太阳底下没有太多的新鲜事但是会在某一个方向上钻得更深更定制然后Infra在很多方面要做得更极致就我听起来它底层本质目标什么都是类似的只是一些技术站和使用的东西不太一样但这种情况之下要转的话好转吗就你觉得未来的做Infra的人更多的会是新一批成长起来的还是老的其实就完全OK我觉得都会有的infra和算法确实它在这地方是不太一样的其实你可以看到算法很多程度是依赖非常年轻的人甚至我有算法朋友跟我说算法的人员只有两年的保质期两年后他把他的聪明才智发挥完了他就陷入一个思维定势了然后新的东西反而跟不上了但infra是一个相对强调积累的事情所以我觉得老人也会发挥重要的作用但新人当然也会有一些新的idea进来对你看我们跟传统做Infer的人聊就是大家经常讲的是说我怎么样去提高并发之类的这种东西理论上说AIInfer也是类似的对吧在推理就是线上服务的时候我觉得是类似的对只是它用的东西不一样跑的东西不一样它是用GPU在跑AI模型但是最终其实有非常非常多类似之处我想说对所以你们现在核心服务的一些不管是目标还是数据指标大概会有哪些其实你可以找到CPU或者说传统APP对应的东西比如说我们强调你在chatterbot上问一个问题那第一个字返回给你的时间就是首次延迟对那你也可以想你点开个APP它多久你才看到第一个页面其实类似的对吧然后回复你的手机延迟以及之后兔子的速度是不是稳定的是不是流畅的这些东西是线上服务的事情然后我还要以尽量低的成本做到那训练那一侧呢其实就比较像大数据以前大数据也是说我Hadoop或Spark就是排非常非常多CPU然后处理很大量的数据做一些计算现在就是说我用GPU也是处理很多很多数据然后去训练一个模型就是从概念上来说是相似的明白但听起来是不是只有量级很大的公司才需要用到Infra包括AIInfra也是一样的应该说所有的业务产品你都要依赖Infra只不过你想不想自己投入一些自己的人力成本也好研发成本也好去把你的Infra做出一个领先的水平然后做出这个领先水平对于你的产品业务有多重要我觉得这个对不同公司是不一样的对所以以你目前的理解你觉得不同阶段和不同类型的公司对Infra的投入应该是怎么样的其实这个帐蛮好算的我举例来说假如说你有一万张GPU都是较贵的卡一万张GPU月租一个月一个亿然后如果你雇了一些人优化了10%的利用率你就省了一千万或者说挣了一千万对吧然后你愿意为这10万一个月雇多少人这个其实在英富尔测这个账是非常好算的无论是在前司还在现司基本上如果去算这笔账的话英富尔在每个公司的工钱都是很挣很挣钱的当然是以省钱的角度来说其实要cover这个人力成本就非常非常轻松对所以英富尔是一个非常确定性的事情然后小一些公司没用那么多英富尔当然你就会去算这笔账我值不值得雇佣10个人来为我优化百分之多少的性能如果你觉得不值得外界有个baseline就是你去找云厂商也会给你有一个比较general的方案如果规模不是很大也够用了所以这就是现在这些包括MAS包括公有云他们的价值锚点为你一个规模比较小的公司把这部分省掉对现在也有很多不管是语音厂商模型自己也会做很多info相关的东西对吧然后也有些第三方的公司在这种情况之下首先那些做应用会创业公司自己需不需要做其次就是为什么也会有一些第三方公司在做因为我理解这个事其实应该是云展商和模型方已经自己做到极致了才对比如说我们就谈MAS这个生意每个模型厂商主要还是carry自己的模型以自己的模型做API为主那你说会不会有一个像集贸市场然后你可以随意地选择各家API我觉得就是这些MAS厂商他们想要做到一件事情当然你可以说相应的公有云包括阿里云火山云他们也在做类似的服务他们除了carry自己家的模型API外他们也有其他家的API初期呢得到应用啊说明需求还是在的但是我觉得长期来说更重要的还是说回到你的问题我觉得你的问题可能更多问的是长远来看一个第三方能做这件事有没有独特的价值因为短期你总是可以靠各种各样的推广活动降价什么的去获客但是如果长期它没有独特的价值其实它是不成立的我是这么看这个问题就是这个观点我可能后面会一边一边的reference就是AIInfra它是夹在模型和硬件之间的它下面是硬件上面是模型如果所有人都能获得硬件和所有人都能获得模型去做中间这一层的话其实价值相对是比较小的会非常非常的卷只有大家就恶性竞争打价格战因为说白了没有人的技术能够好到在AIInfra这边拉开多大的区别有先后比如说你可能一项技术做得非常好你领先几个月但是人家几个月后也会追上的没有一项技术是几个月后追不上的所以那第三方的价值我觉得要么它和硬件去做垂直任何要么和模型做垂直任何我有时候也打一个比方是比如说PS5你为什么要买PS5因为它上面有独占的游戏那Steam也有独占的游戏它其实是个内容分发平台你可以认为Mars它也是个API内容分发的平台除了有一堆大家都有的东西以外让大家留在你这儿的其实是一些特色的东西比如说有的MAS比如说它和某些硬件厂商它有非常深度的合作它可以更便宜拿到算力以及技术支持当然它自己也对这个硬件有非常独到的一些研究那么它在这边就会有它独特的优势或者说大公路云它是另外一头比如它的上面它有它自己的模型你可以认为这个模型它第一方独占的一个游戏它还carry其他的游戏但是它独占的东西还是最主要的吸引用户来的那个内容所以这么讲因为我一直觉得说你看海外有非常多的infra的公司而且很多融了很多钱最后也能很大的估值被卖掉但国内好像infra大家一直没有那么看好对没有多大估值对但国内的机构可能看法就会跟你刚才讲的有点类似他觉得infra被夹在中间对吧两边都会吃你的份额然后你又不好赚钱然后技术上又没有很强的壁垒之类的所以你其实是从本质上来讲更同意这个观点的首先我不反对这个观点但是我觉得每件事情都有两个角度去看一个角度是您说的那个角度另一个角度是对于我个人以及从业者的指导是你就不要去坐在家中间那个人像我选择到模型这一侧也有人可以去选择到硬件那一侧AIInfra在这里其实有非常独特的一个价值是以前Infra没有的也就是现在是一个模型和硬件都在追求极致的时刻比如说就举DeepSeek为例好了你想要做出在硬件上跑得非常非常有效率性价比非常好的模型你需要很懂硬件你要懂模型然后真的两头都能懂的人是在中间的infra的人所以你可以反过来看这个问题如果你愿意跨出一步去多合模型去联合的做垂直的整合去打通你愿意和硬件去做口底在用做什么东西实际上有非常非常多可做的机会但如果你固步自封不去考虑这些事情硬件就硬件模型就模型我中间优化优化我觉得这个确实会很窄对我理解但这里面有个相对有些challenge的问题就是你跟模型或者跟硬件绑定后你万一选错了怎么办我觉得不是这么被动你是参与者不是当人家东风的重要的是你参与其中比如说你能影响硬件的走向因为你比硬件人更懂模型或者你在模型公司你比模型的人更懂硬件你能够去影响这个模型的走向然后如果你在一个足够好的环境你能够影响模型或硬件向着你觉得好的走向去走最后成功当然最好不成功那也是你自己的责任明白我们刚才其实讲的一些就是infra去做降美增效相关的东西对吧但它实际上对模型最终训练结果的好坏能起到多大的作用这个怎么评判其实这就是为什么大模型公司Infra非常非常重要因为它实际上也会直接影响模型训练出来的效果大家都在玩同一场比赛这个比赛就是给定算力你怎么训出最好的模型所以从最终结果来说Infra水平确实会影响模型的效果主要影响的是哪些方面成本肯定是会影响我举个例子我们都是50张卡三个月训一个模型更好的infra可以让我比如说效率多20%我就可以多学20%的数据三个月后大家把模型拿出来比你因为这多学了20%的数据你最后模型的效果就会比别人好假设其他的条件都一样的话所以IFR它其实是一个能标准化衡量好坏的一个事情是吧就是有些数据指标是一眼能看出来的是的但是它又是一个复杂的问题就比如说不同的硬件和不同的模型有一个专业名词叫MFUMFU指的是一个硬件做模型训练或推理的时候实际做了多少次运算这个是分子然后分母是总的它理论的算力这个是一个比例这个比例越高显然你对硬件的利用率就越好我记得当时DeepSeek有发这个指标说做得很好实际上不是的DeepSeek的训练MFU其实是偏低的这件事情就是我想说的它是一个复杂的问题有这样的指标但是它和模型和硬件都相关又和你的优化目标相关我举例子DeepSeek以及其他所有人包括我们在24年的优化目标是不一样的我们的优化目标是给定训练算力我怎么训出最好的模型DeepSeek的目标是我给定推力的成本怎么设计这个模型把这个模型效果做到最好因为这个优化目标不一样在24年至少上半年DeepSeek并不比较强从基模来说因为我们的优化目标就是针对pre-trainpre-train我有几千张卡训几个月训出最好的模型然后deepseeker有时候我知道一些榜单一些公开评测什么它并不在numberone那这件事情在什么时候发生改变呢就是到20年9月份OpenAI的O1发布了然后您也许也听说过什么testtimescaling指的是我在推理的时候我多思考一些这样我可能最后得到的结果就会更好然后这种testtimescaling或者叫这个推理模型它是靠强化学习训练强化学习里头很大一部分就是在自己推理因为强化学习的时候我推理一大段,然后我选一个最好的高速模型给你reward,应该要这么回答于是DeepSeek的模型就变成了强化学习训练最快的模型因为它推理成本低所以它的优化目标更符合强化学习时代的需求它不仅推得快,现在训得也快了跟我们其他人的基模比,它做强化学习的速度会比我们快好几倍所以这才是他第一个救出R1的原因你可以认为是一个大家选了不同优化目标以后的胜利但你可以说这头也许有一些运气因为他开始定这个优化目标的时候大概率没有想到TestPlanScaling24年9月后会发生的事情但所有事情都是天时地利人和嘛所以就回來說我們確實有很多指標有訓練效率的指標有推理效率的指標但是我覺得更重要的是你想清楚你第一優先是什麼指標然後這個指標符合整個業界的需求以及未來技術的發展所以當下有比較通用的第一指標嗎是大家現在都差不多了嗎還是也有很多不同的方案和路線我觉得大家的认知并没有完全统一,其实从O1,R1,然后强化学习这以后,我觉得最重要的指标就是decoding的指认速度,decoding的成本,就是推理其实分为两部分,一部分是叫prefill,意思是我处理输入,比如说一个很长的文档丢给模型,我处理这一段文档,另一部分是輸出就是圖資嘛那其實我認為現在最重要的指標就是後面這個輸出的速度因為這輸出的速度第一對線上業務也是非常直接的成本第二是它直接決定你強化學習的效率如果你输出就很慢的话,它获得reward的这个速度就比其他模型要慢。 所以我觉得现在的第一指标是我们叫decoding,或者你就可以理解为模型输出的速度。 但是还有人还停留在上个时代,就是所谓的训练MFU啊什么的。 这个跟各个公司他训绳模型以及一些团队的状况有关系。 嗯,但假设你跟其他类似做模型的infra的人聊,其实几句话就能聊出来,他们现在的认知和水平怎么样,是的,就是你们现在最近在优化什么,然后大概能做到什么数据,没错,就知道,对,ok,那这个还挺有意思的啊,嗯,是,但你觉得大家会有很大的差别吗?
- [21:31]
还是其实没有特别本质的区别? 我觉得区别还是有的。 这个区别更多是方向选择上的还是就真的是技术水平最重要的事情永远是方向选择上的就像我刚才说的优化目标就在我眼里如果现在还特别关注MFU什么的它对现在的状态的技术认知是有问题的那你觉得有没有再下一步的一个新的指标就是像当年比如你说那个DeepSeek他们在做新的指标但别人可能没有意识到对吧你觉得后面还会有这种时刻吗还是其实就差不多了已经不好说还是有可能而且你提到说从你的视角做infra是特别懂硬件跟软件然后在中间这个人嘛对吧那同时算法的人怎么样呢就是这个东西如果你们遇到一些不同的意见到底谁来主导你跟算法的人会怎么合作其实最简单的就是像同一个team一样合作共同完成训练这个模型可能有不同的分工有不同的六线集那就是大家一起坐下来一起讨论这些事情该谁给谁让步因为所有事情都是有tradeoff的都是有权衡的有的事情是我可能会损伤一大半的系统性能但是算法上就提升一点点有时候是反过来对就是每个权衡都要去两边一起去讨论定下来所以实际合作过程当中就还好大家就是沟通解决也不会有什么问题我觉得这是个小团队的优势很多大厂是很难做到这件事情对可以想象到对尤其是Infra在大厂来说它就是一个知识性的角色然后很多时候是说模型的人说我设计了一个模型你们就去给我优化好把训练速度和推进速度调上去我觉得Infra其实是没有反向的影响力的对尤其我在想influencer像我们刚才讲的它其实核心是降本对降本这件事情其实在公司里面就是容易不是大家最重要的目标所以这个也是我觉得也是最重要的事情就是也是刚才提到就是说你是只是一个降本的角色还是你是一个能影响到模型效果的角色你实际上是可以对模型效果有正向影响的听起来就是要发挥主观的弄性与主观能力也不够,比如说你是一个infrateam,然后有一个算法team,然后你们俩都汇报给同一个leader,但这个leader只懂算法,他会发生什么? 对,所以好多最后都是组织架构人的问题。 对,我觉得如果不是今天我在跟你聊的话,我听起来也肯定觉得算法是所有的模型里面最核心的人。
- [24:03]
当然非常核心,我觉得一般的认识也是这样,就是模型其实是铁三角,算法,然后系统,就是infra,然后是数据,这三个都非常非常重要。 所以你觉得最理想的就是比如今天我们要优化一个什么东西,我们要做什么事,就这三方合起来在一起讨论,然后最后集体讨论出来一个可能互有优劣的那么一个结果。 是,其实有很多事情可能外人的理解反而会有些偏差举例来说,一个模型它的算法效果不是算法人员决定的,是数据决定的然后一个模型的效率和成本是系统决定的那这就得到一个结论因为跟效率成本最相关的是模型结构所以模型结构其实应该系统人设计你才能获得最好的成本模型的点数的效果刷榜应该数据的人负责那算法人负责什么算法人其实最要做的就是去年的饭食听起来很合理那现在很多不是这样吗当然不是这样的比如说设计模型结构基本算法人在做模型的点数也基本算法人负责但是实际上算法人很多时候他不一定是最适合做这两件事的所以街越里面现在是按照你说的这种你觉得最好的我觉得更多的是像一个team一样就像我说的就小公司能做到街越也就这么点人大公司的话人多了你也很难说我好像都像同一个team一样管理起来也非常困难对我们最近也有这个感受我觉得很多大厂或者说上个时代继续留下来做AI的这些公司它遇到最大阻碍就是组织结构的问题现在新的AI虽然人还是延续那批人但是现在的组织结构可能是很不一样的我觉得你刚才讲的是模型训练那部分然后包括做应用部分我们也发现可能比如说产品经济它就是得懂些技术它要去产业导出我们也碰到这样的问题没错它就是要更全占但可能一个大厂做一个事一下子就拉进来几十个人大家就非常精细化的合作但反而做不出来更好的而且经济化那个分工是按照大家之前的理解去分的它其实不是适应新时代最好的分工像我说天生的模型结构碳就落在了酸瓦主流这就会导致你的模型结构成本这些效率上面不会差但你们是一上来就是都是用很正确的方式吗还是也踩过一些坑当然踩过坑对吧对能不能讲一些踩过的坑比如说我们对自己不管是我们的算力还是能力都过于自信所以干了一个巨大的模型我们确实也执行完了但是这个巨大的模型它有一些额外的问题你再大也大不过拉玛的那个吧比拉玛的大比那个还大对那真的是非常自信是啊DeepSeek你知道那模型不小我们那个模型不比他小我们比他早了一年多但这些反正后面普悠学还是犯了一些错误对我觉得这个是前两年时候大家都会犯了一些问题包括我现在听很多做应用的创业公司都就那个年代的前两年对都在反思说当时不应该碰模型对吧但当时很多人其实是在自己去做些模型训练什么相关的事情但你觉得现在其实你们相对就理得比较顺了我觉得重要的就是说因为我也是过去也是做研究做研发这和做工程还不太一样就是你所有赌的事情都有可能会错但也没有什么如果你一直认识到自己以前踩一些坑反正爬下来再往前走这一局你赢了下一局我干回来就是这样的心态明白那你们后面的一些发展的重点和方向是什么首先对阶级而言最大的特色还是多模态比较强然后在一些多模态的领域稳居国内前二吧可以这么说然后也有相应的业务那围绕多么台业务呢我们做的还是真的多么台就大语言模型和视觉啊什么的的融合所以比如说大语言模型的部分也需要持续的研发然后就像我说的我这边也会非常关注语言基座怎么找到一个最高效的结构像刚才已经提到在我眼里的不是一个纯粹算法的问题甚至我认为是一个系统至少要算法是五五开的一件事情是我现在非常关注的事情包括后面公司也会联合一些端测去做这种协同的一些事情所以我也要考虑端上的硬件条件以及什么样的模型什么样的部署方式适合这些都是我们下面要比较关注的事情当然还有一些就是老生常谈什么墙外学习的因素还是非常非常复杂所以这边还有大量的工作要去搞定你觉得不管是对于你还对于所有的做AIInfra来讲现在遇到最大的阻碍或者最核心在突破的问题是什么有一种阻碍是你看到一条路然后你执行就能完成了有的阻碍是还没有一条很明确的路的对能完成的像禁售一些算力上的问题然后墙外学习工程非常非常的复杂怎么搞各种各样的环境但是终归都是有路去解决的那更为困难的是一些更加革命性的一些事情这些事情只能走一步看一步比如说呢大概是什么样的比如说我怎么做到真的模型和硬件的co-design因为现在现状是这样的其实所有大家的模型都是针对英伟达卡去优化的Google其实也是TPU有一些特色但是到了最本质的一些计算方式上它还是和GPU是一致的所以大家模型其实没有那么大的变化都是根据英伟达的卡去优化的但最近有H20对,H20终于可以卖进来了对,有一些这些传言但是H20依然是比较弱的卡那有国产芯片的问题也包括说是不是全世界范围有人能够推翻英伟达计算的范式就是说你可以想象有一种新的芯片它的特点和英伟达卡很不一样然后又有人利用芯片的特点做出了高熟人一档的模型这件事情就会非常革命性你可以认为图灵奖就在你眼前或者你可以说如果是一个商业公司你就拥有了无人可敌的壁垒这样的事情都是非常困难的我觉得对于模型来讲上一个AHAMoment仍然是年初的DeepSeek对吧然后但最近也一直在传说GPT5终于快发了应该是应该就这几个月但最后也不知道会怎么样然后RIO这波在DeepSeek之后好像也没有看到什么特别新的特别大的变化而且同时很多人在讲说是不是Scaling都不行了数据是不是也不够了等等就各种各样的问题所以你怎么看未来模型的一些量变和质变的发展范式的革新不会那么的快,你可以认为上一次是在20年,GP3.5就InstructGPT,然后这一次是204年9月,O1,对,DeepSeek你可以认为是O1的一个付现嘛,所以本质上是O1的这个范式,大概两年一次,如果你以这个速度去预计的话,也许下一次大范是206年了。 可以,206年能有已经很好了我觉得。 也许吧,也许,对。
- [31:15]
你们能看到一些大的方向吗就下一个可能会是什么我们觉得多模态这边还是有一些突破的可能性的尤其通过多模态的生成和理解的统一现在多模态的状态还是蛮像比如20年的纯语言的状态那时候最流行的模型叫BERT就是做理解然后可以认为现在出来那个状态,就没有人还真的把理解生成统一做通,做通的标志是我这一个模型做理解比只做理解的模型好,做生成也比只做生成的模型好,就像GDP3.5一样,一下子以前做翻译的专用模型,做什么的专用模型,通通都退休了。 我觉得这个还是有希望看到一些曙光吧最近那个Google的View3什么的其实大家已经觉得效果都非常好了吗View3还是偏上一代的就是专用的生成模型它确实做了比较多工程的工作把一些功能给融合起来比如说包括配音乐啊什么的技术本质和产品它不是一个线性顺滑的过程所以你觉得他仍然就是把上一代发挥到一个非常强的水平的这种定位对而且这条路还会继续走的就不止他吧还会有其他公司也在走这条路吗对顺便我们提到Google就美国那边其实有很多专门做infrared的公司也非常大了对吧比如说像Coldwave可能大家听的少一点其实它是美股里面今年涨了好几倍对但它更跟英伟达的卡绑定挂钩的然后大家可能听的比较多像DatabricksSnowflake这种对你能不能给大家大概讲一下你怎么看这几家公司这家公司实际上不是AIInfra公司但他们现在做一些AIInfra相关的产品吧其实这些公司本质都是数据管理和处理公司比如说Snowflake我们一般都觉得它商业做得蛮好的但是核心的技术呢其实说实在很简单它做的产品就是比如说你在云的世界里头你有亚马逊云你有微软云等等那它做了一套统一的这个数据的抽象使得你可以在不同云上以一套统一的管理把它管理起来那他作为这个管理数据的入口以后呢他后面可以加其他的这个增值服务嘛说我可以帮你处理处理这些数据啊算一算一些东西啊我展示一下之类的Telaboris相对的有核心技术一些因为他以前是Spark这个分布式集团框架的这个主导的公司但是我觉得到了商业化落地的时候其实也大多是以这样的逻辑就是你传统企业不太知道数据怎么去利用起来我来帮你用最方便的方法把你的数据给存起来管起来算起来当然你可以想象当他们帮助客户把数据管起来以后呢他也可以去做一些AI的事情了因为AI也是学数据和处理数据嘛所以他们也在往这方向去转型吧对所以在你看他们其实更偏我们刚才讲三部分就是Infra数据跟算法他们更偏数据那部分不不他们是服务数据的Infra对OK所以你觉得现在有没有第三方的公司不管是大的上市的还是初创的是典型的你中的AIInfra这种类型的公司初创公司很多你刚才提到Corewave也是你刚才提到甲昂青也是刚才收购了然后国内的话国际游动无人行穷什么路程科技但基本上这几家都是在做推理加速对吧我对他们近况不是特别了解无论我理解的是推理为主但我说错了也有可能对吧陆晨早年是做训练的然后轨迹流动袁静辉老师早年也是做训练的但是他是上个公司做训练这个公司主要做推理的这跟商业模式有关系就是训练的商业模式我个人觉得是不太成立的所以你觉得对于创业公司来讲或者这种第三方的infra公司来讲还有什么别的机会吗因为刚才讲的那几家现在反正都是偏向推理方向是,我觉得这是跟时机有关系现在的状况是训模型的主要还是非常非常懂行的专业人士然后专业人士第一钱很不好挣第二呢我们训模型就是为了用模型本身出来竞争的然后意味着我们在训练的时候无论我们做任何的研发都是我们的核心竞争力那我很难把这件事情很早的就告诉第三方但你把训练排掉就只能推理了对所以推理是可以搞的推理相对的比较干净对然后正好问一下就是现在其实有很多流行的开源模型这个我不知道对于AIInfra市场来讲会有什么影响开源模型很多人觉得说它对AIInfra的总体技术还是有促进的我觉得这也是有道理尤其是一些很火的开源模型然后大家就会去研究怎么把它跑得好然后在这个过程中其实就促进了AIInfra的发展但是所有事情都有两面,也看你怎么看这个问题。 也有一种趋势是,因为一个开源明星很火,大家就会花很多精力在优化他上面,反而影响了创新。 这是更高层面来说的事情。 比如说DeepSeek出来之前很多人,比如说花拉玛吧,优化他们完了以后DeepSeek模型很不一样。
- [36:30]
然后这些好多积累好多时间就废掉你说有没有意义我觉得还是有一定的意义但我还想再补充一点是刚才提到这个infra其实也包括硬件比如说DeepSeek或千万的模型或者一些其他模型本质上现在都是针对英文打卡去优化的然后现在我们来说国产芯片替代你会发现国产芯片不是说跑不起来但实际上它们的性价比都是比不过英伟达去跑的然后这些模型又开源免费使用然后你可能也听过什么一体机这些生意然后你做一体机的人他就会发现他拿英伟达的卡做一体机跑DPC给我签问就是比国产卡要性价比较好有竞争力所以最后反而影响了国产芯片在市场上的竞争力我觉得这是必然的结果嘛对吧但是它确实是国产替代嘛就是你确实是拿不到就会拿到好的卡嘛那我就是在想我们是不是能够做到改变这边一点点比如说我能不能去为国产的卡去设计一些模型然后它也是收它的水平可以跑的效率非常的高所以你觉得现在就我们把卡抛出在外你觉得国内外AIInfra的能力和水平上的差距大吗还是有相当的差距这个怎么样我能理解算法上大家有差距对吧但我理解AIInfra其实更多刚才听起来是个工程上的东西以及大家是做一些方向的选择啊什么的或者最后优化一些指标这个我觉得理论上来说不应该有那么大的差距一个是规模的差距OK对谈infra肯定还是要谈规模一万卡和十万卡碰到的问题才是不一样OK对另外还是对上下游的影响吧就比如说OpenAI也想自己做芯片Google自己做芯片就是相对的因为他们无论是资金啊或者人才啊他们更容易比如说做到硬件和模型的整套的co-design那国内有这个条件的人还是会少非常多有这个条件的似乎没有到目前为止就个别大厂但是有没有真的组织起来成为一个好的状态也是一个问号有些大厂也有自研的芯片也有自研的模型所以你对Google的那种自下而上的真的是全套自己的东西它的训练效率就是会高非常多吗还是会有明显优势的所以OpenAI一直以来都是最忌惮Google的Google模型现在确实也蛮猛的所以如果这么讲的话那最终的结果是不是大家都得有自研的芯片不见得我只是说有这个危险存在如果哪一家把模型和芯片的上下统一做得非常非常好的话会对竞争对手是一个非常非常大的压力对但是如果拉长时间来看那必然会有这样的公司比如google长期来看肯定是这样的公司是那别的公司如果他们不走这个路线可能只能从其他地方去突破去差异化的竞争对那这么听起来国内还是任重道远对,然后我这基于马上要发一个新的模型这期发的时候可能已经发出来了是吧,能不能给我们讲一下关于这个新模型的一些情况这新模型从算法角度来说它是应该是国内第一个可以有第三方商用的这个几百币的一个视觉推理模型如果你看最近的一些其他模型的发布它们都是从文本的推理我们是一个真的上规模国际搜查水平的视觉推理模型這個能不能給大家解釋一下十篇推理怎麼理解视觉推理其实就是我可以根据视觉信息就比如图片当然视频也可以抽针或什么的输入到模型里头它可以完成推理任务比如说我们有时候会受一个case有点像侦探的比如说我随便拍一张照片然后你告诉我这个照片里的是哪里然后更现实的一些任务对产业更重要一些任务比方说你想象你是个机器人我跟你说要去柜子里拿个东西但那个东西可能它半遮掩的被什么东西挡住了然后你要能够分析出来我应该一步一步怎么做去完成这样的复杂任务你可以认为比如一个机器人它有小脑和大脑小脑是控制这个动作平衡的然后大脑就是我刚才说的这东西你要拆解一个复杂任务那你对一个机器人而言或者对其他智能设备手机也好车也好它处在一个物理世界里它天生就有这个视觉这个膜胎他要根据他周边的环境他看到的东西去决定他怎么完成一个复杂任务,这就是典型的视觉推行模型做的事情。 当然还有一个现在互联网上更常见的应用是拍照解题,也是视觉推行模型干的。 对,但这个东西我理解之前那些模型有的也会这么讲嘛,包括so啊什么的他们就是我拍一张图或者去视频截一张图对吧然后他应该是说把这个图去理解以后转成文字然后再去做一些推理这个应该说不是真正的视觉推理所以真正的就你们现在出的这个是怎么我觉得有不同的层次现在来说我们不需要中间那一段转成文字他直接看图推理那这些数据是什么样的数据呢是它就不转成文字了就是你可以理解为它好像真的看懂这幅图就是更端到端某种意义上理解是端到端的对还是举个例子比如说我要去哪个东西那个东西被一些东西挡着你其实用文字很难描述的非常清楚因为如果东西很多的话然后全部列出来他们都在物理世界的未知关系怎么去描述呢但是我就可以看着一张图然后直接说我应该先把这个东西拿开再把那个东西拿开最后拿到这个东西对那这个是就端到端的好处因为你不是端到端的话你就会丢掉很多中间的信息当然还有一个更高层次的我们是有预言但是现在还没有到这个论文上其实听起来就是也是一些很基本的能力比如说走迷宫然后走迷宫其实要求你有一个在图上画草稿的过程就RO做的事情对RO做的事情但你可以认为这个解数学题是在文字领域走迷宫但是在视觉领域走迷宫其实还没有那么简单因为你如果用文字推理你其实很难描述的清楚明白然后我看你们发布的是开源的一个方式是吧这个是一个怎么样的理解和考虑我们是希望做到一个全国上下产业都获益的一种方式我们决定给所有国产芯片一份免费商用的授权并且把模型权重什么都共享给他们并且尽量帮助他们适配好这个模型它这个视觉推移的功能在几百B这个量级是国内唯一的在目前来说所以他们有一些特色产品可以去推而且这个模型我们把它在国产卡上的推移成本做得非常的便宜是通过了一些模型架构的创新所以他们是真的能和用英伟达卡跑其他的一些模型是真的有竞争力的所以我们希望能够帮助他们构建商业竞争力但另一方面也希望他们也能够帮助我们推广模型所以这个是一个共生的关系对我突然想到一个问题我就问你是不是最合适的就是多模态模型的成本未来到底会以什么速度下降到什么程度因为我觉得现在其实很大一个问题还是多模态太贵了我觉得多模态理解现在并不算太贵生成还是蛮贵的尤其是视频我对这还是蛮乐观的我觉得会下降的蛮快大概比如说一年后你觉得会是现在的十分之一能做到吗十分之一不好说几分之一肯定明白所以你自己做了这么多年AIInfra要把AIInfra做好你觉得最关键的是哪几个点就对于一个个人来说我觉得很难有完全的全才但是我认为除了Infra本身的东西你要非常的理解你还要么要蛮懂模型的要么要蛮懂硬件的这样才有可能做得好现在整个市场是不是能容纳的真的做AIInfra的人其实并不多因为必须得到这个量级才需要比起两三年前肯定还是多了很多的因为包括中厂什么的也都在做了但最最顶尖的人还是这么一点点没有特别多你觉得未来是不是我们还是拿移动互联网去比基本上比如说什么DAO百万什么的它肯定是需要Infra的人了百万不太需要现在你靠云服务百万DAO还好反正那些大的互联网厂商肯定愿意做infer的吧我觉得千万要对就是他们支持高频发呀就是那些东西嘛所以你觉得未来是不是这些AI公司慢慢成长起来也需要更多做AIinfer的人了对我觉得这个需求是必然的从本质来说无论是从应用吧另一方面从计算资源的角度GPU的算力已经远远甩开CPU而且会差距越来越大对所以回到刚才说的问题就是说假如说你想像一个老板要招人我90%的成本都投在GPU上,10%投在CPU上,那他要招什么样的人呢? 90%应该是招为GPU工作的人。 所以非常非常明确的,我觉得甚至应该说,现在不是做AIInfra,也应该认真地考虑是不是应该多看一看。
- [46:00]
但像你讲的就是因为做infra的人一般就是在后面默默地在做降本的事情那是不是会经常被低估或者被忽视在一个公司里面会有这种问题吗我就看你想要做什么样的事情从某种程度上是的以前我们招人的话有些人就说我要去做业务不想做离业务这么远的事情但我觉得这个非常看个人的兴趣Infra反正它有它的特色我觉得大模型时代Infra还是重要性高非常多其实就是模型的核心一部分有人说DeepSeek做得好就是因为梁文丰是Infra的人这个怎么讲为什么说梁文丰是Infra的人因為梁文峰自己研究Infra,就是因為他做量化,量化非常強調低延遲這些東西,所以梁文峰本身是對Infra有研究的人。 就你覺得我們還講那三塊,就是Infra數據跟算法來講,你覺得梁文峰其實最擅長Infra。 是的,這個應該業界是有共識的。 我所听到的是DeepSeekInfra的工程师数量是大于算法人数的但是在很多大的公司其实是反过来的这个和过去就像你说的一些业务的传统有关系然后也和这个比如说我们过去做Infra其实会以我以比较少的人支持很多的业务为骄傲这说明我Infra做的通用影响力很大但是大模型现在这个快速发展时代它其实是反过来的它是一个非常垂直整合的事情你就是要对着某个硬件设计模型优化到极致这时候其实要有大量的Infra的人来弄所以这也是一些大厂在过去一段时间比较挣扎我觉得也有部分原因是这样人才和投入力量它是错配的它不适合做这件事情的本质的需求那还有什么别的具体例子在行业里面大家在做AIInfra的时候遇到的一些问题是怎么解决的或者说就是踩了什么坑之类的吗我可以说几个例子吧一个是最近有一家不小的公司开了一个模型它会说我这模型不大但是我的算法效果可以越级去和大一些的模型去比但是实际上这个模型因为它架构设计的问题它实际在硬件上运行的效率会非常的低下它可能比它所谓那个大一些的模型运行的效率还要低下这个其实就体现了算法人员他其实并不真的懂硬件并不真的懂Infra它怎么运行这个模型因为算法人员所谓的模型价格研究是什么他画一张图横坐标是比如说模型的尺寸或者激活量纵坐标是算法效果然后画完以后他在这个图上说我获得了一个很好的这个模型看起来不大然后状态还蛮好的但是实际运行是另外一回事你真正需要的图是横落标示你实际运行的成本或者效率纵落标示模型效果你得做各种各样的实验去把这张图画出来然后在这个图上找一个好的点但是这件事情在没有拉通算法系统的团队它做不了这个事情典型的我都可以想象它发生了什么就是算法人他只看参数量那个图他就选那个点完了以后就把这个东西扔给系统虚无化了但最后其实结果是蛮糟糕的尤其如果还开源其实大家也是看得到的还有一些例子比如说大家听过MOE模型我觉得做MOE模型的早还是晚直接显示了Infra团队在这个大团队里头它的影响力和地位它做得越早说明Infra团队影响力越大因为MOE这个事情在算法的人眼里它是一个降本的事情它不是提升模型能力上限的事情我记得当时大家讲是MOE才能承载那么大的数据量什么的这个点我觉得有些事情是大家认可以后去找的一些理由就是还是因为数据链过大,训练不了,训练不了其实就会回到infra的问题。 不是这样,我先说说当年的一些故事。
- [50:12]
好呀。 几年前吧,我们在前司付现GPT-3,然后付现完了以后呢,业务看了看这个demo,觉得这模型确实能做一些有意义的事情,但是又觉得太贵了。 那当时我就在想怎么能够做到我又试一个大的模型但是业务又不会显得太贵那个时候因为之前Google发了一些MOE的paper然后MOE又是在这条路上相对比较容易的也就是说我可以把模型尺寸做得很大但最后推理成本其实没有那么大所以我们就那个时候就开始研究MOE模型恰比比还没火那时候2年初对这个真的很早我都没想到那个时候就有MOE了是因为你要知道这是Infra团队在主导训这个MOE模型不是算法团队前几个月吧我去见了一个老朋友他之前负责算法他当时就跟我说当时看着我们在做MOE他觉得这不干他的事因为他觉得这不是算法应该做的事情因为你可以这么看这个问题我训一个10B的MOE模型和一个10B非MOEdense的模型还是10Bdense的模型强所以从这个角度看MOE就是一个省成本的事情只是现在大家知道RG或参数量对成本很重要了算法人也都知道了但当年在他们眼里他们就是看参数量的同样一个10B的模型MOE的还不如Denst微妙去哪所以实际上是系统团队或者Infra团队有影响力也有远见的就越早做MOE模型比如DeepSeek他們一上來就開始做MOE了所以這其實就體現了他們英法團隊在這模型結構上的影響力我們是23年12月開始訓的那是我們的第二代也蠻早的明白,那正好你是什么时候到节约的23年5月份对,如果我们从23年初开始到现在去回顾一下这两年的一些模型的发展就有哪些时刻是让你觉得很大的转变了你的观点或者方向之类的有这种我觉得最大的就是O1那一下就是墙外学习其实我们之前也做墙外学习但这是IOHF只是很小的一个阶段后面转变成墙外学习对Infra这种模型设计刚才说的我们要以推理输出为优化目标墙外学习才迅得快然后我的各种基建硬件的选择都会为强化学系考虑比如说强化学系它其实可以用不同的卡型像易购然后可以更分布式等等这些事情所以对很多以前AIInfra或者说大模型Pre-trainedInfra的一些假设它都会有一些影响这个是最最大的一个改变最后再问两个小问题吧,就你看现在美国那边的模型,大家有些在往coding发展,有些在往agent发展,有些可能在往多模态走,但是也有他最后可能想都发展合到一起,你觉得未来模型会是一个什么样的发展路线,大家是会有产业化的路线,还是就是最后其实都殊途同归? 我觉得在现在这个阶段看上去有一定差异化可以明显看出来代码是一个差异化的点因为你可以看到Anthropic做Cloud我觉得它的强化学习并不怎么强但是在强化学习没有那么强的前提下它还是能把代码做得一枝独秀就是它投入大量人力去准备去构造去清洗代码相关的数据它比Google和OpenAI在这方面都做得更专注做的投入的力量更多于是它代码就最强所以我可以认为说在细分领域的话还是你专门的投入大量的人去打磨这个模型还是可以打磨出你特定的优势但是其实客观来说我不知道这样能持续多久也有它的风险也许又发现一些好的训练方式一下又把它碾盖过去了然后Adrian和模型的关系我觉得也蛮微妙的这个是我不知道出入在哪的比如说现在我是个Adrian公司,所谓talk公司我去调模型的API,然后我搭了一些workflow然后做出了一个比较好的端到端体验某件事情上有好的体验但这件事情之所以你现在能做出来说明它这件事情本来就是这个模型点点脚就能做的模型厂商那边看到这个应用假如说火了下一代模型这个能力就会是模型原生的能力了然后你agent公司怎么办呢但是你说模型公司它会做得比agent公司快吗它也不会因为在模型能力没到然后方向不清楚的情况下肯定還是這些Adrian公司他們找到了場景快速用工程的方法讓模型踮起了腳尖做到這件事情所以我現在看不清這是一個什麼樣的生態我感覺有共生但是又在互相殺傷的狀態所以你对现在要转行做AIInfra或者正在做AIInfra的人有没有什么建议我觉得建议就是靠近模型靠近硬件这个是做AIInfra和其他Infra最不一样的地方希望还是打心底对这个东西感兴趣吧然后有足够的主观能动性去做各种各样的co-design因为AIInfra它处在这个位置它就是需要垂直的联合的优化才能做出好的工作其实我最喜欢的一段文章是那篇RichSutton的《TheBitterLesson》但《TheBitterLesson》它当然是站在算法人的角度来看这个问题它其实说的就是最终最能利用计算的方法长远来说才是赢家短期内做的各种各样的一些奇迹淫巧吧其实都不本质这篇文章我也是非常希望能全文备送的就是我是从Infra来看到Infra的指导意义也非常重大就是我们怎么样能把硬件的计算发挥出来怎么样设计这个模型能最好的利用上计算这件事情是最本质的当然我最希望的还是也许有朝一日我们还能影响硬件因为这中间是几十年中间发生非常多事情一个最典型的事情就是这个英伟达GPU翻身了把X86以前IntelAMD的CPU风头都抢了GPU相对CPU它就是没有那么灵活它就是做并行计算做并行计算做的特别强它的本质是换来了摩尔定律的持续如果对硬件有些了解的朋友应该知道可能不止10年了CPU的默认定律是大幅犯缓了英伟达GPU它的默认定律还在持续大概每两年算力还在犯犯那其实就和RichSutton这瓶Levitatin说的一模一样就是默认定律是一开始你觉得没什么的但时间长了以后差距实在是太大因为它的指数上升了你就看到英伟达算力是CPU的10倍、10倍最后就会有人说为什么这个AI也用英语打GPU元宇宙也用,区块链也用因为你所有新应用想要用大传理都得到它上面来所以最重要的还是摩尔定律然后怎么换取摩尔定律的持续然后怎么设计模型和你的系统软件使得你能够跟随着摩尔定律把硬件的性能全部发挥出来这个我觉得是对Infra团队也非常非常有指导意义的事情好那我们就感谢一波今天时间好谢谢