← 张小珺Jùn｜商业访谈录
Loading summary
Transcript4 lines
- [00:05]
A
來小鵬就是那個時候大師兄跟我在SK谷辦公室約了一個小時之前還在猶豫但跟大師兄聊了一個小時之後出來就跟HR說準備offer就直接來了這是最簡單最直接的一個路徑但實際上這麼做它一定會帶來像一種毒藥一樣你會越來越重的去依賴於它既然這樣想明白這個事情之後我們就做了一個嘗試就是我乾脆全都拆掉好了所以从去年到今年拆了激光雷达拆了规控规则端子端也拆了然后在后面拆语言基本全拆了为什么AI的进展都是要不断地拆掉更多冗余的东西这个稍微说一点可能引战的话就是你说其实大家不用起那么多的名词其实本质上做的东西都差不多都是一样我看到一段對你的描述是說你主導小鵬汽車從自動駕駛向AI戰略轉型為什麼要從自動駕駛戰略轉型向AI戰略小鵬本質上是一家AI企業那轉型要做什麼呢Hello大家好欢迎收听庄小俊商业访谈录我是小俊这是一档由语言及世界工作室出品的深度访谈节目我们希望和你一起从这里探索新世界今天的嘉宾是小鹏汽车自动驾驶中心负责人刘鲜明就在205年10月9日小鹏汽车突然宣布原自動駕駛中心負責人李立雲將卸任,由世界機座模型負責人劉鮮明接任這意味著劉鮮明成為小鵬在自動駕駛上,即谷俊麗、吳星驟、李立雲之後的第四任負責人外界對於他和這起人事變化有諸多的好奇這是劉鮮明上任首次接受專訪我们访谈的时间是205年10月30日那这期节目我们聊一聊他的上任拆大模型language等技术决策以及一家车企的AI战略转型哈喽先给听众朋友们打个招呼并且做一个简单的自我介绍Hello大家好我是劉鮮明我現在是小鵬自動駕駛中心的負責人我之前在Cruise工作更早的時候在地平線北美的ProfessPhD畢業是UIUC2016年PhD畢業之後去了Facebook所以就是非常典型的一個北美的PhD畢業的這樣一個trajectory就是畢業之後去大腸的研究院然後刷favor當時正好趕上開明大概跟我同一個時間去facebook所以絕望就是因為你刷favor肯定刷不過他他有多強那你的研究和從業的主線是什麼樣的方向我其实一直是做传统CV和MachineLearning的那个时候我是从08年开始做传统CV的那个时候大家还叫ComputerVision然后还没有叫AI后面就开始做MachineLearning相关的那个时候还没有DeepLearning,没有NeuralNetwork然后大概在15年16年之后大家说这个东西就是AI所以那个时候我们早期的时候开一个玩笑说computervisionthereisnovisionincomputervision就是还是比较传统的这种技术展这种research所以我一直是做这个东西的在有一段時間我也在糾結到底要不要去去academic就是去學術界還是去工業界的事情這個就是後來的故事了就是自從去了Facebook開始實習去了灣區開始實習之後我就覺得還是工業界能拿到資源做的事情比較有意思所以就逐漸斷了去學術界的念頭了你在Facebook是哪个组做什么我在Facebook的时候最早叫做ConnectivityLab那个是Facebook在15年16年有三个主要大的研究ResearchLab一个叫做Connectivity主要做的就是高空无人机站做无人机激光通信和GS另外就是FairFacebookAIResearch第三个就是OculusLab我当时在Connectivity所以相当于是软硬件结合的这样一个实验室你在Facebook幾年? 我是最早的時候實習是15年然後16年的時候回去學校繼續去跟Facebook合作然後16年的時候又提前畢業回去Facebook開始正式工作到18年走所以你是加实习到工作训练到18年对差不多三年时间三年多三年半吧从地平线去了Cruise从地平线去了Cruise这怎么考虑的当时想做Robotaxi就我这个人做事一直有一种一种就怎么说呢大家说是missiondriven使命感也好还是兴趣driven其实这个一直就是这样我毕业的时候那个时候做一个选择就是我去researchacademic还是去Facebook这样的地方还是去华尔街去做trading當時就看到一句話就說這個當時我就實習那個部門的director說然後這個就讓人覺得很熱、很炎然後覺得我一定要去改變人類所以當時我們做的事情主要就是去分析世界上哪有人後來Stanford還做了一個research就是這個poverty就是貧富指數差距的這個報告所以我們是基本上是2015年2016年我實習和fulltime那段時間基本上是當時Facebook最大的開源經濟學院項目大概用了整个Facebook的超过16%的计算资源来做一件事然后那个事情就是让人觉得我们可以提供给WorldBank来去做survey然后提供给RedCross去做救援但是比较有意思一件事是海地发生地震之后Sheryl就说你们三天之内搞定一个事情就是给我海地这个国家它在地震之前和地震之后人口分佈和建築分佈的這個數據就是完全通過Satelliteimage就是衛星圖像去做當時CommunityVision的分析去做這個事情我們大概是不到兩天把這個整個事情交出去然後RedCross進去再去做救援所以就是整個我這個人就有點軸就是想去做這種有意思的事或者說有點使命感的事所以那個時候決定去做自動駕駛也是類似的剛開始就看自動駕駛這個有一段宣傳片有人給我看的卡車司機這個一開幾個小時車那他們DMS當時會看那個車內的這個圖像就經常這個司機會一分鐘兩分鐘最困的就閉上眼睛那其實他們也有自己的家人有自己的老婆孩子等著他們所以那個時候覺得說做這件事情是有意義的真的是能改變人的生活去救人所以決定要去做自動駕駛而那個時候的自動駕駛能選的就是Cruise跟內蒙兩家公司是比較成熟的或者說真正第一第二是吧在美國對第一第二然後恰好那個時候Cruise又是老二就是你知道這個加入老二再逆襲的故事永遠是一個讓人覺得非常興奮的一個故事去了Cruise20年去了以後有什麼跟你想的不一樣的地方嗎有幾個想法不一樣的地方第一個地方就是當時去的時候Cruise的技術站比我想的還要爛還要差另外就是Cruise所面臨的挑戰和差距當時還是比想像的要高很多就真正把Robotaxi從一個產品從一個demo一項技術做成一個產品做到一個規模化的產品的挑戰難度還是比想像的要大太多了你在Cruise過程中學到了什麼在Cruise我去的時候呢2019年那個時候正好是Cruise開始成立CruiseAI因為那個時候Cruise相當於是一直說是老二嘛就僅次於Waymo但是那個時候大家在反思一件事情就是靠傳統這種打法能不能追得上Waymo所以那個時候開始去做一件事情全面的AI化Cruise其實做得很早2019年開始做了所以去了之後我們當時做了幾個事情我覺得這個也是一直影響到我現在的整個技術路線一個就是極致的簡化然後做Infra做大規模的InfraCruise應該是當時所有的自動駕駛企業裡面Infra團隊算是最大規模的一個有幾百人的Infra團隊然後另外對一個創業公司來說已經算很大了就是包含DataInfrastructure然後TrainingInfrastructure包括整個的軟件分析鏈路問題就是這個都是有的然後另外一個事情就是當時有一個想法叫做ContinuousLearningMachine持續學習的一種機器我們那個時候大家開玩笑有一個memo就是所有人躺在夏威夷的海灘上等著這個金幣從樹上掉下來就是數據迭代來解決一切的問題實現商業化我們可以躺著賺錢這個就比較形象的一種說法你看其實現在我們看整個的自動駕駛企業或者是physicalAI的企業現在做的事情無非還是在沿著兩條市面做更大規模的infrastructure去升級另外就是用數據驅動去解決問題所以这是我在Cruise学到最重要的东西你从Cruise到小峰之间在哪从Cruise离开就在小峰了中间休了一段时间假为什么从Robotaxi的公司去到整车企业我觉得有几个原因第一个原因就是Cruise那个时候状态不是太好有點可惜對挺可惜的那個時候其實我們是順風水一路在高歌猛進開誠的速度包括商業化的速度都做得挺好的然後突然間戛然而止這個叫可惜這個故事就不說了然後那個時候出來之後就在考慮一個問題就是如果我真的想去做自動駕駛的話那什麼地方是最合適的如果还是按刚才的套路我们认为PhysicalAI和自动驾驶的未来趋势就是大规模的数据然后快速的Iteration去反馈然后Infrastructure建立整个数据闭关体系的话我一定要去找的一个地方就是一个主机厂因为只有主机厂才有这样的数据才有可控的数据链路那個時候來小鵬就是那個時候大師兄就是跟我在FK股辦公室約了一個小時之前還在猶豫但跟大師兄聊了一個小時之後出來就跟HR說準備offer吧就直接來了我是24年延出24年1月份跟大師兄談的3月份來的他什麼打動你了你們聊點啥一個小時首先大師兄是一個非常坦誠的一個人而且又是一個技術宅男技術直男那個時候我們當時就大師兄問我的問題就是我想做下一代我想去遠甩開當前的對手這一代我們應該怎麼做所以我們當時就是這個問題去聊會發現其實有的時候不是我在去說服他說我們要去做這個事情而是其實我們想的同一個問題我有一种感觉就是他其实需要找到一个人能去理解他然后把这个事情做出来而我需要找到就是需要一个支持我理解我的老板把这个事做出来所以在这个之后我们聊了一个小时之后也好像不像是个面试更像是说我要去做这件事情要怎么去做那出来之后就觉得这是我一个必须要来的地方到24年初自動駕駛這件事情還吸引你嗎吸引你的點是什麼呢因為24年初已經有很多選擇為什麼還要選這個呢就是一種執念就是當你做自動駕駛做了這麼多年你會覺得我有想法我覺得這個事情是可以解決的我还是想把它做下去另外就是自动驾驶我做了这么多年之后我会觉得我感觉我看到一条比较明确的路一条一个曙光可以把这个事情做下去那如果最终证明我错了我接受但是如果证明我是对的但是我好像不在这个赛道上这个事情跟我没有关系我可能会受不了所以我还是会选择自动驾驶在Facebook工作和在Plus或者小鹏工作有什么不一样Facebook就這麼說Facebook的時候我覺得挺累的每天早上從早工作到晚然後晚上寫code寫到1點2是嗎不應該不應該很活嗎Facebook很累的Facebook非常累到了Cruise之後會覺得我去更累而且壓力更大因為你當時在Facebook處理的問題其實並不是像現在一樣真實的問題在Cruise的時候車在路上壞了除了事故其實這是一個非常critical的問題就是你其實除了工作上的壓力還有很多精神上的壓力到了小鵬之後這個節奏會變得更快就是基本上老板开玩笑7×24小时这个开玩笑就是因为我们赶上一个比较好的时代这个时代就是给你提供了一个很好的方法论去证明说自动驾驶或者是physicalAI这个东西是往前推进的当你看到这个事情一个你觉得它已经比较确定性的事情的时候那所有人做的第一个选择就是我去加速把它做出来我去验证它去证明它去deploy去iterate让它上线其实我觉得这个是一个驱动让你觉得其實可以很累就是你每天工作時間會變得更長但是根據我太太說吧我太太說好像你現在變得更開心了就是你雖然更累但是變得更開心為什麼開心你做的事情是你喜歡做的事而且你看到一個正向的收益和結果發現所有的事情雖然有困難有很多不確定性但是就是有挑战的东西才有意思而且你每过了一个挑战之后反而发现好像有一些新的突破就是最近这个词发布会这个词涌现就是一个很好的例子当你解决了一个问题之后你会发现有很多你之前觉得解决不了的问题它就能解决了我举个例子在旧金山的时候我们在旧金山太难了遍地躺的都是無家可歸的流浪漢到處都是垃圾你就覺得這個問題解決不了當時最早我們做激光雷達的技術站加上視覺去解決那些cornercase比如說寵物、鳥但是你到廣州看一下這就不是一個數量題的問題就是你會發現你曾經認為解決不了的問題都在一個一個被非常輕易地解決掉用一套新的方法去解決的時候你會看到很多新的可能這個其實讓人非常興奮自動駕駛的變化很大特別是技術感覺每一年都要變一個技術路線你覺得從你在Cruise開始做自動駕駛到現在在小萌這一年你能不能細數一下自動駕駛的每一波的技術變革还挺多的今天CPR的时候给个talk那个talk上面我写了几个不同的stage第一个stagesoftware1.0就是软件1.0那个时候就从大坝挑战赛开始用激光雷达做剧类得到感知结果然后配上一些简单的detection然后规控基本就是靠传统的数学方式来去做optimization自由化这是一几年大概是从零几年一直到零九年大坝第一代大坝一直到16年17年到167之后大家发现好像我可以混入一些模型尤其是感知部分去做检测去做分割那个时候比如说最典型的例子就是当时如日中天摸布案那個時候就是我當時把它叫做Software1.5其實你是一半的模型加上一半的規則但其實它是有一個上限的就是你的模型做得再強但是你會發現你最終你的上限是在那些規則代碼上就是規控上所以才有了後面的Software2.0就是比如說現在我們所說的端到端也好還是一些問題也好就是Software2.0這個最早該提出來是AndroidCapacity比如说这个东西如果我能有一个MachineLearning纯粹的神经网络我能数据迭代去解决很多问题就可以了所以你看其实我们在Cruise做的事情也是类似的就一个类似的例子我去建立一个神经网络一个模型给它更多的数据但是其实这个会发现一个问题这个问题就是你的网络结构和你的数据量直接成为你的瓶颈你沒有辦法在一個很大的規模參數量上去實現一個很大規模的數據訓練量讓你某些人更聰明所以才有了現在的就是大家給不同的看法就SOFTWARE3.0也好還是這個新的這個VLA、VLM這些技術架構其實本質是一樣的本质就是我在有更大芯片算力的情况下我可以提供更大的网络结构那需要更多的参数有更多参数也需要更多数据量其实AI就是比如说之前有一期播客是采访张小宇他提到一個觀點其實挺有意思的我覺得這個我很認同過去的AI這幾年的發展就是在做skillingup在做dataskillingup就是你有更強的網絡之後你一定需要更多的數據才能做這個事情所以如果你看現在的新的自動駕駛軟件站其實已經越來越貼近於我們所謂的AI或者是大模型為什麼呢就是更強大的模型使用更多的數據來去訓練大家在尝试去找到各种各样不同的scaling的方式用datascaling的方式包括使用预训那些大模型也是这样的就因为它是一个提前预训好的模型所以基本上现在自动驾驶看起来就是这么几代软件站从纯规则到规则加上一半的模型到传统的端到端再到更大的模型其实我们在做一个有意思的事情就是云端的工厂也好还是什么本质上来说我们都知道如果scaling是work的我需要給他更多的參數更多的數據量來去train那我的車端的硬件一定是支持不了的那把它拿到雲端來去做做一個巨大的模型再通過蒸餾的方式或者是量化減脂部署的方式量化減脂蒸餾的方式部署到車上那就變成了一個newfactory這個factory一旦訓練好了之後它就會不停地去generate不同的模型可以deploy到不同的硬件上面的這個模型來去完成軟件部署其实这个我觉得是现在自动驾驶目前看起来最为可靠的一种前进的方式从端到端到现在讲的非常多的VLA它的本质区别是什么其实如果从整个的范式上来说没有太多的变化就是我们所谓的现在VLAVOM世界模型这些本质上来说还是端到端的体系架构在这里面大家其实在做的一个更多的事情就是怎么去更多的使用同时的知识怎么去更多使用多模态的数据比如说像去年比较开始的VOM基本上就是Vision和Language进来来去做理解输出Language再去把它变成一些某种的比如说GoalPoint或者MetaAction轮到这个档档模型里面来去做决策包括现在的VOA包括我们做的就是Vision和Language去作为它本身的Input来去做推理之后直接给出Action直接给出最终的结果其实本质上大家做的还是这样的一个一个类似断导端的范式这个地方其实为了去解决数据使用和数据量的问题大家引入了很多不同的中间结构比如说很多做VOA会说我把传感器的信号translate成中间的languagetoken然后再用languagetokendecode出来最终的trajectory其实这就会产生一个瓶颈这个瓶颈反而就不利于你去做datascaling那怎么解决所以我们的做法就比较简单直接拆掉就完了拆掉对把language拆掉让它中间不直接去做language而是直接用vision和language作为输入作为action的decoding就是说V和L一起输入不单独输入L对能不能讲一下你们整个VLA是怎么训练的以及你们从第一代到第二代的区别是什么因为这次即将发的是第二代对完全講一下你的BLA怎麼訓的其實很簡單沒有太多的中間的曲折或者是故事本質上還是回到我們一開始說自動駕駛最大的比如說小鵬或者主機廠或者我們認為自動駕駛企業最需要的核心是什麼就是數據所以說到底最終你的核心能力取決於數據的規模和你使用數據的效率就是你能使用多少數據以及你能怎麼去更好地去使用這些數據對如果是这样的话,最直接的就是我有没有可能找到一个足够大的模型,让它中间没有BotNec然後能讓它突然去twin起來過去AI成功的一個點就是能去使用數據去做unsupervisedlearning或self-supervisedlearning就是自監督的學習所以使用自監督的信號如果中間有任何的language有語言去作為監督信號的話那就勢必去引入人的監督信號就是引入人的數據標註或者是refinement調整這樣就會降低整個數據使用的效率所以最直接的办法那就是我去找到一种自监督的方式让他去输入然后直接去输出那这样的话才能保证我只要有足够多的数据我可以不停地像一个机器一样流进来我一直在内部说一句话就是模型其实是一个机器而它的燃料就是来自于数据光有机器是没有用的你一定要让数据流起来那数据流起来一旦插入了任何的language的secretmission就会让整个的效率变得极低为什么language会让效率变低是理解能力它能起到认知的作用但是你的一段video进来之后你language肯定要去打标签要去生成labeling即使我用大模型去generate的话那其实我还要去人工去做判断去做一些质检我知道理想他们那个自动模型L占一个比较重要的作用它是用了DeepSea的开源你们会这么用吗我們沒有這麼用,就是我們不會這麼用,核心原因還是我們其實就是這麼說一個心路歷程是一開始我們其實也在想有沒有類似的辦法因為這是當你使用開源模型然後來去做這件事情,這是最直接的一個燒卡,一個簡單的一個路徑對,這是最簡單最直接的一個路徑但實際上這麼做呢,它一定會帶來像一種毒藥一樣你會越來越重的去依賴於它我們曾經也是這麼做的但這個事情會發現一個問題就是你會發現它並不能讓你達到隨心所欲去增加你的數據量的效果因為你中間始終有language這個地方去作為你的supervision比如說你的VLM也好它的L如果在中間你肯定是輸入你的vision和textprompt輸出是languagetoken用這個來去做監督信號那你一定要去生存這個language的supervision即使我用DeepSeek去打標籤我還是要去做人工智鑒然後再去做訓練而且由language本身輸出language是一個非常容易的系統比如說它是一個離散的空間它是一個離散的叫tokenize叫token化token化的話一般用詞表codebookcodebook就是一個非常離散的空間但是我們說就是物理世界的模型它有兩個最大的不一樣的東西一個就是輸入它輸入是連續的視覺信號或者是整個的傳感器信號它不再是離散的文本化序列它的输出也是一个连续的控制空间比如说我们认为车一般就是纵向加速度和它的kappa或者是要角就是方向盘的转角对于机器人来说就是所有电机的控制量这些都是一个连续控制量而连续控制量用语言去生成离散的空间化这样的一个token然后再去翻译出来这样连续控制量显然就是一个低效的一个过程所以你没有L的制作模型對我們就直接那既然這樣想明白這個事情之後呢我們就做了一個嘗試就是我乾脆全都拆掉好了全都拆掉拆掉之後呢我還是需要去用語言的理解能力我永遠要理解用戶的意圖要理解導航的意圖但是這個並不再成為你的主要的一個dependency並不是你的主要的一個依賴然後由這個作為出發去重新訓練一個模型就是從vision加上language作為輸入直接輸出的action這個會遇到一個跟Tesla一樣的問題就是你會有一個這維持在那兒的問題就是你輸了投票數量很多的但輸出的空間其實很小比如說你未來的幾秒鐘對吧你一共才幾十個點幾十個控制量所以它就會比較從極高位的空間到極低位的空間所以為了解決這個問題我們來開始做世界模型世界模型就是我讓他先去嘗試理解世界是怎麼運行的再讓他去做最後的決定怎麼去輸出這個動作所以這就是我們這是一個大腦這是一個大腦其實你可以把它簡單理解成對於文字來說文字我們用cut去中間去嘗試去理解模型怎麼思考的我們現在只是換一個方式,我不用文字去作為COT,我們第一個想法就是說既然COT能work,我第一個想法是使用LatentCOT,使用LatentCOT之後我乾脆更徹底一點,我讓這個COT也直接作為一個影空間,去看看它對這個世界的理解是怎麼樣,所以你去做generation去做diffusion,去看它中間生成什麼樣的視頻,去生成什麼樣的browderview的圖,這個事情就解決了。 所以你们作为输入只输入的是VL联合的这个语料是吗还是说是Vision的语料和NL的语料好像没有L的语料对吧没有纯粹L的语料我们输入的基本就是VL联合的语料因为你想想他们的训练过程先是L的语料然后是Vision的语料在最后放VL联合的语料等于是把前两个都去掉了这是典型的VL的训练方式就是这个是一个对网络出参数做初始化比较好的方式但这个其实并不能彻底地解决自动驾驶的问题因為自動駕駛本身你還是一個需要強依賴於外部傳感器的這樣的一個模型或者這樣的一個體系所以輸入的是VL聯合的預料輸出的是Action對這是你們的一個現在的訓練方式對所以其實我們可以把L拆掉就是把L拆掉的話就可以我沒有任何的instruction他自己去理解我應該怎麼去向前去前進在整個世界中怎麼去探索這個VLA和世界模型的關係是什麼其實我們在確認一個模型就是說我不太想去區分它是一個世界模型一個VOA還是一個斷的模型本質上是一樣的我的輸入是Vision和Language那我去訓練一個世界模型當我把世界模型中那些計算複雜的部分Decoding的部分全部砍掉就變成一個可以直接部署上車的模型就不去做Decoding我只讓它產生中間的推理和最終的動作就可以直接上車了就變成我們現在所發布這個VOA2.0的模型從VLA1.0到2.0拆L是一個很重要的事對吧對是一個很重要的過程這個討論了多久啊有猶豫嗎还是挺犹豫的就是就是一个好的团队他应该做的一个事就是你不停要去跳出你之前成功的经验就是你会发现一个问题但并不能一直是我过去怎么解这个问题的你要跳出来去想那这个是什么所以我一直说跟团队内部去说就是我们要去做一个团队这个团队要勇于去破除你自己之前做过成功的事情然后去exploreandknowandknow就是你不知道的这些事情所以拆L這個事情大家其實討論了一下但好像也沒有討論太久就覺得好像就應該這麼做那我們來試一下就開始做了能不能一句話解釋一下為什麼應該拆L就是L不够高效还成为中间的Bottleneck就是L本身是离散化的而且你要去解决就回到我们解决的问题Physical要去做物理世界模型你的输入是连续型号输出是连续空间是动作那我中间为什么要插一个L呢就作为这样一个表达方式其实没有必要去做这个事情那你的COT有几波depends就是具體應用的case來去做不同的不同的行動這個是你們後來討論出來的下一代的架構嗎對是你們24年初在美國辦公室跟小鵬討論的當時有講到這個嗎還沒有跟小鵬討論的更多像是長久的戰略就是我們要去做這個事情我們的戰略應該是什麼樣子一個三年的規劃是什麼樣子所以很慶幸的事情就是到現在發現我們做的事情還是在沿著這個規劃的往前做什么时候做的决定XL? XL差不多今年的上半年到年中那个时候吧就很快OK这是第一个还有其他的吗? 从第一代到第二代基本上就是很簡單的一個事情就是當你有了一個強大的模型之後你會發現很多你之前不敢想的事情都能做的就非常簡單的所以往往這種技術突破它不是一個很複雜的過程我記得我讀書的時候我讀PhD的時候我老闆就會經常說一句話就是簡單就是美吧就是世界上好的東西都一定是簡單的所以這個發現的過程往往也是簡單的就是你去及時的減緩當前大家現在犯很多一個錯誤通用的錯誤就是我為了讓這個模型變得好用其實我在上面去加了很多複雜的東西讓它在很小的數據很小的計算量的情況下去看起來更好但是往往其實解決問題的方式就是讓它變得更簡單用最原始的方法去解決問題很多人說是第一性原理但其實你想一想這就是最直接最原始的一個方式同時FSD最近也有一些進展你覺得你們跟他的路線是相通的還是差異性比較大其實我們跟他的路線像但這個並不是說傳統意義上的界限或怎麼樣就是大家更多像不謀而合我們也是在最近特斯拉在SACP上說這個事情之後才發現原來大家做的事情其實很類似這個世界上就是這樣如果你認為是對的一件事情其實可能其他人認為他也是對的有一種英雄相惜的感覺這可能說的太高大上了但是對的事情就真理可能就這麼一條那大家最終可能都會踩在這個路上你們什麼時候驗證了skinnylow其實今年年初吧差不多今年上半年就驗證了在這個架構下呢在上一代架構上就驗證了這一代架構明顯skinnylow效果會更好一點好多少这个很难去一个量化指标来去做我们内部有仿真的指标有路测的指标还有一些开环的指标其实还是好了不少你们现在评价它的核心的北极星指标有哪些它是很多的就是除了一些传统的开环指标之外我们也大量的使用仿真做这种模型的话你是必须只能用开环仿真来闭环仿真来去做如果说第一代到第二代的差别的话XL是最重要的還有其他的不加數據加數據加多少規模的數據我們基本上每個季度都在以30%到40%的速度在網上增長數據這個是真實數據還是網上數據真實數據真實數據什麼樣的數據比較難獲取一切還關鍵countercase這種常委場景是最難獲取的你們怎麼收集數據呢所以這個就說到為什麼小鵬能做這個事或者說主機廠能做這個事情就是你想要去收集countercase數據的話首先你要知道什麼是countercase數據有的時候我們就很幸運就是說之前小鵬如果沒有零到一的把這套規則體系或者上一代章章做出來你根本不知道什麼是countercase就是你的車跑在路上有一些shadow的影子模式再比如說有些用戶接管的數據如果這些數據你連一個基本的系統都沒有搭好的話你發現你收成很多數據都是無效的數據就是因為你有了一個比較好的0-1的一個系統其實它能告訴你什麼數據是一個你之前沒有見過的cornercase哪一些數據是我當年系統解決不了的數據以及我們有了這個系統之後就可以對數據分佈去做一些分析統計去做一些模型來去看什麼樣的數據我應該trigger上來什麼樣的數據我不需要其實已經有很多了能不能分享一些比較有實操性的knowhow比如說什麼樣的數據應該trigger上來這個是一個挺難的問題其實我們也在一直探索就是這個事情我只能說就是我們現在也許能拿到9%的數據但是肯定還是有1%那我再去獲取1%免9%再去做這個事情其實Robotex也好自動駕駛也好一直就在做這個事情你一直在不停地把小數點向後去挪然後你的希望是當他看到了足夠的數據之後他會產生一些有限效應就開始去做推理跟現在大模型的做法是一樣的就是他要去解決剩餘所有的case加上你们第二代VLA的车已经上车了吗现在已经上车了开的实际体验怎么样实际体验还是很惊艳的就是非常惊艳尤其是这个就像刚才说的嘛就是以前在旧金山觉得解决不了的问题现在觉得哇这个很容易包括广州我们最喜欢测的就是广州这个case广州很多城中村有很多小路现在就开得非常丝滑就是很像人但是很安全他不是说单纯的只靠imitationlearning就是人怎么开我就怎么开更多的时候你会发现他确实在思考什么时候该去避让什么时候该去让对面的车让行有很多甚至是只能一辆车去通过的这种道路他会发现我这个车要等这辆车过来我再去走或者什么时候我可以根据对方车的一点点小的微小的变化去决定向前去notch就是非常smooth去notch然後除了這些之外我們也來看它的泛化性就是其實最怕的一個事情就是當你的數據太過於集中在某一個領域的時候你會發現它會overfeeding這是很常見的一個問題所以我們目標就是我不去使用一個特定地點的特定類型數據而是集中地去使用非常泛化性的數據來去訓練這個模型希望它就有很強的泛化能力這個也是我們目前看到的一個事情就是小路正常的城區的工況高速包括在不同的城市不同的天氣情況其實都是還是表現挺不錯的所以這個才有了後面的另外一個湧現的topic就是我是不是可以用這個東西來打全球的市場來去做各種不同的應用它泛化性明顯更好對吧對泛化性明顯好很多就是你可以明顯看到這個模型訓練它沒有你想像的那樣它在海外或者其他市場的泛化性變得很差其實反而很強我看到一段就是對你的描述是說你主導小鵬汽車從自動駕駛向AI戰略轉型為什麼要從自動駕駛戰略轉型向AI戰略小鵬本質上是一家AI企業這個我覺得是核心的一個問題你看小鵬做的事情做車做機器人做飛行汽車然後做芯片其實本質上它是一家AI企業是一家物理AI的企業它做的無非就是兩件事情做芯片大腦以及做跟物理世界交互的這樣的device或者agent所以去年的時候小鵬十週年然後大仁兄開始說這個事情就是我們其實是AI企業所以這個轉型其實就是一個非常自然的過渡而不是說我強行要去蹭個熱度去做這件事情那轉型要做什麼呢轉型要去做第一件事情呢我覺得就是整個公司的mindset就是思維方式然後視野要去做這個東西其實我一直比較就是比較佩服大師兄的一件事就是他的視野還是非常的讓人佩服的舉個例子就是我們去年的時候跟大師兄說我要做這個事就是要去做大模型做物理大模型這個事當時沒有任何demo也沒有任何的結果然後大師兄說這麼多GPU這麼多錢怎麼辦大師兄說好你很難去找到一家企業的一號位老闆是那種這樣一個視野他想去做這件事情並且能看到他的價值就包括大模型上車這個事情就是最終去量產這個事情也是很大的一個挑戰就是在合適的時間點去發現他的閃光的地方並且敢去承擔風險去做這件事情我覺得這是小鵬去做這個轉型過程當中很重要的一個事情另外就是要去做轉型其實做團隊就是我們現在如果說是一家AI企業的話AI企業它是應該有個新的架構它不會像以前一樣你有大規模的人才然後資源像撒這個芝麻一樣全都分到每個人頭上這樣做不好一個事情所以整個的科技企業AI企業過去幾年的趨勢就是從分到合的狀態現在在去到分的狀態就是集中資源有一個優秀的團隊有大量的infrastructure去做平台去做系統來去提升整個團隊的效率去集中去解决一个重点问题当出现涌现之后你看现在OpenAI其实有很大的一个凹口去做Application有OpenAI的Application当你一个模型已经达到一个很好的状态的时候其实你做下游的应用会变得非常的容易比如说Cloud就是很典型的例子AzureTropic在背后有一个很强大的模型所以它并不需要很多的人就可以做一个应用但是它可以有很多的人做不同的应用你說的分到合到分,最後的分是指做應用是吧,合是合力做模型所以我們也是希望著整個的公司會逐漸朝這個方向去發展現在是要合還是分現在還在合的過程中從分到合就是從以前可能我又做了機器人然後我又做了車我又做了芯片然後現在要形成合力未來基座模型很強了再分是這個意思我覺得目前整個小鵬的過去的狀態就是大家去合力去做一件事情把物理AI這件事情做好做好之後後面自然會有很多湧現出來的application你們的轉型從什麼時候開始很難說一個明確的時間點我覺得轉型就是是一家企業的一個基因的問題小鵬在內部說了什麼应该就是去年在十周年的时候小鹏说小鹏是一家AI企业要去做这样的转型然后开始去做内部的一些改变在节点上项目上包括周期上面都会有一些变化因为作为AI绝对不是一个短期的事这个变化具体会体现在哪些方面資源投入大家知道小鵬其實在AI上面投入還是挺大的人才建團隊就當我們在說這是一家自動駕駛企業和在說這是一家AI企業它的區別是什麼自動駕駛企業你關心的是KPI這個車在路上跑它的接管率是多少然後用戶的體驗是什麼情況我其實最重視的一件事叫金屁股和白金屁股就是這個詞可能有點搞笑就是老闆出去坐一趟車覺得這個很好退出去然後所有用戶去用其實這不是一個這就是一個很典型的就是傳統的研發的方式而作為一個轉型的話你要去接受的一個事情就是你的優化目標不再單純的只是你的產品體驗然後你除了有產品體驗之外你還有更底層的技術的變化這些都是你最終的目標這樣才能真正的往前推進就是有的目標可能是技術指標有的目標是產品指標還有一些非常risky的長線的指標比如說比如說做模型這件事情做AI這件事情它就不太可能是一個技術能做完的事它得有技術追求對是的所以我大概理解一下小鵬是在去年十週年的時候覺得要向AI企業做轉型小鵬有沒有語重心長的跟你說什麼你的目標或者KPI或者他的願景老闆的願景還是挺多的我的KPI呢現在核心就是把這件事情做好就是所謂的物理AI對把物理AI這件事情做好那現在開始在自動駕駛上逐漸地去顯現去落地變成一個產品化的東西這是至少短期的一個明確的KPI那明年的KPI應該主要就是泛化能力就是全球的泛化對就是在不同的市場不同的產品型態在不同業務線上有很明確的收益但這個並不是唯一的KPI就是像我剛才說的一家好的企業它一定是有長線的也是有短線的所以肯定還有繼續探索下一代繼續向前推進去解決那些未知問題的這個目標所以我們現在都知道其實整個大模型做到現在我們還是有很多沒有解決的問題比如說現在模型訓練的方式那language怎麼去用那我怎麼去做原生的多模態然後包括怎麼去更好的使用世界模型然後怎麼去做更多的場景設計reinforcementlearning強化學習怎麼去做得更generic这些都是后面其实要去不停解决的问题我们是不太可能说你现在就stuck在这儿卡在这儿你去直接解决业务目标而不去停止业务这个技术推进所以技术还是要继续向前但是业务指标也会继续向前这几个指标你的优先级是什么分不同阶段在过去的一段时间里面有一段时间我的最重要目标是建Infra建体系就是如果没有一个强大Infrastructure的话你是不太可能能去SkillUp的大家一直说我要去SkillUp但是你可能想一想当你有几十个Petabytes的Data要去读的时候瞬间读进来在模型训练里面你是做不到的训练一个模型对吧你几千块GPU你训练一个模型五分钟让它不崩掉这个事情也是一个不太可能的事情你怎麼去解決這個問題所以第一步就是infrastructure肯定是我的穩定性infrastructurescalingup這是我有一段時間的主要的關注點那在後面的一段時間關注點就是當我的infrastructure已經達到一個穩定狀態的時候那模型怎麼去scalingup去驗證它的prototype關注點那再後面一段時間就是我繼續向前去seekingoutthesource我能不能看到我想看到的有限效應和規模化效應那到現在呢就隨著現在這個自動駕駛職業的應用那主要的KPI就會變成落地那明年還會更aggressive的目標那這個目標也會去相應的調整我自己的優先期就是我會去在裡面去做一些平衡在產品落地和技術突破上面繼續做一些平衡所以你覺得現在AI對於小鵬汽車這家公司來說意味著什麼我覺得是一個很重要的scaler就是一個像你做懲罰一樣的一個懲罰因子懲罰因子對就是小鵬本質上來說是一家做物理AI的這樣一個企業所以它永遠是有幾個factor一個factor就是你的硬件製造另外就是你一直在說硬件芯片模型那其實這幾個事情都是藏在一塊的你缺一個東西都是不可以的都是很難去繼續向前的底層的製造比如機器人的製造關節很多電機車的製造更是一樣然後底盤動力系統三電氣架構那到芯片芯片就是如果我沒有一個好的芯片的話我是沒有辦法把一個模型落地的這個故事應該已經大家講了很多了怎麼去做芯片硬件跟軟件之間的聯合開發co-design聯合的優化協同優化這個本身也是一個很重要的一個事情那另外就是模型AI的本身就是AI它一定是一個賦能的東西就是當你要賦能的話就意味著你要有端出的device你要有芯片並且你要有直接能去跟物理世界交互的硬件設備就是車機器人這些東西所以它是因子之一它不是一個最重要的一個我覺得是一個因子之一因為現在我們已經過了一個不一樣的時代了就是做物理AI的話你一定要去跟物理世界交互要跟物理世界交互的話你就必須要有物理世界的設備就比如機器人很典型的例子跟你去說話跟你去交互去完成人的指令去完成目標車也一樣去從A點到B點的這樣一個通行過程然後去把人安全送到目的地或者完成你的任何指令其實是一樣的就沒有硬件這個是沒有辦法閉環的而且因為你有了硬件有了大量的device在這個認識世界裡面你才能把整個事情變成一個閉環就是我訓練了一個模型有更好的AI我需要看到它跟這個世界是怎麼交互的並且把交互的反饋拿回來其實這也是一個過程所以剛才其實說了你去年三月份加入小紅以後做的幾件關鍵的事情也包括是infra的搭建Infra模型本身落地差不多三個大的階段吧你對過去這一年多的工作感覺怎麼樣還是挺累的比在Cruise呢比在Cruise要累你覺得在小鴻坐的自動駕駛和在Cruise坐的自動駕駛不一樣在哪裡以及你現在還看不好像Waymo這種模式嗎在小鵬座自動駕駛還是跟Cruise或者跟任何一企業都很不一樣的第一就是其實你是有一個新的研發方式像Vemo也好像Cruise也好當你已經有了一個成熟體系之後你是很難在上面做一些大的變化的這是不太可能的所以小黃最大的優勢就是其實小黃整個的公司在不停的進化包這個團隊自動駕駛的團隊AI的團隊在不停的進化不停的去推翻自己已經成熟的體系去做新的東西我覺得這是一個要去追求一個新的東西的該有的一個態度和一個體現就是你不可能說我過去的這段激光雷達的東西已經跑得很好所以我就不能拆它拆了對吧對是拆了這個事情就是去年的時候其實我們內部有很多debate有很多的爭論當時就是大師兄說OK對長期來說一定是更有利的一件事情我決定做這件事情包括做AI也是一樣的我們一開始跟大師兄去說一件事就是做全面的AI做登陸端做上車量產這件事情有可能讓你短期會有回退這是幾月30年差不多去年的七八月份吧就是那個540那段時間就是你拆掉這個東西的話你一定是有回退的或者你全面演化之後有可能是有回退的但是你可以通過不停的數據迭代OTA的迭代讓它逐漸拉回來變得更好就是上限可能會更高就是你的上限一定會更高的所以如果你只看著說OK我現在不能產生回退我不能產生任何業務問題所以你守著這一套上限比較低的系統的時候你是不太可能走得很遠這個可能就是目前過去我的工作經歷跟現在最大的一個區別所以從去年到今年拆了激光雷達拆了規控規則今年又拆了語言是嗎端到端也拆了然後在後面拆語言基本全拆了為什麼AI的進展都是要不斷地拆掉更多龍魚的東西這是什麼原因啊還是那句話就是簡單的東西一定是就是好的東西一定是簡單的下一代再拆點啥好像沒什麼可拆的了這是終極架構了嗎技術架構就是我們這一代人很幸運我們這一代人從一開始開始做到現在一直不停地在經歷技術變革至少在現在的情況我覺得這個可能是一個最優解但是到後面肯定會有新的技術發展出來肯定會有新的技術突破那個時候這還是回到一個故事就是一家公司或者一個企業也好還是一個團隊也好你要去能放棄你之前你認為是正確的東西去追求更好的就是你要去有這個勇氣和這個能力才行所以我不知道未來會不會出現更好的架構更好的方法論但是目前來說這個可能是我們能想到最好的辦法我昨天看那個TheBitterLicense就是他說長遠看我們試圖構建以我們自以為是的思維方式相符的系統是行不通的就是這些手工特徵在短線來看都非常的work但是長期看都是其實是人工智能的一個回撤是的其实是这样的同样的强化学习也是一样的强化学习最早的时候我们说用rewardfunction就是用规则写的rewardfunction这个确实能让系统在短期内走上正轨但是其实你的系统会严重受制于你写rewardfunction这些规则就跟你刚才说的一样这些东西是一样会出问题的所以才有了现在大家不停地向前去追求世界模型去追求更闭环的一个反馈系统你刚一加入小鹏做的是世界模型我刚一加入小鹏的时候那个时候开始在筹划做世界模型然后最开始的时候还是最开始是端到端然后筹备做世界模型就世界模型是对端到端的替代吗你们对于世界模型的定义是什么样的因为现在好像学界定义都不一样大家都定义不一样我们对于世界模型的看法就是说它其实是本质上是一个对整个世界的声称就是对整个世界理解的一个过程就是你能如果去理解这个世界并且能推演这个世界的话那我在上面去增加一些任务让它去输出action去输出最终的这个动作就是一个很自然的过程剛才你說這個就是你們做的世界模型是吧所以你們不是把VLA和世界模型分開來做的不是分開做的你們就是做一個模型然後這個模型就叫世界模型它是VLA架構你可以把世界模型中對應的生成的和理解的部分拆掉讓它直接輸出action就變成很簡單的一個VLA的結構那這個世界模型它只是這個領域的世界模型是吧它好像不是一个全知全能的所谓的世界模型你要有一个框架做一个整个的平台和一个框架这个框架是可以自然被延伸到其他的领域比如说我们也会跟机器人去合作我们有很多其他的领域也在做其实你看小光机器人一直也在用VOA的结构VOA、VOM和VOT的结构其实一样重要的是你有一套体系这个体系可以使用不同的数据来去训练然后让它去学会更丰富的知识然后你们统一管它叫世界模型因为现在每个车企它都用这几个词但是都是相互组合这个稍微说一点可能引战的话就是你说就是其实大家不用起那么多的名词其实本质上做的东西都差不多都是一样的最贴切应该用哪个词我觉得最贴切的Facebook应该是一个挺好的一个名词模型呢如果一定要说是什么模型呢其實大家本身在做的都是在做一個端到端的模型再加上不同的多麼台的數據加上不同的信號輸入讓它來嘗試響應我覺得這個其實是一個最基本的架構就是端到端世界模型可能多了更多的對整個世界的理解比如說像Tesla的這個最近結果其實跟我們會就是大家看到Tesla那個套的時候大家的第一個反應就是我去又撞車了世界模型更多的是加入了對整個世界的生存跟理解來去做推演就是這樣一個過程你們做agent嗎我們目前還沒有會做嗎很難說取決於未來的業務需求或者是我們看到的問題本身智能駕駛的VIA跟機器人的VIA有什麼不一樣其實架構上是一樣的沒什麼區別但是現在確實是在應用領域上它能夠復用嗎基本結構也是復用的但是應該在機器人如果要落地的話更難一些確實更難機器人的數據會比自動駕駛要少很多所以解決機器人的數據問題是一個主要的問題另外機器人控制的自由度會更高就比如說做manipulation就是做行為操作的時候它的自由度會更高但其實我們剛才說過這個問題就是你的輸入的token是足夠多的就是你的輸入的維度本身就足夠高輸出已經做了很多的降位所以本質上來說這個自由度不會是一個大的blocker你覺得這一代的架構距離自動駕駛最終實現中間還有什麼阻隔一個是安全安全的下限就是這個一定是最終要去保證的這也是一個車企最終需要去負責任的一個地方你要去能保證你的系統整個是安全下限的所以這個跟伊利亞說的整個人類的AI的整個Safety其實是一個類似的意思我覺得這是一個最大的問題如果另要找第二個問題就是繁華性我們現在看到繁華性還是可以的還是不錯的但是這個一定要需要大規模驗證之後才知道預計多久能實現L3和L4我們明年會去推L4會去推L4在哪在廣州在廣州會推L4就是基於之前的架構來做的對是同一個架構來去做L4就是涉及到那個Scaling就是如果我在車端增加更多的算力我給它更多的TestingTime的Scaling給更多的Inference時間更大的模型的體積其實它是有可能解決更多複雜的問題的但是其實做L4也是同樣一個問題你怎麼去解決安全下線的問題比如說我可以通過雲端的Teleops或者是雲端的接管這樣的安全預安的方式來去做但是其實本質上來說就是你怎麼去降低你系統出錯的概率從而去降低雲端接管的頻次降低成本達到一個可商的狀態所以明年你們基於這個架構能夠交Fields我們的目前計劃是這樣的OK你沒有安全對齊嗎這是個挺好的問題這個就是剛才我說的安全的下限問題我們在嘗試去做這方面的東西現在還沒有開始是吧但是會做當你要從自動駕駛轉向更AI的企業的時候這個團隊需要發生變化嗎這個架構呢我們也聊到過分核的過程其實一開始的AI團隊就是一個核的過程逐漸從AI到自動駕駛就變成一個分的過程你肯定会有团队去负责落地支持不同的业务线怎么让模型在不同的业务场景中取得更好的结果比如说我们这个有园区然后有正常的行车还有海外的业务线每个业务线其实我们也在尝试去做跟分的这个类似的这样的组织架构的变化刚才不是说在合的过程中吗就是过去一段时间一直在合现在核心的模型还是在合在业务线上逐渐地向外去分你們大概這個體系是分哪些人分哪些架構小峰的架構是比較扁平的就是比較考驗力的所以基本上就是架構本身並不是問題重要的是你能把多少人去迅速地去line起來去做這件事情我覺得這個才是核心小峰整個內部的體系就是非常的扁平極其的扁平因為這也是你第一次接受訪談嘛大家還是會很關心就是為什麼小鵬的最能駕駛的一號位有一個變化為什麼你上任了這個肯定是大家還是一個非常關心的話題然後外面有很多的解釋大家還是會很想聽一下你的版本你覺得這個對於小鵬來說意味著什麼以及對於整個汽車產業界意味著什麼我覺得這個大家就沒有那麼多背後的故事我覺得就是正向去看就好正向去看就好當你想認準做一件事的時候還是一個很挑戰的過程就意味著你要去承擔風險然後要很投鐵地去做一件事有的人說我非常就是外面對我很多標籤就是有的時候我也會看有些標籤說我非常hands-on有的人會說我micro-management也有人會說我很頭鐵就是說什麼都有反正內部也有就是大家都會說這樣給我打了各種標籤但我覺得你想去做一件事情的時候其實你需要去承擔一些risk也要有一些潛在性去判斷它並且把這個risk控制在一個你能接受的範圍之內然後就全力以赴去做這件事情所以如果沒有投鐵的性格或者沒有非常肝臟的風格的話很多事情是推不動的也不太可能看到結果我覺得這個如果真的讓我重來一次或者重新去看的話我會很慶幸我過去做這些事情你投鐵做哪些事情比如說就是投帖的一定要拆,一定要拆得越來越簡化,越來越簡化的模型架構,然後越來越極致的Scaling,我覺得這個就是我非常投帖,其實當時大家有很多人會說,我們要不要加這個,要不要加那個,No,不加。
- [56:03]
這是去年幾月? 就是大概去從去年年底到今年年初吧。 從拆東西到加數據到加scaling這些東西很多人會有就是團隊裡面也會有一些不一樣的聲音會有一些各種各樣的反饋其實那個時候你去作為整個團隊的立委你要去想清楚到底什麼是正確的然後在一個你目前所看到的東西到底是不是真實的其實要有一種執念這個可能錯了我也就錯了所以就是要把它整個的風險控制在一個你可以接受的範圍之內拆哪裡是最難的比較阻力最多的其實拆規則、拆loss是最難的這是很傳統的一種方式就是當你去做一件事情比如說你去訓練一個模型的時候你發現它就是某些情況下表現得不好我很自然的想法就是要去加一些特定的lossfunction或者說加一些特定的規則進去這是很常見的一種做法如果你相信這個跟你最終的目標是相悖的你要不要能頂住壓力不去做這件事情並且堅信說我就要去做Skipping我就要去做極致的減緩這個事情要有一定的勇氣然後也要有一定的判斷才行內部有拍過桌子嗎為這事吵架看起來我性格挺好但其實拍過桌子也是拍過了你發火是吧也是會發火還是對方發火我發火就是當要拆規則遇到阻力的時候其實挺多次的拆東西的時候遇到結果不好的時候比如說在面臨時間點的問題的時候面對很多challenge的時候確實拍過桌子開會的時候也說過很多不該說的話但是在去年底的時候就端到端然後要拆規則它不是一個共識了嗎就是外面講的已經是共識了其實做還沒有是不是很難非常難當你真正有業務目標的時候真的路上會出現事故的時候是很難的那你們現在還有多少是規則基本沒有了已經沒有了現在我們把最後一點規則也拆了最後一點對所以現在實測上跑的版本就是模型直接出控制信號了但是比如說進ETC這種場景的時候是不是就是有規則的時候會更高效一點也都拆掉了對拆掉了你是一個非常極致的要拆拆拆的對拆掉拆掉拆掉然後今年拆了語言對這個阻力大了阻力還挺大的因為反常識或者說是反Paper裡面的常識就是所有的Paper或者所有的這個公開的一些東西都告訴你說Language很重要你為什麼覺得它不重要呢就是你從什麼時候覺得它不重要差不多到我們家數據看到瓶頸的時候吧就是就是夾不動了就是總是感覺有問題那個時候覺得它就是一個瓶頸那就回頭去想那就看整個訓練過程當中發現你就卡在那了然後另外就是當你想要去把它變得更高效訓練速度加快想要部署的時候你發現language那個地方輸出結果實在是太慢了太低效了包括我們曾經嘗試過加預驗的時候也發現這個問題就是你加了一個東西會發現哇就增加了幾百個token這個設置不makesense就增加很少的信號就要增加幾百個token這個完全不makesense你發現語言本質上就是一個極其的溶於低效的一種表達形式它對於人類去做推理是有效的就是長推理可能有效短的因為人也是這樣他如果是就是一些即時的反饋的話他可能還沒有過腦或者說是不一定是即時的反饋很多其實相對來說長一點的反饋語言也不見得是有效的但是對於一些特別明確邏輯推理比如說大家特別在意的數學物理題然後考試這些這個語言是比較重要的最近有一個很有意思的paper就是DeepSeek的OCR那個其實也挺有意思的其實也是反共識的它告訴你一個新的方法就是我沒有必要去把一個圖像對齊到文字的token的space裡面就是比如說先訓語言再訓vision再訓vision和language去做一個alignment本質上是把視覺信號翻譯成了文字信號再通過specialtoken的替換插進去去做這件事情但deepseekOCR就是告訴你一件事情沒必要這麼做這個其實本質上也是反共識現在業內像你這樣拆L的多嗎我覺得他不是太多吧我不知道其他人怎麼做的對我還不太清楚但是這是關注自己做的關注自己該做好的事你第一次跟小鵬基於這件事情去溝通是什麼時候其實也沒有什麼特別的溝通就是很多時候我覺得大師兄是一個理性的技術直男就是你說這件事情他覺得很自然就應該這麼做他就去做我們其實真正去做這件事拆了這麼幾支差不多今年的上半年了今年的上半年有效果的回落然後再提升的過程嗎它回落了多少基本上沒有太多明顯的回落上來就看到一個明顯的Scanning明顯的結果的提升原因就是數據量足夠的大有多大就跟我們大概現在訓練一個模型大概是個27萬到30萬小時數據吧就V9除了V9的數據這麼大在這麼大數據規模情況下的話你拆掉它發現我們第一個反應是拆掉它之後會擔心它不work比如在紅綠燈然後再比如待轉區但是發現根本就沒出現就非常自然的就過去了就完全的出乎意料所以簡單的事情就是有一些大家一直覺得說一個技術突破是不是背後有很多的故事有很多的推理很多時候就是你直覺上覺得它是對的然後你趕緊去踏出那一步去做這件事並像瘋子一樣去推規模發現它就是workout你們內部有什麼戰役嗎在自動駕駛上面也沒什麼戰意大家就很平順地去做就是做AI這個東西你很難像傳統的軟件開發一樣定一個時間節點像打戰一樣去做這個事情因為做不到它更多的是一個系統性的一個體系化的東西就是你很難說我給你比如說小俊你下個月要給我一個模型這個模型要解決什麼問題其實很難做到這一點就是這樣的話你就會把自己陷入到一個很逼真的狀態就是你會為了去完成這個目標做一些短期的渠道所以我們其實每天都在打仗但每天打這個仗更像是你有一個北極星的指標你有一個北極星的目標我知道我每天都必須抓緊去把這個事情做出來但是你說我一定要去解決下個月要發布版本的問題嗎其實並沒有像比如說這個科技日之前也有什麼指標沒有就是順其自然就到這了就發了下一代會是什麼樣的明年明年我觉得至少先把这个事情本身先做好在量产先去规模化把它推起来然后另外会去探索一些更长远的一些事情比如说怎么去更好的更极致的用好多模特的数据然后怎么去把生成和就是generateddiscriminated的事情用得更好让它真正能做到一个自我博弈这种状态去往前前进这个会是明年主要做的事情有人說你在內部代表的是在AI上的前沿探索的那一派你現在關注哪些前沿方向你現在還讀論文嗎我現在是讀論文的我還是看論文的但其實我本質上給我打的標籤我不是一個Researcher我是一個Engineer就是其實你如果看我的PublicationGoogleScholar其實我的Publication並不多我做了很多事情但是並不是以發Paper為主我是一個什麼樣的人呢我是首先堅信一件事就是最好的Research最好的研究是來自於真實問題的就是我不太喜歡別人給我畫一個框架就告訴你這是你的數據機這是你的指標你去優化它而更多的是這就是真實你要解決的問題你怎么能从这个问题中找出不一样的东西来把它变成你要去做的research就是我本质上我会把自己定义成一个veganengineer就很搞笑的一件事情就是我在Cruise的时候其实我写的CIA代码Pytorch代码可能是整个公司最多的人之一就很难想象这件事情另外就是你现在写代码吗偶尔还是会写的OK对不多然後另外就是我覺得要去做一個事情就是你不能把自己的目標定得太狹隘太狹窄比如說很多的時候我們說做的研發是逆向研發你給我抱一個問題我去解決它我覺得這個也是一個很容易把自己限制住的一個狀態就是你要去做的更多是正向的一個研發比如說我會更關注的是所有的車它的統計性的指標或者所有的問題然后来去做breakdown按照它不同的bucket和它的气氛领域去做breakdown来去看在哪个breakdown里面出了最多的问题产生最多的回退或产生了最多的指标的下降然后根据这个来去看我要解决什么问题所以本质上来说你不再是说我看了一个paper我拿了这个paper去找问题而是在一开始的时候脑子里就有一些问题这个问题来自于真实的产品来自于真实的你遇到的问题和用户反馈從這個作為出發點去看這裡正好好像我在想我解決這個問題我最好的辦法是做什麼恰好有一篇paper我讀到了是做這個事情那我就可以去試一下發現又不work有一些limitation再去做改造我覺得本質上我是這麼樣一個人最近讀過什麼paper除了deepsea和OCR最近讀了那個12VOA的W0就是那個worldmodelingpaper那個還挺有意思的然後我們還跟作者聊了聊就是發現还是有一些很有意思的想法的我觉得那个对我印象还挺深的就是你会发现在学术界其实也在考虑这些问题然后他有一些结论这些结论呢有一些是受限于它的规模和它的实验的效果来去做的一些比较有就不完全的一个结论也有一些结论很exciting就非常的有一些动静性我觉得反而是这个时候学术界会给一些很有意思的一些观点你剛說你們看到了一條明確的路就在這條路上哪些是你們現在已經非常確定的哪些還是模糊的一條明確的路呢就像之前說的其實我們要去做的事情是什麼小鵬是一家物理AI的公司所以你要做的事情就是做一個真實的一個物理AI的模型物理AI的模型就是連續世界的真實的sensor的input它是一個連續的空間非解構化的數據以及它的輸出是動作然後以及你去為了解決CoronaCase要去做很多的WorldModel來去Simulate然後以及提供反饋這是一個非常明確的路徑我們在這個路徑上最核心的一點就是想辦法去做Scaling就是做Scaling就意味著你要更大的資源投入更好的Infrastructure以及更大的數據規模這是我們看到最明確的一條路徑你們要做的是物理AI的模型而不是一個自動駕駛的模型那是不是機器人是附庸這個模型呢目前機器人也是同樣的架構也是在用這個類似的東西你們想在AI的時代扮演什麼樣的角色這個得問大師兄了你自己呢你自己有這樣的理想嗎我自己的vision還是希望我能去參與到整個的變化過程當中就是之前一直在數字世界裏面現在真實的物理世界裏面要去做這件事情那其實一定是一個軟硬結合去做一件事情你要device,要蛋腦,要真實的反饋去做這件事情所以它不是一個單純的我只是做AI這樣一件事情更多是做一個體系從硬件到大腦到芯片到整個的數據到完整的AI鏈條的這樣一個體系所以我是希望自己有機會能去做這樣一件事情我上次在雲西拉會他們有一個論壇很有意思就是那一波機器人的Foundry他們說他們在訓練的是一個機器人的模型他們不希望把自己描述成為語言模型的延伸他們說我們這個行業是有獨立性的你認同嗎我認同你認同為什麼呀但是你不觉得不管是机器人领域还是自动驾驶领域其实从语言领域都学习了很多吗借鉴了很多语言是一个很好的sourceofinformation就是它是一个很好的信息来源但并不一定是全部就像我刚才说的一样的现在所有的训练方式所有的模型的方式都是以语言作为所有的东西的基础我先去训练一个languagemodel然后再去或者我用languagemodel就比如说DeepMind它就用Google的模型就是DeepMind的机器人它就用他们的模型但其實DeepMind它也分兩部分DeepMindRobotics分成兩部分一部分其實也是Vision和Instruction進去去輸出Action另外一部分是生成Instruction它是有兩個模型在一塊但是他們跟我說他們的Google的基座大模型對他們幫助很大那是肯定的就是至少你可以提供一個很好的Initialization那你們不需要這個是吧其實我們也在做很多不同的嘗試包括我們自己也在訓練不同架構的基礎模型就這個我們把它叫圖靈模型其實我們自己也在做是語言模型嗎不一定不是一個完全的語言模型所以跟其他家可能有一個很大的差別是你們沒有基於一個語言模型來做這件事情語言模型會給大家圆模型一定会给你提供一个比较好的initialization但是其实你不能完全依赖于它就是你一定要去想办法去把你的多模态的数据拿进来比如说像毒药对吧对就会上瘾会上瘾为什么呢因为这个能力不是你自己的它能力是有限制的它能力是有很多限制有什么是你拿掉了L之后明显提升的吗就是在之前一直都解决不了的问题通过这拆掉了L而变化一直是有一個魔態混淆的問題就是之前在有L的時候就經常會出現魔態混淆因為它的L的依賴率太高所以最終在輸出action的時候你會發現它的action其實並不是非常的靈活魔態的區分度也並不是特別好這是一個很明顯的問題拆掉之後會發現這個效果好了非常多這是很激進的一步嗎挺激進的我昨天跟一個英偉達人在聊他們還說理想的架構是最激進的看來不是你們馬上就是最積極的這個不好說我覺得每一家都會有自己獨特的一些東西和思考在裡面就是都會根據自己的實際的業務跟自己的狀態去做出最合理的判斷我相信就是中國自動駕駛做的還是非常領先的就在整個的業界裡面是領先的每一家就是有了每一家都非常激進的在去做探索才有了現在我們看到整個中國自動駕駛進步這麼快的一個狀態所以每一家去做出一個技術架構的判斷一定是依賴於他當時的狀況他未來的技術路線以及產品形態所做出最優的結果你剛講了未來這條路明確的部分模糊的部分會是什麼呢蘑菇的部分還是挺多的就是第一就是這個scaling到底能持續到什麼程度然後另外就是安全的下限到底在哪就是怎麼能去守住安全下限就是如果說我可以加規則我可以加規則去兜住這個安全下限但是有沒有其他辦法能去就是像你說的超級對齊去能對齊人類真實的安全行為就這些也是一個問題還有很多不確定性的事情就是目前這個架構它对于模型结构的依赖到底有多大就是软硬件的一起的定制一定意味着你为了硬件去做很多的定制化但这个定制化到底在Skilling起来之后会有多大的影响这个也是一个目前还不知道的一个事情硬件还会迭代吗汽车应该相对稳定了吧不像机器人硬件迭代周期相对来说会比较慢不会像软件和模型一样这么快機器人的硬件也可能會迭代對吧機身硬件也會迭代不過芯片的硬件迭代就沒有那麼的快至少是以兩年為重器吧我前段時間跟于凱博士聊他喊話小鵬說你們是最難客的客戶同時他有個觀點說未來主機廠不會自研自動駕駛因為它是一個標準化的功能應該交給供應商像提名線這種那主機廠應該提供的是給用戶提供情緒價值你怎麼看他的這個觀點你看他說五年後我再來看吧我是跟凱哥說實話還是說假話肯定說實話我還是相信主機廠去做這件事情是有道理的這也是我來小龍最大的原因說回來就是我的核心的邏輯是什麼呢就是我來小龍的核心邏輯是數據就是一座金礦就是這樣所以你來主機廠周圍就是主機廠最大的資源就在於數據所以整個的核心就是怎麼去利用數據的規模跟效率這是我們一開始最原始的出發點而對於第三方來說它是很難規模化地拿到你想要的數據的比如說我今天有一個模型上出現了一個問題我可以自動化地去找到我數據分佈的這個singlepoint就哪些地方是我數據比較缺失的地方迅速地讓我的車隊明天就會收上來數據還是利用起來形成這樣一個閉環這事情的主機場只有主機場能做到你覺得智能駕駛未來會不會成為一個標準化的組件它會有護城河嗎我覺得將來應該智能駕駛會成為一個標準化的組件但是就算是標準化也會提供不同的用戶體驗和不同的功能你一輛車我可以做到一個月接管一次很舒服跟一輛車我可以在20公里接管一次這是完全不一樣的一個體驗是完全不一樣的應用場景當你有了一個很強的能力的時候你才能在上面定義出不同的產品的功能產品定義才能有這個東西為什麼國內的自動駕駛好像還沒有待機差我覺得大家都在準備吧大家都在準備其實你看很多的廠商都會在今年年底和明年年初會有下一代的結構出來我覺得應該很快就會待機差出來了你們會是那個待機差靠前的嗎我覺得我們會是其中之一我們也一定是會走到最前面的你覺得AI競爭目前達到什麼階段了在車企裡面車企都逐漸意識到AI是一個下一階段的重要的壁壘所以在不停地去瘋狂地去組建自己的AI團隊在資源上硬件上去做大規模的投入我覺得現在整個的AI的競爭在車企還是挺嚴重的挺白熱化的它是下一階段的重要賽點我覺得是如果做不好會怎麼樣做不好基本可能會必定要被淘汰所以就只能選擇供應商但是供應商就會說到我們剛才那個問題就是你很難在你的閉環上面在體驗上面在產品形態上面去做很多的變化就是一定是你的智能化你的AI做得很好提供了非常強的基礎能力然後你才能在上面做出不同的產品形態產品才有的做現在汽車公司的AI部門都是皇冠上的明珠是不是可能是開會你們有什麼特別的例會嗎小鵬多久跟你們開一次會了你說部門的還是公司的都包括吧其實跟小鵬沒有特別多明確的例會更多的是有了問題就隨時溝通所以小鵬是一個十分高效並且非常的勤奮的老闆他並不會說先給你跟我每個月有一次例會我們去討論什麼問題而是想到什麼問題隨時就聊隨時就開會他自己的時間有多長時間花在AI上還是挺多的大師兄是一個工作狂就是工作時間超長精力充沛然後並且想問題的思路很快經常他在你跟他開著開著會的時候好了你不用說了我懂了我明白了這個不用說了他的精力還是很大一部分花在AI上面具體的這個時間可能我不知道這個但是你們多久碰一次大概不一定不一定就像剛才說的就是如果有了問題隨時就會碰沒有特別regular的這樣的你們最近三次碰到什麼問題量產計劃問題明年的海外的問題繁華性的問題Robotaxi的問題最近三次最近一個月沒有到一個月其實不到一個月吧就還是挺頻繁的你覺得智能駕駛現在是一個技術性的問題因為我覺得你和小鵬好像都是那種工程師的風格你覺得他們更像是一個技術性的問題還是一個產品的問題我覺得都有既是一個技術問題也是一個產品問題但是產品首先你要依賴於技術本身的突破才行就是今年科技有個很好的詞就是影線如果你沒有技術的影線的話其實產品形態是很難做到很好的比如說我們就說這個特斯拉的FSD剛出來的就是V13剛出來的時候在園區的漫遊就是這種功能哇好酷所有的主機廠都會嘗試去用很多規則的方式把它做出來但你會發現其實你就是很受限於你的技術能力產品形態其實用戶的體驗並不好核心就是你要有一個非常強的技術能力去支撐你的上游的產品形態當你的技術能力很強的時候產品可以做出很多讓用戶驚艷的東西來沿途下蛋是吧類似吧關於比如說常識記憶等等這種問題你會關注嗎我會關注這個確實是一個問題這也是下一個階段其實大家不得不去解決的一個問題就是用戶意圖的長時間記憶序的記憶這個我覺得大家都在探索應該目前沒有一個特別好的方法還有比如說LongContext這是你會關注的嗎LongContext實際上對於量產是一個非常不友好的方案就是這裡頭太慢了这个还是一个及时的需要的反馈就是说你的LongContacts会直接导致你推理速度变慢推理速度变慢就会导致控车的结果不好很多时候其实你的安全性是跟你控车的频率相关的就是必须要做非常快的推理速度才能保证出现一个轨探头或者出现一个突然窜出来的电动车或者Cartoon才能迅速的响应所以这永远是一个tradeoff其實這是一個很重要的事情但是目前沒有一個特別好的方案你們說二五年要投入45億在AI和自動駕駛上這45億準備怎麼花已經花了多少了差不多花完了吧你覺得人才夠嗎AI人才夠嗎怎麼去和像自己的DeepSix這樣的公司搶人才搶人才,這是一個好問題,首先人才夠不夠,我覺得人才永遠都不夠,你總是希望會有新的人才,但我們策略最近在變,我們希望有很多年輕的人加入我們,他們會提供很多新鮮的想法。 會有更充沛的經歷對然後包括他們會帶進來很多就是我們叫brain這個freshnewbrain就是進來之後腦子是新鮮的他往往可以跳脫出我們現在已有的框架去想問題所以這個是我們現在一直在去嘗試去做的一件事情關於人才本身我覺得這個也是一樣就像我剛才說的一個問題就是做AI的AI的公司會跟傳統互聯網企業有很大的不一樣的地方就是你需要一個核心的團隊這個團隊要保持穩定並且充足的資源分配所以資源聚集嗎對所以不管是OpenAI也好還是DeepSeek也好它的核心團隊動作特別大更依賴少數人的力量對吧它不是那種以前大力出奇蹟或者说它其实还是依赖于很多的人但是大家要明确地分工就是有的人主要是负责核心的模型或者是技术有更多的人去做平台化去做infrastructure让整个的所有的效率提升有更多的人去做数据去做闭环还有更多的现在这个趋势就是分就更多的人去开始做application去做业务的落地和不同的应用场景你们的分指分到哪些不同的業務場景這個是一個明確的分別比如說因為核心的模型之後那這個模型肯定會被應用到不同的領域不同的業務線上面海外再比如說就是地區的不同分別規定內部會有很多業務線會根據業務線來分但是我們會希望是用一種AI的模型來去賦能業務的這樣一種狀態去做你覺得小鵬加入以後你有什麼是出乎你意料的跟你想的不一样难度系数出乎意料广州的难度实在是太大了广州难还是北京难广州更难广州确实难然后另外一个比较出乎意料的地方就是我觉得整个公司对于整个事情的投入度还是非常出乎意料的地方有什么细节能分享一下細節就像剛才說的嘛就是當你想做一件事情的時候去找老闆要錢去要預算老闆說好就完了他給你最多的回覆是好問我夠不夠有覺得預算太多了被否過的嗎我們總擔心這個問題但是似乎到目前還沒有被否過老闆會問但是他並不會否哦你覺得製造業的企業文化和AI的企業文化怎麼融合兩個是完全不一樣的企業文化所以整個企業基因要不一樣小鴻現在到底是哪個基因我覺得小國現在目前還是一個AI的企業或者是一個創業企業就是一個科技企業的一個企業這是非常不一樣的因為一個製造業你關注的事情無非就是質量、成本這些東西你跟一個製造業的企業就直接去說我要去訓練一個模型這個模型可能一年之後才能看到結果然後這個結果還是我不可預期的我投了多少錢這個又不是我去實體買的基建、車床、房地產對吧這個老闆會覺得我這個錢怎麼花掉的我覺得這是一個很不一樣的一個philosophy還有對於失敗、對於回退、對於業務的delay這些的接受度和它的理解程度也是一個傳統的製造業企業是沒有辦法去理解的一件事情那比如說像王豐英他核心是管製造嘛你們之間的企業文化應該是不一樣的吧我們應該主要這個應該接觸還不是那麼的直接你是直接跟小鵬匯報的為什麼Meta一直AI做得不太好我覺得跟它的風格有關這個批評我的前前同家你看這個Meta風格就是它每半年會有一次績效考核週期特別短所以做一個場線的事情是很難在這麼短的時間內集中精力做出來的比如說半年時間你要一個月的時間去寫你的OKR然後有一個月的時間去做PSEPerformanceReview中間其實刨去假期你還剩三個月做事情的時間是不太可能把一個事情做到長線的中國公司都這樣但是至少它是有一個長線在的Meta過去的風格Meta過去風格是一個互聯網公司所以強調的是快我有一個很強大的基礎設施團隊就比如說MetaInfrastructure做得非常的好它就能在上面spawn出來不同的application所以meta也好還是早期的字節也好它的風格或者它信奉的哲學都是快速試錯我去快速去做一個產品去做一個應用那到底能不能快速去拿到用戶的新鮮點因為對一個互聯網產品來說用戶的新鮮度也是有限的所以它必須要快但這個事情天然對AI它就是一個不合適的地方另外meta還有一個問題就是meta就像我說的他有很多的天才有很talent的密度非常的高人才密度非常的高這個會幫助他在之前的互聯網時代快速地去做各種試圖和各種創新因為你總是有很多天才在不同的角落在不同團隊做出非常人匪夷所思的東西出來不管是在營收上還是在產品體驗上都有但是做AI一定是需要一個體重化的小型化團隊用足夠多的資源來去支持去做這件事情所以這跟Meta之前的組織風格方式就是不一樣它還是比較散的比較強調個體的比較尊重個體的比較尊重個體是這樣的比較尊重個體或者說它過去的創新模式是比較依賴於個體的就是這種靈光一現的這種天才的想法的AI不是這樣的AI不是這樣的AI一定是一個嚴格的體系化的東西大家可能很多人有很多誤區就是說AI是不是某個人一拍腦袋想到一個什麼東西但是它一定是個嚴格體系化的東西不是說要自下而上嗎一定是自上而下的,自上而下是很难做出一个好的AI的就是自下而上去做這件事情技術的突破一定是自下而上去做的但是自上而下要有一個非常明確的北極星的目標並且有一個合理的時間預期所以AI一定是非常考驗一個組織的一般就是可能最近有很多的post在寫比如說OpenAI也好還是Gemini也好就是DeepMind他們組織形成什麼樣子其實就是一個非常扁平的結構有人能在中間迅速地去做一個解拍器、調解器能給大家一個非常明確的遠期目標來去做一些結論、去做一些決策這個決策一定是基於所有的結果來去做的短期的發現做出一個決策但是它更多的創新來自於自小而上的這種發現但是整個它又很依賴於你更底層看不見的工程能力比如說你的數據能力你的訓練的infrastructure的能力容錯性然後包括整個的系統的效率它是很依賴於這個的所以AI大家看到的就是上面有一小撮人在做這個事情但背後其實是一個步調非常統一節奏非常好的一個大規模的工程體系在去支持你會怎麼改進這一套體系組織體系我覺得在管理方式上一定是要有一些變化的第一就是一定要重視工程本身所以你看到我做的第一件事是建一發建一發的團隊去做這件事情第二件事情就是管理方式要變就是這個要求你的整個的體系要非常的扁平什麼意思呢扁平化了嗎我們居然很扁平的所以有很多人說我非常漢臟原因就是我一直扁平到最以前男經紀人的我可以看他們的代碼看他們的實驗結果迅速地需要問題但大家就在辦公室裡面隨時去討論問題有了新的想法之後快速地去做出決策其實這些都是需要一個非常扁平化的團隊快速做決策才能做得到的你們有幾策其实非常的平啦就是比如说在我的团队里面我不太会刻意地设置说我会有几层的层级就是很多的lead就比如说团队里的lead那是这个很难想象是直接写代码的你很难想象一个团队的一个大团队的lead会直接写代码直接第八个这是很难想象的一件事情所以也很难想象说一个刚毕业的PhD可以去说服整个团队去做一件事情所以团队的层级就是基本上被拍得非常的平這個是你要變化還是本來就這樣過去這半年或一年時間就是在持續發生這種變化就整個團隊就是因為有了這樣的結構才能快速地往前走所以你是做過架構調整的對你可以說它是架構調整或者說一開始就是在管理風格上就是就是你不聽匯報不聽不聽匯報然後直接所有人跟我說是吧對我看到問題直接找那個人你帶寬有多大你能同時跟多少人直接交流哇這個問題有很多房間傳說我不睡覺了然後還有說我每天睡四個小時確實比較犧牲睡眠時間帶寬我不太可能在同一個時間段去關注所有的事情我一般會在一個時間段裡關注少數幾個事情兩三個那這個時候帶寬也許幾個人到十幾個人的團隊去快速地去溝通這是比較常見的情況扁平化那你們怎麼合呢和就是资源整合做的事情整合避免内部出现很多的duplicatework就是重复造轮子的事情所以大家去一定要去内部去分享去沟通就是不太在团队里面我们一开始是没有什么太多的秘密就是什么是你知道我不知道的事情所以一个小的团队快速地去分享所有知道的东西把大家所有的资源整合起来也并不会设置部门墙比如说你是做A的你是做B的于是做A这个人绝对不能去做B更多的是你要去鼓勵之間的這種相互的流通和合作讓整個事情變得更快你們這個團隊有多卷挺卷的可能我睡覺都不是最少的早幾晚卷晚上一般兩三點鐘然後早上的話可能七八點你們會有例會嗎也會有一些例會也會有什麼學習會之類的嗎也有包括有很多deepdive就是內部去把一些做過的好的實驗不好的實驗或者最近看到好的東西就自己做掛了什麼拿出來去分享去做deepdive有的時候會問一些很spicy的問題比如說這個實驗結果為什麼做成這個樣子你為什麼會寫這簡單的這麼錯誤的一個東西再或者說是你覺得這個事情該怎麼做我們要不要去嘗試去冒這個風險你覺得你接下來的這段旅程自從上任之後接下來這段旅程對你來說最大的挑戰會是什麼我覺得最大的挑戰就在於我之前一直在做內部的AI現在開始做自動駕駛之後對我的帶寬肯定是一個比較大的挑戰就是我不太可能像之前這樣在一個AI團隊裡面就是這麼肝臟地去玩每一件事情当你去做量产的时候一定会有很多跟产品业务和素质量相关的问题还有硬件的问题有很多这些一定会加很多带宽这个对我来说是最大的一个挑战就怎么在这么大的带宽情况下还能去分配出精力去帮助团队去一起找到一个下一阶段该做的事情我觉得是最大的一个挑战你好像没有做过很多量产的事对吧其实还是有不少的还是有一些的你跟Enjoy的是量产还是前沿的这些技术我觉得我跟Enjoy是中间结合就是像我说我不是一个纯粹的researcher我是一个喜欢从量产或者真实的问题里面去找去真实的东西里面找问题的人所以我不太一般会把自己说我是一个researcher或者做前沿的东西但是我会去找问题我觉得这个是我最大的能力从上任到现在时间还挺短的这中间有发生过什么決策或者變化時間過得真快就是轉眼間就三個星期了其實我自己都沒有意識到會過得這麼快還沒有一個月呢這哪快啊其實挺快吧三個星期分別發生什麼幾個星期加個星期三個星期你感覺好像現在讓我回想一下我感覺好像就是像昨天發生了一樣突然之間就到這了所以我才說很快自己沒有意識到其實已經過了三個星期了我以為就只有幾天就體感上很快可能是因為每天很忙就是有更多的事情要處理然後占用更多的帶寬睡覺時間變得更少就是簡化吧就是簡化我還是一個喜歡簡化的人所以簡化應該是我這段時間做的最重要的抉擇簡化對簡了啥簡化流程簡化研發的工序簡化要做的事情這是最重要的一個變化簡化哪些什麼流程我是一個比較肝臟的一個人所以我不太會喜歡聽匯報所以我也不會說你來跟我解釋一下這個事情到底發生了什麼所以我一般會直接看到最前面比如說每天的debug的日會或者是問題的日會我可能會去直接去看問題所以我還是希望整個的中心會變成這樣一個非常簡單極致的這樣一個組織結構另外就是做的事情盡量去合併盡量去把一些重複做的事情合併掉然後把一些不必要做的事情就暫停掉或者是降低優先級這可能是過去這段時間做最多的事情其實前段時間就是带着我们家娃去趟旧金山我之前在Cruise坐这么多年Cruise是一直禁止13岁以下的儿童坐车的所以那段时间正好赶上Cruise被GM全资收购就是带着他们回去看一下以前办公室看了一下车库然后第一次坐了Wemo第一次坐了Wemo他們其實變化挺不一樣的,他們會從此以後就說那個vehicle是robotcar每次見到的時候就會在車上大喊robotcar,很興奮坐在車上的時候你就會去想,曾經舊金山大概有幾百輛車在那,每天我們會在裡面測試,包括那個時候團結大家出去吃飯去玩,都會打自己公司的車出去然後你坐在一個你曾經認為競爭對手的車上然後他做得很好其實微博現在做的已經非常好了你會挺不甘心的就是非常不甘心那種心裡的那種酸你可以說它是一種不甘心然後也可以說是一種較勁所以我還是希望自己能在這一端能把這個事情做下去做成什麼樣做成一个有一天我可以把我们家的娃放到车上说好你自己上学去吧我不管你了或者說是讓自動駕駛真的去成為一個我們生活當中一個必不可少的一個東西現在其實很多人還是存在疑慮的安全性到底怎麼樣效率怎麼樣到底是不是新鮮事物還是只是一個玩具其實微博最早在舊金山幾個月之前就是這種狀態它成為舊金山最重要的一個旅遊景點所有人都跑去舊金山去做微博但是你看現在微博的單量在舊金山每周25萬個訂單而且從Caltrainstation一出來你會發現所有車上都會有名字就是其實有很多人在等著上車就是把一個東西真的從一開始大家看待它是一個技術到一個景點去嘗試鮮的東西到最後變成你生活的一部分我覺得這是技術進步本來就應該去給人去做的一件事情他應該這麼去改變人的生活我也希望有一天就是我们能亲手去把这个变化做出来你觉得未来一年三年五年可能你希望自己达到的里程碑是什么样的我希望明年我们能真的在广州把RoboTax运行的很好至少希望未来的一到三年能做到这样子你觉得你们跟Wemo之间有多少时间的待长从技术本身上我觉得我们应该不是说有代差应该是在下一代技术站上会技术站本身是完全不一样的就是現在有很多的爭論說是這種依賴於激光雷達和兩段式的這種體系到底好還是不好我覺得這永久是個爭論就是與其關注這個爭論不如說在我現在認為的一條道路上把這個事情做出來做到一個可動的狀態就是它不再是一個爭論的不是一個玩具也不是一個一個新聞的熱點而真的就是你每天讓他覺得好像就是我生活的一部分就是我每天出門默認地就會去做這件事情你回到國內的企業你會覺得文化上適應嗎其實還可以還好很多人其實還不適應我之前知道特別是他們如果去的是深圳企業那會非常不適應那會比較短線程我覺得整個團隊對我還是挺照顧的是嗎給我很多容忍度比如說就是並沒有像傳統企業一樣去要求我或者說是給我設置很多條框框比如說你刚才说Meta的企业文化如果按半年进行考核的话太短了那你们怎么考核呢其实不是说Meta的半年考核太短而是说Meta的过去的文化是每半年基本就会做成一次大的重组而业务目标是以半年去定的很多时候这个会催生Meta的一种风格就是我如果一个东西的半年做不出来一般会被砍掉或者会被调整所以这个就会导致Meta一直以来的惯性就是快Meta风格就是breakthingsandmovefast就是这样所以它的这个风格在互联网时代非常非常有用的一个公司的culture一個文化就是你要不停地去試錯不停地去迭代快速地去產生新的東西但是在AI時代你會發現好像從很多事情都要從頭開始去造一個體系出來這個其實就是對Meta這種半年一次的re-org或半年一次的技巧考評是一個它友好的一个方式所以Meta其实我在Meta的时候它也做了很多的类似的变化比如说对于一些Research的机构ResearchLab会实行一年制的考核或者说是我可以去鼓励更多厂线的事情但其实最终推行下来很难Google为什么好很多Google本身是一个其实Google之间的变化也是在LargePage就是和Brain回来之后其实回来之后反正很多变化所以可能還是非常地去考驗一個公司它自己的風格和創始人的風格再問一個問題因為小鵬的支架1號位經歷過吳新晝經歷過李立羽現在是你你覺得你們三個分別的歷史使命是什麼我覺得每個人都有自己的歷史使命吧就是不同的階段你很難說我的歷史使命是什麼我覺得這個也許有一天我會把這個事情做到我自己覺得好像把我自己幹掉了就這樣人事任命的通知是小鵬找你的還是HR找你的小鵬他怎麼跟你說的這個事情發展太快我都已經不記得當時怎麼說了有過你需要支持但是小鵬沒有支持的情況嗎目前這個還其實真的挺少的我好像沒有什麼太多的case小方總是問一些非常sharp的問題有些還挺難回答的她最近問你什麼了為什麼花這麼多錢然後你怎麼說呢我到現在還沒回那個多少錢這個預算還是挺多的你不是說她倒數好了嗎但是她會說好但是她會問一下你現在為什麼還沒回她就主要是那個問題其實後面當面也說了就不需要了所以騙了主要是過去的預算就過去的這段時間的花銷之類的他罵過你嗎沒有罵過我達爾兄其實說話是一個比較直接快的一個人就是他不是說去罵人他有時候說話就是很直有讓你覺得很直不舒服的一句話是什麼呀其實目前還沒有目前還挺順利的給了你很多寬容度對老闆還是對我很寬容的很難想像一年多居然還沒有罵過我你們當時在美國是怎麼聊的呀就是聊完之后他对你也很满意是吗你说在那个面试的时候去年三月初去年我们就约了一个线下的面对面的圈长就在办公室里面之前是HR找的你还是猎头找的你也不是不是HR找的所以那个时候就跟小鹏直接面对面在办公室里面聊了一个小时突然发现其实这个人一点架子都没有就坐下来开始跟你讨论问题然后你发现你说什么他还听得懂然后他还能去想的问题好像很到点上这个是让我觉得很不一样的一个地方所以那个时候出来之后我就直接跟Sharon说好了我就接offer了然后你们就准备offer吧就接了进来有过磨合吗肯定是有磨合期的就是跟团队的磨合跟上面的leader的磨合比较难是什么呢其實比較難就是你總是需要一段時間去嘗試去了解這個公司的業務現在的狀況然後去跟每個人去溝通讓他們了解你的想法然後你想做什麼去說服他們有的時候不見得能說服但是至少你需要去讓所有人都知道這個事情我為什麼要去做然後做這個事情難度有多大有很多的risk就這個其實是一個很難的過程所以你進來的時候還是在規則算法還在用它進來的時候確實是那個時候還在轉型過程當中在過程中已經開始轉了但是不願意放棄也不是我覺得大家都是在某個時間點就是規則算法會被基於AI的模型去打敗然後去做切換因為一個車企你永遠要責任就是你不太可能說這個技術很酷我就把它推到車上去所有人都要用你說這個我突然想到李翔是在公司裡面發了一場大火然後才把規則算法拿掉的你們是有沒有這樣標誌性的節點其實我們也有一個節點這就是在某一個時間點的時候模型的性能突然超過了規則它有一些好的地方有一些不好的地方就突然間有這個時間點然後我還記得特別清楚當時有一段時間在測試的時候測試員鼓掌測試鼓掌超過的時候是吧對就是覺得哇這個還能這樣太好了小鵬的思路是什麼呀在這件事情上他有干預過這件事情的決策嗎基本沒有我覺得小黃是一個整個公司氣勢氛圍都是這種比較正向的一個正向推進的風格這個我覺得可能跟老闆的風格本身相關或者跟整個小黃的風格比較相關所以在那個時刻老闆沒有過多的干預更像是很多事情就順其自然水到渠成就到那了就是你等著一個結果出來出現了之後那就迅速的去做切換這個變化拐點在去年的幾月差不多去年的540就是XS540就是之前但是去年底才徹底的放棄了你說哪一個規則算法是沒有很早就切換了去年的時候很早就已經切換了那你去年底拆的是什麼去年底那個時候我確實在跟團隊一起在去做端道端就是那個時候帶感知然後還有planning然後之後做端道端弄到一塊那個時候確實在跟團隊一起在幹這個事這個過程中是你在跟其他人battle小彭有過意見嗎那個時候沒有什麼battle就是大家一種共識就是規則算法已經走到了一個很難再往前推進的一個狀態所以就是所有人覺得說我們希望這個東西發生但是它需要時間那等到它發生那一刻超越那一刻就讓它順其自然去發生所以其實你很難想像就是如果一家企業或一個公司一個團隊它去非常執著地說我就是要去做這件事情那不管你結果多好我都不允許它切換我擔心我的scope擔心我的jobsecurity這個事情是不太可能去往前走的我覺得這是這個團隊給我最大的一個寬容或給我最大的一個感受你在過程中做的比較極致的事情是什麼那个时候有一个我写的当时的架构的设计到现在还在做,还没完全做完,还是挺头天的中间很多人问我要不要放弃,嗯,不放弃,就做,我觉得对的事情就先去推有过小鹏持A意见你持B意见然后你说服他的过程吗我覺得還是有的最近在一個技術上面規劃的時候我覺得一開始我跟小鵬是一個不一樣的態度就是我可能想得更積極更極致一些小鵬還是相對來說會更穩妥一些前兩天我們還在聊這個事情的時候老爸還是改變態度他為什麼改變就是當技術湧現到一個狀態的時候其實人的想法會變的小朋友的時候要做的決策是基於機會和risk之間去做一個平衡他會去動態去調整這個平衡所以當風險遠小於機會的時候他就會去做出正確的決定所以很多時候不是說我來去說服他這個我也沒有那麼大的說服能力但更多的是我去做好一個事情那這個事情發生的時候那決策者自然會發生變化在AI上的小朋友會參考哪些人的意見比較多還挺多人的吧大師兄還是一個經常會問很多人意見的公司內部也會有很多的大師兄他會跟很多人直接的溝通去拿到很多的反饋很多的建議綜合起來去做一些決定包括在公司外部也會有很多人給他提出建議我覺得他總是能去挑出這個中間的這個有用的信息內部去分享然後我們也會有的時候說大師兄這個信息可能不準或者是怎麼樣我再问你几个快问快答一个全球范围内你喜欢的食物榴莲一个全球范围内你喜欢的地点冰岛基于所有读过的书推荐两本必读书有一本书叫original我觉得还挺喜欢的还有一本吗有一本很厚的书叫忘记什么名字了哥德尔还是什么就最近之前在读那本书但是太厚了我就读了一半就不读了你心目中影响AI进程的几篇论文transformer肯定是一个GBT那个是一个基于你当下的认知一个关键的重要的bet是什么在物理AI里面的skilling对在物理AI里面的skilling你最近思考的最多的几个问题是什么呀第一个就是我怎么能去快速地去适应这种节奏变化第二个就是怎么让我跳出自己的思维误区就是我思维是有惯性的所以我考虑最多的事情就是我怎么去跳出我的思维误区这是我考虑最多的两件事情你接下来会不会对团队做大的变化? 不会。
- [107:10]
我觉得魏晓琳指甲一号为的还挺不一样的风格。 你是偏工程师类型的? 算是。 描绘一下你看到的一年后三年后五年后的世界。 一年后的世界应该就是智能化开始全面的去接触我们的生活,也许还是数字的。
- [107:32]
三年后也许物理人员会真的去走到我们生活的每一步五年之后其实我不敢想就像我们家小孩老是在问他教育理念的时候问我教育理念的时候是什么我说其实我很难去判断这个事情因为这个世界发展太快了我没有去预知他们长大之后这个世界是什么样子但是我能做的事情就是基于我现在的认知去把我想做的事情做好让他们学会去怎么去学习所以也许五年之后我们迁到了一个世界就是一个你没有办法预知但是你可能需要去每天不停地去学习去不停地去获取新的东西的一个世界好了今天的节目就是这样这里是商业访谈录是一档由语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室获取更多的信息我们的公众号是语言及世界languageisworld我们希望和你一起从这里探索新的世界