Loading summary
Transcript2 lines
- [00:13]
A
最近我看到哈佛大學經濟學家JasonFurman他的一個研究數據很有意思他是說在205年的上半年整個美國GDP的增長幾乎會全部來自於AI的基礎設施建設如果說我們把信息技術還有軟件這一部分拿掉那美國GDP的增長僅就只有0.1%最近還有一個大新聞大家可能都看到了OpenAI發公告說它自己完成了一個公司架構的重組而這個重組的目的是為潛在的IPO鋪路核心也是說它未來會承諾1.4萬億美元在整個AI的基礎設施的建設上還有一個消息大家可能沒有注意到就是在他完成架構調整的前一天他發了一封公開信致信白宮在這封公開信裡面OpenAI提到中國204年新增的電力是429GW而美國僅貢獻了51GW所以他希望美國政府對AI基礎設施的建設項目能夠優先審批就为什么这些公司都那么激进最根本的一点是因为大部分公司现在都意识到一点就是underinvestmentisriskierthanoverinvestment就是所谓的投资不够给你带来的风险要远远大于你过度投资带给你的风险对因为没有人想当诺基亚在之前我聽到OpenAI這個50億美元的星際之門項目就已經覺得非常誇張了但現在這個餅已經是化到了1.4萬億美元而美國也需要基礎設施的建設這是一個比想像中更加瘋狂的大基建時代美國極少數的科技公司聯合金融巨頭正在不成比例地對美國經濟產生決定性的影響我們先拋開錢從哪裡來的問題我們這一集就來看一看這一輪AI大基建它帶火了哪些行業而為何美國的電力建設有如此的困難硅谷的朋友可能听说过JJLake这是一个位于MountainView的创新空间加孵化器我们硅谷10很多节目就是在JJLake的会议室里诞生的JJLake孵化器是由管理规模近30亿美金的HorizonHoldings的基金支持的他们投资的公司有1家已经上市退出那目前JJLake孵化器正在招募创业团队可以给创业者提供价值最高60万美金的创业支持适合需要发挥亚洲的生产制造、供应链、市场等优势的创业者们另外,JJLake也可以向创业者提供高质量、高性价比的办公场地不管大家对孵化器还是说对办公室的项目感兴趣都可以联系JJLake的负责人柳依夫来详细咨询他的邮箱是yliuatjjlaker. com详细的信息我也会放在shownotes当中下面就请收听我们今天的节目今天我们来聊一聊AI军备竞赛背后啊,数据中心与能源之争。 那今天跟我在一起的嘉宾一位是EasonXu,Eason现在是在字节跳动做数据中心与能源的项目经理。 大家好。 Eason在去字节之前是在微软负责数据中心跟能源的项目,在之前是在Biogates下面的突破能源基金。
- [03:57]
没错也是做了很长时间的能源相关的项目然后也是在两年前AI大爆发之后加入到了数据中心和能源这个在一起的赛道吧算是那还有一位是王成胜王成胜之前是特斯拉的供应链总监马上也要加入XAI大家好大家好如果让大家总结一下就是现在我们看所有的AI巨头都在去做数据中心你们觉得哪几家做的最猛当然新闻报道上是OpenAI跟微软50亿stargate项目第二个是最近OpenAI跟甲骨文也是在合作一个30亿美元的数据中心的项目当然这个中间是有重合的但我知道其实马斯克他的xai在布局数据中心跟抢货方面也是非常猛的扎克伯格也是在全力投入的所以从你们的角度来看你们觉得哪些公司最激进以及他们的策略是什么openai他的野心是非常非常大的现在他公布出来的数据是要做10个GW的stockade项目我觉得这可能只是一个刚刚的开始他的野心可能是这个的10倍甚至更多在未来的比如说5到10年他们想实现的一个目标10倍5万亿的一个产业我觉得这个数量其实基本上没有问题的美国现在的GDP是多少20几是吧差不多他这个就要占GDP的当然也不是一年对整体上占一年整个美国GDP的25%了我觉得是很高的我们可以拭目以待看一看今年美国GDP的增长当中有多少是水中基础建设贡献我觉得这个比例有可能会到70%我也不会很吃惊的你有可能低估了甚至有可能低估对我也看过一些黄仁勋啊或者是一些咨询公司的观点他们也认为在未来的5年整个的数据中心技术设施建设的投资规模应该是到5到7个trillion这个级别的钱从哪来钱从哪来确实一个很有意思的问题我记得你们之前做过一期节目就是讲钱从互相之间的循环经济的循环对对对对来也是一种比较创新的融资方式嗯成胜怎么看那一家最激进openai肯定是相对比较激进的因为你看他现在很多announcement他未来几年跟英伟达有一个十几瓦的意向amb有一个六几瓦的意向同时最近还有brockham还有一个十几瓦的意向所以加起来就已经是26几瓦50个billion一个几瓦就已经是一个1.5万亿的一个概念未来5年对同时他在一些供应链上他也非常既定的做其他的一些布局最近有跟三星和海力士包了一个90万片晶圆每月的产能他基本上占了整个DRAM就是Market的可能三分之一HBMMarket的60%就他一家如果你是马斯克或者你是小扎你看到这个你会怎么去应对因为你也不希望被他们卡脖子所以每一个公司现在从供应链角度可能做的都不一样马斯克XAI去横扫了所有的小型的涡轮的发电机Meta其实过去几年来说就已经做的非常接近去各种买一些能源相对成本比较低的地去建它的数据中心最近是在Iowa还是Ohio又一个无级瓦去上线它的规模基本能占大半个Manhattan谷歌呢他也会做一些供应链上的布局比方说把他们一些无论是互联来也好一些光缆也好他们都会做非常激进的供应链上的产能的买断所以说其实每个巨头都在发力都不想在这个竞争当中去输人一头微软我们好像没有提到微软的话其实也蛮有意思的他去年的时候跟OpenAI的合作关系是非常融洽的但是在年初的时候大家也看到一些新闻提到关于OpenAI和微软的关系已经有了一些变化包括OpenAI开始去找Oracle或者其他公司合作建数据中心所以微软不是他唯一的数据中心提供商了同时呢微软可能也在某一些数据中心开始暂停施工或者是退租了一些数据中心等等我们再看最近这几个月的发展能够感觉到微软在数据中心投资这方面呢是和其他公司比是相对比较稳健一些的openeye呢就完全是另外一种风格啊都是每一两个星期就会有一个非常大的公告说我要见5个G瓦7个G瓦的数据中心和不同的公司合作和整个产业链合作所以能看出这两个公司可能在AI数据中心或者整个数据中心行业的投资策略方面会有一些不同了已经对所以就是说微软中间稍微缓慢了一点最近又在加速对现在能看得到微软比如说最近刚刚宣布了一个全世界最大之一的AI的数据中心刚刚落成所以今天看到的微软可能跟年初的时候看到微软可能又有一些不一样的变化我觉得这个行业的变化确实还是蛮快的可能年初的时候我记得微软的CEO也在公开的采访中提到过他觉得这个行业是有一些overbuild的让他觉得有一些bubble他是想用更稳健的方式去建设数据中心的但是我们现在看到的是微软速度也蛮快的可能并没有像年初的时候说的那样很快的慢下来所以我猜想也许各个公司的高层在这一年过程中他们的策略和想法上是有一些波动的但是此时此刻的话能感觉到所有人都基本上是全速前进了我觉得几个巨头包括Google亚马逊和微软他们的态度可能是因为他们过去在云上其实有很多的这个datacenter的投入了像Google啊Microsoft他们现在已经有的datacenter可能已经超过十个GW对于像OpenEye就从零开始发展的话大家需要的增长速度是不一样的因为他的技术不同反馈出来他们的激进程度可能也会有不同的地方这个点很关键这是为什么我们现在经常听到的名字是MetaXAI还有OpenAI而不是这些云厂上的巨头像Google亚马逊和微软我们刚刚其实提到了OpenAI它其实在做Stargate的项目在抢地在跟芯片厂商去达成合作马斯克其实也是在抢发电机Meta也在抢地我是在想那你的芯片供应其实也就这么多啊大家不会在某种程度上是都有短缺的吗从纯产业链的产能来讲的话芯片现在并没有像能源这么紧缺的一个状态如果你每一片把它用到刀刃上从台积电的产能它也是在积极的去布局所以它相对是比较充足的包括像台积电可能两年之前有在说Cowas它的先进封装的产能会有些落后但是它最近也在说在Arizona要建两个先进封装的Fab其实这些产能已经在过去两年经历过这个cycle的时候他们已经有再去做investment了我只能相信老黄他的datastatement是对的在GPU的芯片的供应上可能是不缺的但是可能会有一些别的配套的产业上面会有一些额外的缺口包括memory无论是说线数也好甚至于一些数据机柜但是可能这个缺口相比能源来说它并没有那么大我觉得这点可以补充一下像我能看到的一个比较重要的一个策略上的观点一个观点呢就是我们刚才一直在聊的所谓的电力优先或者是powerfirst的这个strategy因为大家都已经明显看到可能最缺的就是电谁能拿到电就意味着你能买更多的GPU你就更有可能训练出更好的模型你就可能获得更多的用户更好的用户体验从而占据更大的市场份额而这样吃市场风险可能会给你带来更多的营收和利润然后又可以再次循环到我拿这些营收和利润去买更多的电和地继续让我的模型变得更好所以powerfirst的这个strategy在很多大型公司里边是一个非常重要的策略还有另外一个策略是大家都考虑到的就为什么这些公司都那么激进最根本的一点是因为大部分公司现在都意识到一点就是underinvestmentisriskierthanoverinvestment就是所谓的投资不够给你带来的风险要远远大于你过度投资带给你的风险为什么会这样呢像AI这个行业大家目前可能有一个大致的共识就是很有可能谁最先获得最好的AI模型或者所谓的AGI的话这家公司就会占据比较大的一个市场份额其他公司的生存空间就会很快的缩小所以投资不够的一个风险是非常大的那我们再看一下过的投资会有什么样的风险呢你无非就是买了更多的地更多的电更多的房子建设中心最后你发现哎可能你买多了无非就是你可以把它用作自己公司内部的一些使用啊是效率的提升啊或者你可以把它租给其他人啊或者就把这些地啊电啊卖给其他公司啊总体来说就是过度投资的风险它实际上是有一个封顶的因为他其实都是固定资产然后这些固定资产你转卖他也是容易的也是容易的比如说GPU你买多了那你卖给其他公司也没有什么问题所以他过多投资的风险相对来说是比较小的而对于某些大的科技公司来说如果投资不够导致他没有在这场竞争中胜出的话他有可能面临的是一个生死存亡的一个境地所以这也是为什么绝大部分公司他宁愿多投资哪怕华尔街现在已经有一些质疑了是不是过多投资了你们能不能收得回利润来这个营收能不能cover住你们这个投资甚至股价上也开始反映出来了但是这些公司我觉得现在都没有一个眨眼睛的都是继续在加大投资像所有公司今天说的话都是我们年初的时候预算今年会投的这么大的规模已经很震惊市场了但是现在看起来我们还是投资的没有我们应该投资那么多所以这也是underinvestmentisriskierthanoverinvestment的这个策略对因为没有人想当诺基亚你跟股东说我4万亿的市值会变成3万亿的市值好呢还是说我的4万亿的市值会变成0然后你更多是说有个梦想说哎我现在投资了如果我经历过这一场退潮然后我活下来其他人死掉了我就从4万亿可以变成10万亿这是大家更喜欢听到的一个故事不代表它就一定会发生还有一点在硅谷有一句话就是BillwillalwaysisAndyAndy是代表AndyGrooveIntel的一届CEOBill是BillGates所以就是说你只要有infra你只要有hardwaresoftware总有办法可以想办法帮你运营掉的这周早些时候OCPMeta的人就在里面说其实他们目前的GPU光用来去做他们内部一些AI比方说Instagram或者Facebook然后去筛除一些不合适的这些内容他们其实也已经要需要很多算力了它就算有多余的闲置的算力它用来做内部的降本costreduction它其实也是完全是可以用的所以我觉得现在主流的这些公司都不会担心说这些会overinvest然后他们没有办法去用掉而更多的是说我怎么把我有的这些资源去做更好的配置去扩大它的revenue和收入我可以稍微补充一下Ethan刚刚讲的一点就是为什么大家要建大的数据中心有两笔账一笔就是经济账Google自己也有发布过说我在爱荷华州去建一个一级瓦的AIdatacenter比同样分布式的它一年可以省5亿美金的运营成本因为它更加高效无论是从书店冷却运营来说这是Google一年在一几瓦的这个数据中心可以省5个亿美金同时呢从一个AI算力的training的这个角度来讲比方说GPT-4按照以前一张H10的卡需要差不多160张卡90天的时间去做这样一个1.7万亿的数据量的模型的训练如果到GPT4.5它可能是10到26次方它需要的可能是一个两三倍的卡甚至于说一个GB205张卡也需要90到120天去计算在这样一个AI军备竞赛的前提下你肯定是不希望你需要花一个quarter甚至以上三到四个月才能训练出一个模型你更加希望的是你每一周或者每两周可以去有一个模型然后你不停地去进步不停地去iterate所以它会造成了一个指数级别所以从一个万卡集群变成十万卡集群甚至到百万卡集群而且你可能需要训练更大的一些数据模型的体量这样就会把整个AIDataCenter的算力从以前一个30兆瓦的AIDataCenter推到一个可能一级瓦甚至于五级瓦的这样一个DataCenter的体量因为大家都不想输那我再问一个更底层一点的问题大家为什么需要建这么大的数据中心我知道大数据中心跟小数据中心是一个问题还有一个更底层的问题是你们觉得这个数据中心未来用的更多的是做这个模型的training还是用做应用方向就是說我們還需要這麼大規模的預訓練的電量嗎還是說他只是說大家都開始用AI代替日常的這種搜索代替日常的這種應用他的整個的產業規模會很大就這個數據中心是支持誰的两年之前的话大家主要可能有60%到70%算力是用于做预训练的当然预训练也有它自己的瓶颈包括现在有很多不一样的工程上的无论是从有专家的模型包括说有一些posttraining去做reinforcementlearning的这些都是一些厂商觉得怎么样提高这个模型的效率而从预训练转换成一个后训练的过程同时呢因为这本经济账大家要确保我有收入训练是不能给你带来收入的而一定要从应用或者subscription交的会费才能给你带来收入所以大家现在所有的大厂都是转型到了把更多的资源用到推理上今年早些时候推理和训练的比例已经转成推理会占比更高可能有6成训练是4成我的理解是他之后可能推理的比例会大大增高甚至占到80%以上所以我理解现在的数据中心是给这些AI厂商做推理来用的我基本上同意这个观点的就是在未来的话一定是推理和应用那方面的数据中心的利用啊或者是能源的利用啊那个一定是会占比越来越高而且是占大头的但是当然了AI的训练它是需要不断的去迭代的会有更好的模型出来所以那个一定也会有一定的占比的但是很高兴看到influence的占比越高意味着它越来越多的在应用层面开始创造出价值就像微软CEO之前说的AI只有在真正创造GDP的时候才是有价值的时候那个也是真正关键的时候所以根据你刚刚的观点就是现在大公司他们如果激进他们可能留下的是一堆的固定资产如果往回撤的话那他未来可能他要发展所有这些AI应用他后面的算力跟不上整体大逻辑是这样子的对的是这个逻辑那我们一定需要这种大的数据中心吗小的数据中心行不行就是我们零散的把一些我假设啊就是居民用电的这些闲置的电集中起来然后再做储能再分配给各个应用或者大厂这种方式是有可能的吗他有一个基础如果是做训练的话他其实这个规模可能不太允许他去做这样的一些调整因为他需要所有的data在同时进行计算需要机柜和机柜之间的互联所以他需要一个大的cluster但是如果去做推理的话他其实是可以根据用户的需求去进行一个合理的配置然后用现在的闲置的算力或者电力去做的这个有点像以前PPTV啊或者说类似这样的一些产品确实现在也有一些公司在用闲置的算力去做比方说novita它是一个startup更多的就是用闲置的这些算力提供一个更低成本的算力相比别的provider可是你作为一个大厂的话你更多的是说要去算一笔经济账无论是说我用户需求的时候我是不是它一直有availability它一直能去调用这些算力资源同时如果是分散的话它的管理物流各方面它其实是没有效率的包括我刚刚也提到如果它有个大的规模集群它又可以用来做训练等到不需要训练的时候把这些用来去做推理的话其实这个经济账是更容易算的因为它能更好的去做整个电力的分布以及它的一些被电的backup甚至于说冷却当中的这些运营成本它都是可以大大降低的没错我也非常赞同可能要看具体的应用是什么他可能会决定对数据中心的要求是什么样的举一个例子现在大家也有一个初步的共识就是对于AI的训练来说也许这样的数据中心并不需要离大城市太近也不需要可靠性太高因为可靠性不高的后果无非就是影响了一下你公司内部的一些研究人员的进度一些AI的云产商如果他要提供给第三方客户的话他的可靠性可能需要达到所谓的5个9这样的可靠性就是9.%的可靠性但是对于AI的训练来说也许不需要达到那么高也许三个九9.%就可以了而这些AI的数据中心呢又需要很多能源所以也许它可以建在离能源更接近的地方就比如说OpenAI他们这个策略我觉得就是非常好的策略他们是把他们的stockade的很大一部分项目放到了德州的西部啊那是一个又有风又有光同时还有一定的电网接入能力的地方而且还有大量的地这就非常适合做ai的训练了所以它并不是所有的数据中心都需要和客户离得那么近所以这个时候在资源非常紧缺的情况下可能就可以根据你的应用的不一样去看你的数据中心要建在哪个地方去实现什么样的目标數據中心呢首先我們說它需要有電其次呢它還需要有發電機跟各種各樣的小型的我們可能想不到的設備比如說變壓器那還有一層就是它需要有芯片這三個問題怎麼解決我覺得我們今天可以一個一個的來分析一下那首先是數據中心現在的電從哪來Eason我記得你之前其實在我們節目上講過整個美國的電它是處在一個比較穩定的增長狀態但从今年的数据来看还是这个样子吗我记得在上周黄仁勋和一个CNBA的采访中他也提到他可以生产出整个市场所需要的GPU没有问题但是现在最大问题是没有电你有了GPU你没有电你也没办法去运行你的数据中心在过去的20年美国的整个电力系统的发展是非常的缓慢的它几乎是以每年低于1%的增速在慢慢的扩张自己的电力系统这和中国几乎5,67%这样的年增速是完全没有办法比的美国过去20年的GDP或者是经济的发展和它的电力系统的发展几乎是脱钩的这也导致一个问题哪怕你现在开始加倍你的增长速度那也只是2%而已所以这个增长速度是远远跟不上这个数据中心的高速增长速度的美国的新增电力的负载当中我们估计数据中心可能就会占到40%左右剩下的60%可能是电动车的增长或者是生产制造业的回流到美国等等但是这个也是要看经济发展的状态的还有一个数据可以分享的是像有一些机构他们预估出来是美国每年应该需要增加大概80个G瓦的发电量还能够大概的满足美国的术业中心电动车和生产制造业的回流到美国这样的一个增长的需求但是目前来说美国每年的发电量增长可能只有50多到60左右这个水平也就是说每年可能美国面临的是大概20个G瓦的发电量的一个巨大的缺口那如果保持这样的缺口的话未来5年左右那很可能美国将会面临一个大概10个G瓦的发电量的缺口因为今天的话美国的总发电量大概是在130个G瓦所以这个缺口占的比重也是非常大的20个G瓦是一个什么概念比如说一整个纽约市或者旧金山的发电量会有20个G瓦吗这个是很好的问题像纽约的话它的平均用电量大概是在6个G瓦左右它的每年的峰值可能是在12个G瓦左右所以如果说是差20个G瓦的缺口的话那这个缺口可能就相当于可能两到三个纽约的发电量的水平嗯但現在我們說居民用電跟工業用電都要保證AI的數據中心也得建因為它用戶數一直在增長的所以現在缺的這部分電從哪來或者說我們拉回到現在的這個時間點現在對於AI來說大家缺多少電我们预估出来可能今年数据中心可能会新增大概8个G瓦的这个新增的用电量这个电从哪里来呢美国过去几十年的电网竞争中它有一些余量还有一个就是像GE啊这样的公司也在大量的制造和出售自己的天然气发电站还有一些氢电能源也有一些研究机构预测像新增的这些发电呢可能60%会需要靠天然气发电站40%左右可能是需要靠光伏啊风能啊和储能这些来弥补当然我们希望未来像核能能够尽快的成为一个新的主力现在美国的发电当中大概20%的发电是来自于核能但这些都是属于过去几十年一直存在的存量核能吧像新增核能这块的话我们可能还要等到比如说208年左右才会看到新增的核能上线像一些新的核能技术比如说小型或者微型核反应堆像SML这样的技术我个人估计可能还要等到203年左右才会真正的成为主力我看最近三奥特曼他投了一家公司他们是做小型的和裂变的反应堆的股价也是涨的很厉害这家公司叫奥克罗他这个股价确实涨的是非常的疯狂的但是我也没有想到他在短短的几个月之内就能上涨那么快我觉得这应该更多的不是反映基本面而是反映市场对他的期待和情绪而不是他技术本身基本面在突飞猛进或者是施工运营方面在突飞猛进吧所以这家公司它现在是已经实际用于发电了吗? 还是并没有? 现在还并没有。 我记得有一次开一个能源和AI相关的会的时候,OKLO的一个高管他跟我们观众说的是他预计最理想的情况可能是207年能够开始实现商业运营。 但是据我过去对核能行业的理解,其实核能是一个难度非常大的一个行业跟软件行业跟ID行业是不可同日而语的所以我觉得这个日期可能是比较乐观的但是考虑到美国过去几十年核能这个行业基本上没有怎么动过然后很多人才也去转行做了其他行业很多地方可以说是断档的所以如果要很快的把核能能够开始进行规模化的商业运营的话我觉得这个时间可能没有那么的乐观吧我補充一點美國一年增加50幾瓦時的發電量但是更多其實它的組成當中如果是按照火力發電它的組成其實不到5幾瓦所以更多的是大概有差不多45幾瓦是太陽能另外5G瓦可能是风能这些发电都是不可持续的它会有一个根据日照根据天气的变化所以它实际真的有效的发电量可能一年就不足20到25G瓦我觉得这个是更加去增加一个缺口的算一笔账我们按照datacenter的数据中心的投资老黄有一个数据就是50亿一级瓦所以它整体的话如果真的有60几瓦那它就是一个3万亿资本的投入但是目前来说所有的大公司预计明年的投入量基本上在1万亿不到一点所以从整个发电的量来说只看这个数字我觉得它更多没有到一个这么缺的一个状态如果把美国GDP的增长全部归功于AI数据中心的增长来说因为它可能在电网里还有一些余量可以去使用你说很对如果是太阳能的一个G瓦和一个天然气的一个G瓦其实是不一样的概念的因为太阳能的话只有在有阳光的时候你才能发电所以还有一个概念叫做capacityfactor你的平均发电大概是你的峰值的多少像太阳能的话可能只有25%左右也就是说一G瓦的太阳能的容量最后发出来的电的话平均下来可能只有一G瓦的25%左右但是如果是核电发电的话就完全不一样因为核能的话它可以几乎全年一直都是在它的峰值发电只有偶尔它需要维修啊保养的时候才会需要把发电站暂时停一下所以它的那个capacityfactor可能已经达到了93%左右而天然气的话也很高它在常年运行的历史数据可能会达到85%左右所以不同的发电的技术虽然是同样的GW但是它实际的发电量是不太一样的所以你刚刚说的那个80几瓦一年的需求是指一个混合的数据吗就是混合起来看如果我们有一部分的天然气发电站有一部分的光伏发电站和风能发电站所有的这些G瓦加起来可能会在80个G瓦左右但是我又听说美国的电网是相对比较脆弱的这个伊森不知道你能不能多介绍一下美国的电力系统确实是有很大的问题的我们一直在关注发电这个点但是稍微有一点片面因为数据中心需要的电的话它其实是通过整个电力系统来获得电的而不只是通过一个发电机一个电厂来获得电的所以我们要看的是从发电到输电到配电整个产业链都得形成一个有效的系统才能够给居民啊工业啊或者是数据中心啊以足够的电当然这里边最重要的一块确实就是发电发电大概是占整个电力系统投资的大概50%左右输电的话大概会占到百分之十几到二十左右然后配电的话大概是占到百分之二十到三十左右这个输电网的发展在过去也是非常的缓慢的理想状况下如果这些电站都能进入到美国电网里边那么输入中心的供电是没有问题的但问题就在于电网本身连吸纳这些新的发电站都能力不足在并入到新的数据中心的时候也会有很大的问题刚刚程盛有一个数据啊你是说60个G瓦差不多背后是3万亿的资金支持所以反推OpenAI的Stargate如果说是50亿的一个项目它可能就能建成10个G瓦的电然后这10个G瓦是现在在这个Stargate的一个规划中吗如果说我们不管什么方式啊就把这个电建成了它是不是按照Ethan你刚刚的说法它输入到这个电网它可能也是有阻力跟难度的没错现在我们了解到的startgate它目前的目标是能够建到10个GW现在可能已经签约和announce了这些大概有个7个GW左右这些都还只是签约和臆想真正要到电网里边应该还会有一些阻力就比如说它需要在很多地方找到现存的容量对于这么大的一个体量的话很显然openai或者它的合作的伙伴比较oracle啊他们需要想办法去创造新的容量在电网上现在的很多科技公司他得自己去建发电机建发电站变电站和一些配网的设施甚至建一些稍微短一点的电力传输线等等去满足自己的需求因为电力公司已经完全跟不上他们的需求了我们刚刚提到了输电是一块问题那建电网跟发电可能就是一个更大的问题了我注意到其实不管是OpenAI的StarGate的项目还是马斯克的XAI的项目其实大家现在用的基本上还是说燃气涡轮机的方式去建电网但是这一块程圣宁可能比较了解涡轮机现在它的供应链是一个怎样的情况它是不是也是一个比较短缺的物品对因为它本身的产能完全是不足的因为你可以去看包括GEVinova的财报它过去10年吧它的增长其实是非常平缓的到峰值的时候可能是19年20年的时候大概到70几台一年每一台大概在30到50兆瓦我们做一个对比涡轮的发电机其实和我们的飞机引擎就非常像一年大概有将近40台飞机引擎下线而涡轮发电机市场最大占比的GV只有小于10台这是一个数量级的差别一来是之前的需求没有这么旺盛二来之前政府对于可继续能源零碳排的这些标准大家对于需要会增加碳排放的行业其实也没有这么多的投入因为它相当于是一个夕阳产业只有在最近因为有AI数据中心缺电的这样一个背景下大家才找到了这样一个短期止损的这样一个方案而不是说所有的datacenter都愿意去长期的使用涡轮发电机更多的是说如果我并入电网需要一个两年的许可的permit审批的时间而我需要datacenter比方说马斯克需要6个月就上线那他们一年半的这个gap只能使用一些短期的比方说涡轮发电机的这样一个状态哪个公司也不一样比方说XAI根据public的information它横扫了美国将近70%以上的燃气涡轮发电机的库存已经用来给孟菲斯它两个非常大的datacenter供电所以70%根据你刚刚一年的产量那差不多就是50多台哦不不不是存量哦存量所以根据semianalysis一个博主的分析如果我没有记错的话光colossus2它一个datacenter它基本上有160台的涡轮发电机在那边给XAI提供发电我想问个问题是不是涡轮发电机它其实也是分几种类型的涡轮发电机比如说像GE的涡轮发电机的话是几百个MW的这种大规模的然后现在可能是不是GE的发电机我听他们财报说已经208年以后才可能接新的订单了是不是现在大家就开始买一些隐形的发电机是吧这一部分是不是大家也开始扫货了对,有一种就是通过飞机引擎改造的叫AeroDerivativeCombinedCycleGasTurbine通过一个蒸汽箱无论是从发热转换以及它的蒸汽做两个cycle去提高它的燃料效率做小型的涡轮发电机比方说Caterpillar可是它的产能也是一个需要很长时间去buildup的这样一个过程当然了你造10台这个涡轮发电机也只抵得上一台30兆瓦的发电机其实它对于供应链的挑战还是很大的所以大的涡轮发电机它的发电效果是更好的像你刚刚提到的GE的这种然后小型的涡轮发电机它也是可以发电的只是说它的功率没有那么强或者它的效率是比大的涡轮发电机稍微差一点点对GE也做小型的但是大型的更多只是供给原来的发电站就像Ethan说的他每年美国可能之前火力发电只有少于五几瓦但是我现在需要二十几瓦他短期供应链是需要很长的载口去做的就像你说的他现在的订单已经排到208年中国可以做吗中国据我所知火力发电或者用天然气发电不是一个非常主流的选项包括涡轮里面这些叶片它需要一些专业的合金这些都是到一个军工级别的security中国现在的产业并没有像美国或者韩国一些工业这么发达在这一块上所以我理解其实就是造涡轮发动机它是一个高技术产业它并不是一个说我靠供应链跟制造优势就可以解决的问题如果给定一定的时间他肯定能解决但是大家现在是在一个抢占能源的一个战争当中所以并没有留给供应链这么多的时间嗯嗯对这个是涡轮发电机的一部分发电它可能还会有很多的零部件我记得之前马斯克有一句话就是说transformerleadtransformer第一个说的是算法第二个transformer的意思就是说变压器我知道变压器在整个市场上它也是一个供货周期很长可能到18到24个月这样一个非常缺货的产品了但是它又是在你这个电厂发电中必须存在的一个环节是的先分享一个小故事吧在大概一年半两年之前特斯拉还在做dojo就是我们自己内部AItraining的这个项目的时候我们想要在PaloAlto硅谷的中心去建一个非常小型的只有十几台training的这样一个cluster那个时候PaloAlto市政府跟我们说你们没有电如果你们需要的话现在交期已经从三个月涨到18个月了当然马斯克的公司最后怎么做呢就是我们自己买了两台变压器然后给PaloAlto市政府装好然后说我们交付给你你们让我用那个时候只是三兆瓦现在我们动辄是谈三几瓦一千倍的difference變壓器這一塊其實它需要的就是一個基於電磁的原理從一個高壓轉化到一個低壓到使用的傳輸裡面需要很多的特殊的鋼材硅鋼或者說取向性的硅鋼因為它會帶一些磁力的方向提高它的效率這種鋼材美國只有一家公司可以做它每年的產能是25萬噸全世界大概有50萬噸的產能中国光宝钢一家大概有将近20万吨的年产量所以美国在这个产业链上是非常落后的据我所知16年20年包括24年美国政府都出了一些关于使用这些钢材无论是反倾销也好还是说LBBA法案也好都有各式各样的法案去禁止这些美国的公司从中国来进相关的材料因为为了想要发展制造业的回流可是短期来说美国的制造业并没有能力去接载这么大的一个体量的需求这也造成了过去两年来说它的交期一直没有有效的去缩短我理解所有的这些包括宝钢这家公司都是指的是原材料层面而不是说真正的做成变压器的这个层面是的是的是的但我觉得今天我们再来聊建电厂的时候啊可能变压器只是其中的一个环节而最新的电厂就像英伟达他其实有在今年的GTC上也讲了一种新的直输电厂的方式就是高压直流的方式包括他也提了一个80伏的高压直流输电的方法大家可不可以讲一下现在整个数据中心跟电厂到底是在用新的这种方式去做还是在用传统的这种方式去做它的区别跟效率是怎么样的英伟达这次OCP展会上讲的80伏直流更多的是用于数据中心以内整个AI数据机柜的输电它是用来去替代之前的54伏机柜我们先退一步来说整个电是怎么产生的高压电线如果是跨距离传输是350千伏的这样一个体量到local的一个电电站大概13.8到35千伏中压的电它到数据中心之内可能通过一个不间断的PowerSupply叫UPS传到DataCenter里面目前来说一般是480伏或者415伏它是交流点通过一个交流转殖流把它转换成54伏去给所有的芯片或者Server去供电那为什么我们要去把54伏拉到80伏呢是因为目前整个DataCenter就以Media的几代产品为例它之前的Hopper我们所说的H10它的一个机柜可能是一个30千瓦左右的数量级最近一代GB20它一个机柜就到了10千瓦它之后的ViralRubin包括之后的这个卡都是要往40千瓦甚至到一兆瓦一个机柜去做我们简单算一个算术Power等于电压乘以电流NVIDIA自己有一个数据如果你还是用54V做柜内的这个传输你一个一兆瓦的机柜就需要20公斤的铜用来做传输点电流如果纯电阻就是电压除以电阻所以power是和电压的平方去成正比的也就是说你去增加power可以大大的减少你效率的损失80伏DC和54伏DC如果是一兆瓦的机柜54伏可能需要光在传输电上会损失2%的效率那我们现在缺电当然这个损失是不能去承担的那如果拉到80伏的话它的损失可以只在同上会降到0.6%这是好几个数量级的进步吧现在datacenter是不是有做到这个80伏的DC的能力呢目前并没有现在主要还是以415伏交流为例为什么并没有是进不去电网吗不是是因为现在没有按照这个标准去做有一点很重要就是NVIDIA老黄说他能自己造出所有的芯片但是他没有电去power他的芯片所以他现在定这样一个标准是想要整个生态链共同进步如果你还是415伏的交流54伏的直流他一个一级瓦的datacenter需要差不多50万吨的铜这个是没有人可以去提供得了的如果是做成这样下一步可能就是缺铜了所以他不得不要去促使整个产业链或者生态链去往一个更高的高压直流的数据机柜的输电往这样去做转换那卡点在哪呢我觉得更多是在大家怎么去理解他这一周刚出的规范以及怎么去把供应链拉起来去做规范的理解设计生产是不是可以这样理解就是这个规范其实就是看到今天的缺点很严重的现实情况要重新定义这个行业里边的各项标准现在刚刚发布这个新的标准还需要一点时间让整个生态链的各个环节的企业重新设计他们的比如说各种电气产品能够适应或者是能够进入到这样一个新的标准当中然后我们看到了下一代的数据中心就有可能会根据这个标准去建立起来这样的话整个数据中心的效率啊等等都会提高很多是的是的但我看见现在大家虽然没有去见80伏的高压直流但是相比于你之前提到的54伏的直流电已经有人开始尝试比如说20伏40伏大家已经在往这个方向去靠了只是说我们还没有把那个标准一下拉的那么高对在英伟达的白皮书里面也有提到他的几个phases就是从415伏交流到54伏的直流转换也有415伏的交流直接转成415伏或者40伏的直流去做这个机轨之后再是说把整个配套的infra提到80伏去内部直接做直流的这个传输甚至到最后的ultimatestage就是用固态变压器在数据中心的输电入口就直接做到80伏直流当中可以去除一些UPS以及整体的效率把从92到98的效率甚至提到98.5%甚至9的end-to-end的效率Eason是不是我们去做这种数据中心的高压直流电跟整个居民用电方式是完全不一样的就是这个方式它是不可以提供给居民用电的就限定了它只能做数据中心我的理解大概确实是这样的因为我们现在整个的电力系统其实都是建立在所谓的交流电力系统这个基础上的刚才我们说的高压直流的这个概念其实在电网侧其实也是有很多的应用的尤其是中国就比如说电网在传输电力的时候如果是长距离传输的话你的电流越大的话你的损耗就越多怎么让电流变小呢那你就把电压升高所以这也是为什么我们在输电的时候会需要很多的变压器一方面变压器是要在发电机那一侧把电压提得很高在传输的过程中它的损耗就会比较小在用电的时候你又再用变压器把它的变压给降低这样的话就在居民或者是商业工业使用的时候这个电压是比较安全的所以在中国的话其实见了很多的也是叫高压直流不过那个是输电线的高压直流可能就是50千伏750千伏电压就比80伏要高10倍左右了而现在我们看到的基本上整个社会都是以交流电作为一个主要的用电方式的但是我觉得现在确实是到了一个时机数据中心内部应该用高压直流来提高它的效率了205年很有可能在美国数据中心的所有用电量加起来可能会占到整个美国用电量的大概5%左右就是整个加利福尼亚州整个今年的用电量大概是这样美国所有用电量大概是6点几左右也就是说今年数据中心用电量就稍微比整个加利福尼亚州的用电量要稍微低一点点而这个数字大概会在203年的时候会翻倍也就是说在203年的时候很可能整个数据中心行业的用电量是加州今天用电量了大概两倍左右这是非常大的一个用电量所以我也觉得到203年大概会涨10%的话这意味着这是一个很大的用电行业完全值得为这个行业设计一套专有的用电的标准就比如说英伟大的80伏这样的标准能够让整个占据美国用电10%的行业的效率比如说提高20%左右这是非常大的经济收益我觉得我们可能看到的比如说上周公布的这个报告就是这一切的开始大概给听众一个印象我们用ChatGBT搜索一次会有多耗电它差不多就是用谷歌搜索一次耗电量的10倍我另外看到一个数据是说中国今年整个电力的建设是有495个G瓦的美国今年的整个电力的建设是50个G瓦为什么中国可以建设的那么快而美国在这么缺电的情况下它的建设速度还是这么慢总体来说有几个主要的原因一个就是中国的电网很多时候它是有一个集中规划的概念这和政治制度经济制度是息息相关的而美国的很多电网它是小区域局部规划但是很少有跨区域的大规模的集中的规划当然美国也意识到有这个问题了也开始做出这方面的改进也有一些政策出来去鼓励这样做但是这方面也刚刚开始这和中国一直以来的电力从西边送到东边从南方送到北方通过高压直流通过整个中国大规模的电网建设来实现电力的大规模传输完全不能同日而语的还有一方面就是在建设电网的过程中你需要很多的审批而在中国的话它有一个相对集中的一种管理的方式吧而在美国的话很可能你的这个高压传输线需要经过一个农场主这个农场主说不我不允许你在这建那你可能就要绕到个几百个英里而这个过程中可能你会遇到几百个这样的农场主那你一个个弹下来的话这个时间是非常漫长的这就是为什么美国高铁建不成啊对是同样的一个道理对所以还有一个数字可以给大家参考在美国建一个新的长距离的传输线大概需要的时间是7到12年这是非常漫长的一个过程所以在过去的几年美国几乎没有大规模的传输线建设但这只是整个电力系统建设中的一角了其实如果你看输电也好配电也好整个建设都会遇到很多类似这样的问题長距離傳輸線的建設主體是誰是政府嗎我其實現在的角度是說如果現在來做這件事情的人不是政府而是科技公司因為他們其實有實打實的利潤跟業務需求上的考量所以他們是不是在做同樣的事情的時候他的推進速度會更快我觉得在整个电力系统建设的某些环节科技公司是有优势的但是在传输线这种这个环节可能跟电力公司遇到的问题是一样的你还是要去跟无数的人去谈判这个还是非常难的所以现在科技公司采取一个策略就是那我不去参与很多大规模的传输线的建设但是我走另外一条路比如说我自己去建我自己的发电站而我就把这个发电站建在我自己的数据中心附近不远的地方很多东西是在它的经济资源政治资源的影响力范围内它可以做得更快更好的数据中心的建设是需要大量的水吗在建设过程中水用的并不多在运行的过程中看你是用什么样的方式去制冷可能会决定了你的用水的量夜冷用水量就会非常大其实也看具体的技术因为有些夜冷量它是必循环的所以它用的水也不是很多但是在数据中心运行过程中呢用水量和用电量往往有一个此消彼长的关系当你想降低用水量的时候往往意味着你要用更多的电去制冷如果你想降低用电量的话那可能你要依靠当地的很多水资源帮助你制冷这也是一个矛盾的点所以在数据中心的建设过程中或者在选址的过程中每个公司都会看ok在这个地区是不是电更多一些还是水更多一些要根据当地的禀赋呢他可能会决定一个策略对我看其实现在整个科技巨头他在建数据中心的时候还是有遭到很多当地居民的抵制的不管你说污染还是缺水就是各种各样的问题可能都会有所以再回到我刚刚提的那个问题就是为什么中国建设的这么快Eason你的观点是行政效率的问题对我觉得可能还有一个原因就是成本的问题一个是设备的成本一个是人力的成本中国在过去的可能10年左右在政府还有政策的推动下整个清洁能源行业的发展是非常非常快的一个简单的数字可以让大家有一个深刻印象了就是中国在一年的太阳能的装机容量相当于世界上所有其他国家加在一起的总和甚至有时候还更多这个又意味着整个行业已经把清洁能源的发电成本已经压得非常非常低了比如说我们看到大规模的储能啊等等像美国的设备可能是中国价格的两倍左右所以这个成本的差距也是一个比较大的原因对现在整个电力的建设带火了哪些能源股就是我们刚才聊的天然气涡轮机像GE的话可能是最受益的一家公司因为在过去很多年我们一直在做氢电能源转型嘛要降低碳排放啊什么的天然气的发电这个业务其实一直都不是很好但是因为现在AI的爆发需要发电特别多所以天然气呢能够上线的速度又比较快所以像GE这样的公司呢已经涨得非常的高了因为大家都已经明确的看到它的订单在疯狂的涨它的溢价能力也非常的高需求还远远没有得到满足除了这个之后比如说核能但核能的话我个人认为可能不是一个短期能够实现的一个技术但是未来的5年左右可以实现的技术所以这一块呢也应该是一个比较受益的板块还有很多呢可能就是供应链上的很多一些规模稍微小一点的企业比如说做各种电气设备的可能还有一些做各种原材料的比如说铜就是一个很关键的原材料等等我觉得这些企业和公司应该都会受益的对陈胜之前有一个公司它是做化学燃料电池的它可以短期去解决买不到天然气涡轮发电机最近股票也涨得非常好但是呢从资本的角度来说它其实这笔经济账是算不过来的同样10兆瓦时你一个涡轮发电机可能是在20个million左右的投入像一些其他的替代选项它的capex投入可能要翻3到3.5倍所以它可能要到70个million同样一个10兆瓦它的能源效率虽然提高了但是它的燃料其实每年的operation的费用可能同样10兆瓦它也要花额外可能20到50个million的这样一个不等你可能5年算下来就要多花将近60到1个billion去解决一个10个兆瓦的能源可是现在大家去做一些竞争我要比你更快到AGI我要比你更快实现商业化所以促使了大家疯狂地去购买这些产能当然了整条行业上面现在如果纯从股票或者纯从供应链来讲AI其实缺的东西是很多的它从大到变压器这些infrastructure甚至小到芯片之前我们过去两年一直在谈缺芯无论是说这个芯片本身的晶圆的产能包括台积电是全球独此一家做COWAS一些特殊封装的这些产能它其实还是在相对紧缺的这个状态比方说因为SORA或者VEOOpenEye和Google的视频模型它会转成说我对于我的储存的memory它的需求会有持续性的增长造成了我看到一个研报说明年年底如果不考虑现在的这些新的模型对于储存的需求它的缺口还有5%到8%那如果我们考虑上的话它的缺口可能会更加大这是由于过去好多年产能没有有效投资因为有经济的波动而造成的所以其实各个方面都缺我再举一个有意思的例子比方说现在10万张卡的这样一个AIdatacenter如果之前我们训MetaLama的时候他用了差不多250张卡还是160张卡训了54天他training平均三个小时会断一次由于GPU产生的问题占到58%那OpenAIGPT-4的时候或者MetaTrainLama4的时候它用一个10万卡的级别它平均32分钟就要档一次需要回复大概15分钟黑侠的芯片当然是退回给NVIDIA你光一个10万张卡你每周1%的failurerate它可能就有差不多1万张卡需要去运回去这是什么样的体量它可能需要10吨连FedEx都要去买额外多的货车去做这样一个运回10吨的卡对如果只有10万张卡的前提下的话我们做一个合理的1%的return的假设所以其实整条供应链上有太多太多的卡点现在是不能support到这样一个体量的我可不可以简单总结一下整个现在AI的问题我们理解前两年它是缺芯片这两年它的核心问题就是缺电跟缺能源以及搭建数据中心整个供应链环节各种各样的小的卡点是的是的是的好的好的非常精彩啊我觉得我们之前的节目都还是在聊10亿美元的独角兽就算很大了之后我们聊这个大模型可能是几百亿几千亿的这种估值今天我们是在聊一个trilliondollars就是万亿美元的市场感觉我们的野心也是在慢慢变大了没错没错这个投资的规模实在是太大了对我觉得这个也可以说是载入人类史册的一个投资时期好非常精彩谢谢两位谢谢谢谢谢谢這就是我們看到的現在整個美國經濟冰火兩重天的現狀一端是科技巨頭熱火朝天的大基建另一端是傳統的行業那0.1%的增長那我們說在這樣的一個資金傳導鏈條中任何一個環節出現信任危機不管是有公司的造假或者是整個AI的落地不及預期會不會是這個多米諾骨牌倒塌的第一步呢感兴趣的听众可以给我们写下你的评论我们一起来讨论一下那这就是我们今天的节目如果大家喜欢我们的节目记得在小宇宙苹果播客Spotify上来收听订阅我们同样大家也可以在YouTube或者bilibili上搜索硅谷10播客来关注订阅我们我是红军,感谢大家的收听