聊到生成式AI的发展，开源绝对是最关键的话题之一。这次的嘉宾，可以说涵盖了大模型开源领域最值得关注的公司，真的是黄金阵容！

首先跟大家汇报一下，上周日我们在北京举办的 OnBoard! 第一次线下听友会真是超预期！开放报名4天就250多人报名，周日从上午9点到下午3点，从机器人到AI，创业投资和软件出海，100人的场地，直到最后都几乎座无虚席！真的是非常感谢大家的支持~

Hello World, who is OnBoard!?

回到这一期播客，我们将深入探讨大模型的开源生态。在生成式AI飞速发展的一年多时间里，开源无疑是一个不可忽视的话题。开源模型的迅猛发展，从 Meta 的 Llama 3 到 Mistral 的最新模型，它们对闭源大模型如 GPT4 的追赶，不仅令人惊艳，更加速了 AI 场景下产品的实际应用。而围绕大模型的生态系统，从推理加速到开发工具，再到智能代理，技术栈的丰富程度，虽然已经孕育出了像 Langchain 这样的领军企业，但这一切似乎只是冰山一角。

特别值得一提的是，随着阿里千问系列、Deepseek、以及 Yi 等中国团队主导的模型在国际舞台上崭露头角，我们不禁思考，除了模仿和追赶，中国在大模型领域的发展是否还有更多值得我们关注和自豪的成就。

今天，Monica 有幸邀请到了几位极具代表性的重磅嘉宾，来自 Huggingface 的开源老兵，有通义千问 Qwen 的开源负责人（他也是 Agent 领域最受关注的项目 OpenDevin 核心成员），还有最具国际影响力的开源项目 vLLM 主导人。真是涵盖了大模型开源生态的各个领域的最一线视角！

嘉宾们都太宝藏了，我们的话题延伸到大模型的各个方面，录了近4个小时！我们前半部分聊了很多infra的创新，以及最近很火的、以OpenDevin 为代表的软件开发agent 背后的技术和生态等话题。下半部分，我们回到大模型开源的主题，畅谈了：

底层基础大模型的开源闭源生态，未来可能有怎样的演进？
开源模型商业化跟过去我们在大数据时代看到的databricks 之类开源商业模式有哪些异同？
如何做一个有国际影响力的开源项目？

嘉宾介绍

Tiezhen Wang, Huggingface 工程师，他可以说是中国与世界开源 AI 生态的桥梁，更是从 Google TensorFlow 时代到 Huggingface 早期员工，对中国和世界的开源 AI 生态都有极深的洞察。
Junyang Lin, 通义千问开源负责人，作为 Qwen 在全球开源社区的主要代言人，他不仅见证了开源的发展历程，还是目前备受瞩目的 Agent 开源项目 OpenDevin 的核心团队成员。
李卓翰，UC Berkeley PhD，他所主导的项目更是大名鼎鼎，就是已经成为行业标准的大模型推理框架 vLLM！他所在的 Sky Lab 被誉为开源基础设施的摇篮，从估值百亿美元的 Databricks 到 Anyscale（开源计算框架 Ray 的商业化公司）。他还深度参与了 Chat Arena, Vicuna 等多个国际知名开源项目，对大模型周边生态和 infra 的不仅有国际一线经验，更是有很多有技术理想的干货！
OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

还有数据、评测等等大模型领域的核心话题，真的非常全面，又不失一线从业者的深度。索性就不分成两部分了，大家可以对着 show notes 里面的时间戳，直接跳转到你感兴趣的话题（虽然我觉得每个话题都很好！）介绍了这么多，还要声明一下，节目里面重点聊到的开源社区 Huggingface，还有几个开源的项目，包括阿里千问、OpenDevin, Deepseek, 零一万物的 Yi，vLLM 等，都没有收取任何广告，完全是嘉宾走心分享，全程无广！

当然，如果你们或者其他AI公司考虑赞助一下我们用爱发电的播客，我们当然也是欢迎的！

三小时硬核马拉松开始，enjoy!

嘉宾介绍

我们都聊了什么

05:28 嘉宾自我介绍，有意思的开源 AI 项目
18:37 vLLM 如何开始的，如何成为全球顶尖项目，为什么我们需要一个大模型推理框架？
30:24 Agent framework: OpenDevin 这样的负责 agent 会带来怎样的推理挑战？
40:37 做好一个编程 Agent，还需要哪些新的工具？多模态会带来怎样的变化？
56:16 我们需要怎样的 Agent Framework？为什么最适合开源社区来做？Framework 会收敛吗？
67:46 什么是 Crew AI? 如何看待 Multi-agent 架构？
73:11 借鉴前端框架的发展历史，如何理解一个框架如何成为行业标准？
77:54 Huggingface 上开源LLM现状，过去一年多有哪些重要进展？有哪些不同的开源方式？泽娜要给你看待一个开源模型的流行程度？
94:27 如何理解不同架构的开源大模型生态？Qwen 如何通过架构演进打造更好的开源生态？
104:59 中国的大模型开源项目有哪些创新？大模型架构有哪些变化？
112:17 为什么说新的模型架构可能会带来商业化的新机会？我们能从以前的开源商业化中学到什么？
119:22 我们看到现有大模型架构的天花板了吗？什么是一个新的架构？
128:03 Zhuohan 从参与最早的开源 LLM 之一 Vicuna 的经历学到什么？学术界和业界在大模型生态上如何分工？
140:48 用于大模型的数据集领域有哪些值得关注的进展？
149:42 Mistral 为什么这么快爆火？打造一流国际开源项目有什么可借鉴的经验？vLLM 有什么道和术上的心得？
166:13 Chatbot Arena 是如何开始的？为什么模型的评测那么重要？还有哪些挑战和可能的进展？
180:49 Zhuohan 对于 vLLM 商业化方式有什么思考？未来推理成本还有哪些下降空间？
188:17 快问快答：过去一年生成式AI发展有什么超出预期和不及预期的地方？未来还有什么值得期待？

我们提到的公司和重点名词

Qwen⁠, ⁠Qwen-2⁠
OpenDevin: ⁠opendevin.github.io⁠
vLLM: ⁠github.com⁠
⁠Yi (Github)⁠, ⁠零一万物⁠
Chatbot Arena: ⁠huggingface.co⁠
AutoGPT: ⁠github.com⁠
crew AI: ⁠www.crewai.com⁠
autoAWQ: ⁠github.com⁠
LLM.c: ⁠github.com⁠
Flash attention: ⁠github.com⁠
Continuous batching：一种数据处理技术，用于将连续的数据流分批处理，以提高效率和可扩展性。
KV cache：键值对缓存，一种存储结构，通过键快速访问数据值，常用于提高数据检索速度。
Page attention：页面注意力机制，一种在处理长文本时，使模型集中注意力于当前页面或段落的技术。
Quantization：量化，将数据表示的精度降低到更少的比特数，以减少模型大小和提高计算效率。
⁠Direct Preference Optimization (DPO)⁠: Your Language Model is Secretly a Reward Model
Google Gemini: ⁠deepmind.google⁠
Adept: ⁠www.adept.ai⁠
MetaGPT: ⁠github.com⁠
⁠Dolphin⁠an open-source and uncensored, and commercially licensed dataset and series of instruct-tuned language models based on Microsoft's Orca paper
Common crawl: ⁠commoncrawl.org⁠

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。

最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

EP 54. 深度对谈顶尖AI开源项目：大模型开源生态, Agent 与中国力量