这次依旧是硬核话题，我们跟学术大牛深度聊聊2024年上半年美国创投圈最火的的话题之一，具身智能。

没错，智能机器人之火终于从国内来到美国了。在去年下半年的时候，美国创投界还是在关注大模型和应用、infra等等，虽然Deepmind RT-2 等工作彼时已经崭露头角，更喜欢软件的美国VC似乎还在犹豫机器人这个太硬的赛道。但是从今年上半年开始，事情似乎有了变化。

Hello World, who is OnBoard!?

除了Figure AI 这样的人形机器人公司获得了英伟达、微软等一系列战投的加持，硅谷的老牌基金们也疯狂涌入了所谓的机器人大模型公司，比如学术大牛创立的 Physical intelligence, Skild, 还有 Cruise 前CEO 创立的Bot company, 等等。

这次的嘉宾也是大名鼎鼎，UCSD 计算机科学副教授，苏昊老师，关注具身智能和3D视觉领域的同学应该都不陌生。他参与的一系列AI数据集和软件工作，从ImageNet到ShapeNet、PointNet、SAPIEN，以及最近的ManiSkill等等，都是三维视觉、机器人操作等领域穿越几个时代的标志性作品。

苏昊老师现在还是智能机器人创业公司Hillbot 的联合创始人，我们深度探讨了：

过去一年，我们从学术界、工业界讨论的种种话题，又有了哪些新的进展？
大模型的发展如何影响具身智能的不同技术路径？
大模型带来的泛化能力，跟硬件、控制系统等，又会怎样相互作用？
机器人模型里的数据问题，有哪些解决方案？

具身智能这个看似很纷繁的话题，苏昊老师总是能抽丝剥茧，相信你们也能从我们两个多小时的交流中，受益匪浅。Enjoy!

对了！今年年初，Onboard 就发布过一期关于具身智能的讨论，嘉宾包括了 Deepmind Robotics，高仙机器人和UCSD 的不同视角的重磅嘉宾。那一期讨论也非常精彩，建议大家回去复习哈！

嘉宾介绍

苏昊 (Twitter @HaoSuLabUCSD)，UC San Diego Associate Professor，Hillbot智能机器人初创公司创始人、CTO。Stanford PhD, UCSD 具身智能实验室主任，数据科学研究所创始成员，以及视觉计算中心和情境机器人研究所成员。他的研究工作集中在开发算法来模拟、理解并与物理世界互动。
OnBoard! 主持：Monica, 美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

03:04 苏昊的学术历程，为什么最近觉得有关证明的研究进展对机器人领域很有启发？
10:05 从智能演化的角度，理解“具身智能”这个“老概念”
15:01 为什么从语言而不是视觉上最先看到了接近人类的智能？
21:31 实现具身智能有哪些主流的路线？如何理解不同路径不同切入点背后的逻辑？
32:10 可以通过大模型的能力实现运动控制吗？有泛化性的控制数据要怎么采集？
38:26 演示学习 (learning from demonstration) 有哪些不同路径？ALOHA这类遥操作有什么利弊？
47:00 规划和执行需要一起做训练吗？做一个端到端的系统核心难点在哪里？
51:15 划重点：好的算法的本质就是降低对数据的需求
52:23 针对机器人的大模型会跟LLM架构有什么异同？
59:31 人形机器人可以解决数据和能力泛化的问题吗？
66:16 模拟器能解决训练数据的问题吗？近年来模拟器相关技术有什么关键进展？
78:31 AI生成3D，Sora 等新技术进展对实现 sim2real 路径有什么影响？
95:26 苏昊老师现在的创业项目 Hillbot
100:32 快问快答：推荐的书，影响最大的人，具身智能被高估和低估的话题，如何解压！

重点词汇和公司

Boston Dynamics
PI (Physical Intelligence)
⁠OpenAI DALL-E 3⁠
⁠SAPIEN: A SimulAted Part-based Interactive ENvironment⁠
⁠ManiSkill⁠: a powerful unified framework for robot simulation and training powered by SAPIEN.
⁠Google Deepmind RT-1⁠: Robotics Transformer for real-world control at scale
⁠Google Deepmind RT-2⁠: New model translates vision and language into action, ⁠Paper⁠
⁠Google Deepmind Open X-Embodiment⁠: Robotic Learning Datasets and RT-X Models, ⁠Paper⁠
⁠ALOHA⁠: A Low-cost Open-source Hardware System for Bimanual Teleoperation
⁠Mobile ALOHA⁠: a low-cost and whole-body teleoperation system for data collection.
Behavior Colony：行为克隆
Learning from Demonstration：示范学习
⁠Meta AI Habitat⁠: A Platform for Embodied AI Research
⁠AI2⁠: The Allen Institute for Artificial Intelligence
⁠Segment Anything Model (SAM)⁠: a new AI model from Meta AI that can "cut out" any object, in any image, with a single click
⁠robot-VILA⁠: Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning
⁠CoPa⁠: General Robotic Manipulation through Spatial Constraints of Parts with Foundational Model
⁠ImageNet: image database organized according to the WordNet hierarchy⁠

参考文章欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

欢迎在评论区留下你的思考，与听友们互动。如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。

最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

EP 55. 对话UCSD副教授苏昊：从学术到创业，深度解读具身智能的实现路径