独家|ChatGPT核心贡献者归国创业:把LLM的Scaling带到具身智能
独家|ChatGPT核心贡献者归国创业:把LLM的Scaling带到具身智能
来源类型: 微信公众号文章
日期: 2026-06-02
标签: AI, 记忆系统, 办公效率, 网络安全, 编程, 物流, 机器人, 芯片, 大模型
原文链接: https://mp.weixin.qq.com/s/EKHB9S2ohPB7p0N6phCXiw
摘要
姜旭(Roger Jiang)此前很少正式对外发声。 姜旭是少数完整参与过 OpenAI 大模型核心技术演进的华人创业者之一。2019 至 2023 年间,他经历了 GPT 系列能力爆发最关键的阶段,工作横跨底层训练 infra、大规模预训练、RLHF 对齐算法与数据构建等核心链路。 他不仅是 GPT-4 技术报告的核心贡献者之一,也是 InstructGPT 的主要作者之一。后者奠定了 ChatGPT 指令遵循与人类偏好对齐能力的重要基础。如今,他选择回到中国创业,并把下一次 AI Scaling 的赌注押在了物理世界。 2024 年他在深圳成立了亮源新创 (Light Origins...
核心内容
姜旭(Roger Jiang)此前很少正式对外发声。
姜旭是少数完整参与过 OpenAI 大模型核心技术演进的华人创业者之一。2019 至 2023 年间,他经历了 GPT 系列能力爆发最关键的阶段,工作横跨底层训练 infra、大规模预训练、RLHF 对齐算法与数据构建等核心链路。
他不仅是 GPT-4 技术报告的核心贡献者之一,也是 InstructGPT 的主要作者之一。后者奠定了 ChatGPT 指令遵循与人类偏好对齐能力的重要基础。如今,他选择回到中国创业,并把下一次 AI Scaling 的赌注押在了物理世界。
2024 年他在深圳成立了亮源新创 (Light Origins,lightorigins.com),投身具身基础模型。但公司成立至今一直保持低调,外界对它的了解并不多。
现在他决定第一次完整地把自己的思考讲出来。
姜旭对具身智能的核心判断,可以概括为一句话:具身智能首先需要自己的预训练。
在他看来,当前行业对遥操数据和真机强化学习的重视是必要的,但这并不足以支撑具身基础模型真正走向 scaling。真机数据更像是高价值的对齐、验证和闭环迭代数据,而不是预训练阶段最主要的规模来源。受限于采集成本、场景覆盖和数据多样性,仅仅依靠机器人在真实环境中的遥操和试错,很难获得类似大语言模型预训练所需要的数据密度和分布广度。
姜旭认为,具身智能真正尚未被充分解锁的,是互联网尺度的人类运动、空间移动和物理交互数据。就像语言模型从海量文本中学习世界知识和推理结构,具身模型也需要从大规模物理世界数据中学习运动先验、空间理解、物体 affordance 和交互规律。换句话说,具身智能的关键问题不是“能不能再多采一些真机数据”,而是能不能找到一套可规模化的具身预训练方法,把物理世界中的行动经验转化为模型能力。
沿着这套逻辑,他做出了几个与主流路径不完全相同的判断。
亲历过 GPT 系列从无人看好到引爆全球的全过程,他对这套方法论有一种近乎笃定的信心,并相信具身智能会沿着大模型走过的路径再走一遍。他说,他特别享受被质疑、并最终被证明正确的那个过程。
以下是 DeepTech 和姜旭的对话。
我们已经进入了 Scaling 的阶段
DeepTech:你现在在哪个城市?最近主要在忙什么?
姜旭:我现在主要在深圳,这里算是我们的大本营。同时我们在北京和新加坡也有研发团队,希望能够尽量吸引不同区域的人才。
图丨亮源新创的深圳办公室位于深圳湾后海(来源:受访者)
创业其实永远都绕不开三件事:人、钱、事。只是不同阶段,重心会不一样。最开始差不多一年时间,我们主要还是在解决“事”和“人”。一方面是搭团队,另一方面是验证整个模型训练和算法研发的路径,包括产品落地和模型应用的方向。
过去一年,我们聚焦在验证整个技术路径。因为对于具身智能来说,真正困难的是找到一条能够像大语言模型一样持续 scaling 的路径。过去几个月,我们在这件事上已经探索出了清晰的方向,同时核心模块现在也都有了比较成熟的负责人和体系。所以今年对我们来说,会是一个从“探索”开始进入“scaling”的阶段。
DeepTech:这是你第一次正式接受媒体采访吗?之前有媒体发过你创业的消息,但你没有回应,我还以为你是不太喜欢和媒体打交道的人。
姜旭:算是第一次正式接受采访。之前确实有过一篇关于我们的报道,但那篇并不是我们主动对外讲的,所以严格说,这是第一次完整地把我们的事情讲出来。
DeepTech:那为什么决定现在出来做一些曝光?
姜旭:每个人、每家公司的精力、带宽、时间都是有限的。我做事情有一个强烈的倾向,就是在任何一段时间,我自己和整个公司会把大部分精力,聚焦在少数几个 ROI 最高的模块和领域上。
在此之前我们首先要搞清楚的是要做什么,搭一个足够强的团队。我们现在已经到了准备好要去 scale 的阶段,接下来要做的事情,就是去 scale。并且要进一步引入长期资本和产业资源,把这件事情快速往下一阶段推进。
GPT-3 能说出几句完整的话,我们就很激动
DeepTech:你在 OpenAI 四年,从 GPT-3 到 GPT-4,从 InstructGPT 到 ChatGPT。你刚加入的时候,团队多大?你被分到哪个组、做什么?
姜旭:我刚加入 OpenAI 的时候规模还很小,大概一百人左右。那个时候 OpenAI 还跟其他的 research lab 差不多,分成一个一个小的 team,team 之间没有特别紧密的耦合和深度合作,每个 team 都在做前沿学术和发表文章。但 OpenAI 的文化,在我在的整个期间,内部始终是非常开放、自由的。
所以我很有幸,在 OpenAI 期间换过大概四五个 team,在大语言模型这块有一个全栈的经历。我基本上是从大语言模型最底层的 infra 做起,然后到中间的预训练差不多做了一到两年,最后又花了一两年时间做对齐。
我刚加入解决的第一个问题,是 FP8,也就是 8 比特浮点数训练模型,这项技术今天已经在所有前沿的大模型训练推理过程中被大范围使用了。我差不多花了一年时间把它探索清楚。OpenAI 自己不做硬件,所以我们只是在算法层面把它探索清楚,会有一些推理上的效率提升,但对训练没有本质变化。训练如果想加速,还要从硬件层面原生去支持。我们当时就把结果给了 NVIDIA,说服了 NVIDIA 从 H100 系列开始,原生支持 FP8。
DeepTech:那个时候 GPT-3 是什么水平?
姜旭:我加入的时候,GPT-3 刚刚启动训练。那时候每两周开一次全员会,负责 GPT-3 训练的团队,主要是 Dario 他们,会在会上分享训练进展。当时语言模型的水平,是 GPT-3 偶尔能说出那么几句完整的话,语法上没有特别明显的错误,那个时候我们全员所有人都会非常激动。
现在回顾一下,从我 2019 年加入到现在六七年时间,AI 技术真的是突飞猛进,发生了翻天覆地的变化。
DeepTech:这些经历里,你印象最深的是哪一段?
姜旭:整个 OpenAI 四年是一段极度压缩的时间线,发生了太多的事情,做过的很多项目印象都非常深刻。
第一段就是 21 年初,Dario 他们走了之后,我加入新组的团队去做预训练。当时的背景是,原本负责预训练的团队就是 Dario 他们,20 年底到 21 年初,他们陆续离开创立了 Anthropic。那是一个痛苦的分手过程,每周都有几个熟悉的同事离职,剩下的人又普遍没有预训练的经验,大家心里还是有点慌的。 然后 Greg Brockman 带队组建了一个不到 10 人的团队去接手预训练。
图丨姜旭在 OpenAI 任职期间拍摄于旧金山。2019 年到 2023 年,他在这里完成了从大语言模型底层 infra 到对齐的全栈训练。(来源:受访者)
首先,那几个月时间工作强度极大,我每天早上醒过来跟打了鸡血一样疯狂地工作一直到半夜,Greg 甚至有时候会通宵写代码,第二天只睡一两个小时再继续工作,最后从数据到 infra 到优化算法都发现了非常多的问题,最终,折腾了好几个月用了几千卡,也没有训出来好的模型效果。那是一个挺痛苦的迭代
...(内容截断,完整内容请查看原文)
本页由自动化脚本生成,待人工审核补充