「Token」必须死？
「Token」必须死？
来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 电商, 编程, 物流, 芯片, 大模型
原文链接： https://mp.weixin.qq.com/s/Puo_Y3jjbHGzviQ61jZcmg
摘要
大语言模型范式能走到AGI吗？文｜晓静编辑｜徐青阳来源｜腾讯科技（ID：qqtech）封面来源｜Unsplash “我语言的局限，即意味着我世界的局限。”（Die Grenzen meiner Sprache bedeuten die Grenzen meiner Welt.） 哲学家维特根斯坦在1921年写下这句话时，他谈论的是人类认知的边界。一百年后，这句话精确地描述了大语言模型面临的结构性困境，如果AI的“语言”就是离散token序列，那么它的“世界”永远被困在token能表达的范围内。 这也引出了一个老生常谈的问题：大语言模型...
核心内容
大语言模型范式能走到AGI吗？文｜晓静编辑｜徐青阳来源｜腾讯科技（ID：qqtech）封面来源｜Unsplash
“我语言的局限，即意味着我世界的局限。”（Die Grenzen meiner Sprache bedeuten die Grenzen meiner Welt.）
哲学家维特根斯坦在1921年写下这句话时，他谈论的是人类认知的边界。一百年后，这句话精确地描述了大语言模型面临的结构性困境，如果AI的“语言”就是离散token序列，那么它的“世界”永远被困在token能表达的范围内。
这也引出了一个老生常谈的问题：大语言模型范式能走到AGI（通用人工智能）吗？
2024年12月，OpenAI前首席科学家Ilya Sutskever在NeurIPS发表主题演讲，他说“预训练即将终结”。2026年3月，图灵奖得主Yann LeCun离开Meta创办AMI Labs，直接宣判“大语言模型路线错了”。
两位深度学习殿堂级的大师，一位选择颠覆自己亲手开启的预训练时代，另一位选择继续践行自己坚守多年的世界模型路线，去赌“LLM的下一个时代”。
当然绝对不是当前的模型不好用或没有商业价值，大模型的用户数量及渗透率都在持续增长，产业价值会越来越大。但是从技术路径来看，他们要表达的是：这条路有一个结构性的天花板，这个天花板恰好卡在通往AGI（通用人工智能）的路上。
2026年5月，MIT何恺明团队和字节跳动Seed实验室几乎同时发布论文，给出了一个更明确的信号：语言生成的核心建模过程不必始终发生在离散token空间中，也可以转移到连续embedding或latent空间里完成，最后再映射回文本。
这是第一批来自工程实验的硬证据，逐token预测可能是通向AGI路上的一个局部最优解。但连续空间范式打开了另一条路，这条路的天花板也许更高。
图：美国国家人工智能科学院院士，麻省理工学院电气工程与计算机科学系副教授何恺明，图片由AI生成
天花板在哪？
维特根斯坦的话可以这样理解。
人类的离散语言不是思维的原生格式。大脑内部的认知活动是连续的、并行的、高维的。比如人类想到一个苹果时，激活的不是“苹果”两个字的token，而是一大片感觉皮层的连续活动模式，包括颜色、质感、重量、咬下去的声音。人之所以把这团连续体验压缩成“苹果”这个离散符号，纯粹是因为人类大脑的带宽逼你序列化。
人类语言是进化设计的有损压缩协议，它是跨脑传输的工程妥协。
我们目前用到的主流的商业化大模型产品，底层都是自回归架构（预测下一个token）。
自回归大模型做的事情是，在这个压缩协议的输出格式上建模。它无法理解“世界如何运作”，它了解的是“人类选择用什么符号序列来描述世界”。它们极其擅长模拟人类的语言行为，但模拟语言行为和理解世界之间，差着一个认识论的鸿沟。
比如身体感受，疼痛是怎样的；空间直觉，知道怎么接住球但无法描述如何接住的；因果干预的具身反馈，比如如果“我把这个椅子推倒会怎样”的直觉。这些隐藏在人类大脑中的“感觉”，从未被任何人类语言编码过。所以它们从未进入训练数据，在token序列上做任何建模，无论参数多大、数据多多，都触及不到这些维度。
这就是token范式的天花板。
“逃逸”实验
从token空间逃逸的第一批实验正在发生。
何恺明团队的ELF（Embedded Language Flows，嵌入式语言流）做了一件反直觉的事：把文字生成的全过程留在连续向量空间里完成，只在最后一步，真的只有最后一步，才把连续向量投影回人类可读的文字。它用Flow Matching（一种2022年由Yaron Lipman等人提出的连续正则化流框架）从噪声出发，沿学习到的速度场平滑演化到目标嵌入。32个采样步，生成质量超过离散模型用1024步的结果。训练数据约450亿token，只有主流方法的十分之一。
图：ELF仅用32步采样即超越MDLM、Duo等离散模型1024步的生成质量，且未使用蒸馏加速。模型参数105M，训练数据约为同类方法的十分之一。
四天后发布的Cola DLM（字节Seed团队）：先用Text VAE把语言压缩成更深层的语义潜空间，再在这个纯语义空间里用Flow Matching建模全局先验，最后才解码回文字。论文明确说：扩散过程做的是“潜在先验运输”，不是“token级别的观测恢复”。20亿参数，8个基准，与同体量自回归模型和已经scale到1000亿参数的LLaDA2.0严格对比，连续路线的scaling曲线是健康的。
图：Cola DLM 整体架构图
两篇论文的核心都在表达，token不是语言建模的必要条件。连续空间可以做得更好、更快、更省。
图：自回归模型逐token生成，每一步不可逆选择一个离散符号，已选token锁定后续所有可能性。
图：连续流模型从噪声出发，沿速度场平滑演化到目标嵌入，全程可逆可调，仅在终点映射回文字，ELF论文。
AI巨头也在质疑“Tokenization”？
这两篇论文只是学术信号，科技巨头也在用真金白银下注。
Google是最早、也最坚定地走向“原生多模态统一”的巨头。Gemini的技术报告明确写道：它是“from the ground up”训练的多模态模型，“not by bolting a frozen vision encoder onto a text decoder”（不是把冻结的视觉编码器接到文本解码器上）。
文本、图像、音频、视频在同一个模型里交错训练，共享注意力层。这个设计哲学从2023年12月的Gemini 1.0延续到了2026年的3.1 Pro。2026年3月发布的Gemini Embedding 2把这件事推到了表征层面：一个embedding模型，原生接受文本、图像、文档、音频、视频输入，全部映射到同一个3072维向量空间。
Google在做的事情，本质上就是为所有模态建造一个统一的连续坐标系，模态之间的边界在这个坐标系里不存在。
OpenAI走了一条更曲折的路。GPT-4V时代的架构是拼接式的，由一个视觉编码器外挂到语言模型上，跨模态信息需要经过额外的投影层传递。GPT-5系列公开强化了多模态推理能力，但OpenAI并未披露足够细的架构信息。可以确定的是，OpenAI正在把文本、视觉、视频等能力更深地整合进核心模型体验；不能确定的是，它是否已经完成了统一Transformer层面的架构切换。
根据外媒报道Sora运营期间“被员工视作拖累核心算力的吞金兽”。OpenAI选择砍掉视频应用，把算力集中到GPT-5.5的Agent架构和Codex代码工具上。这也可以猜测：OpenAI认同多模态统一的方向，但在视频生成这个具体维度上暂时退场，等待更高效的架构方案成熟后重新进入。
字节跳动Seed团队在Cola DLM论文的最后一句话是“为离散文本与连续模态的统一建模指出了一条具体路径”。Seed团队透露视频生成模型Seedance系列已经在使用类似的连续潜空间架构，独特优势在于：它同时拥有抖音/TikTok级别的海量视频数据和前沿模型研究能力
...(内容截断，完整内容请查看原文)
本页由自动化脚本生成，待人工审核补充