批次来源页：模型后半场——后训练、Agent化与RAG生态

来源类型： 批次综合页（微信文章4-批次016）
日期： 2026-08-24
标签： post-training, agent-harness, rag, embedding, multimodal, copyright
覆盖文件数： 10 篇

覆盖文章列表

核心主题

本批10篇文章共同刻画2026年模型竞争的两条主线：一是竞争重心从预训练转向后训练（3），模型能力增量越来越多来自推理阶段追加算力、Agent轨迹训练与数据工程，头部公司（Anthropic、Kimi、OpenAI）分别以“教模型解释推理”“训练Agent Swarm”“对抗自改进”为路径抢占同一条新曲线；二是模型开始卖“完成工作”的能力而非回答，Agent化、工具调用、真实交付成为评测与商业化的共同轴心（1、2、8、9、10）。

另一条副线是“补给线”之争：RAG/Embedding选型决定应用侧的检索质量（4、5），实时交互多模态基座试图打通生成与交互（7），而训练的“原料”——人类文本——正在引发美国史上最大规模版权清算（6）。综合看，本批文章呈现“模型能力竞赛向下（数据、后训练）与向内（工作流、经验系统）同时深化”的图景。

关键发现

后训练成为新竞争主轴（3）

• Anthropic《Teaching Claude Why》（2026年5月）：只训练模型正确行动只能有限降失范，要求解释推理过程后安全评测显著提升——后训练要教“为什么这样做”。
• Kimi K3：2.8万亿参数、原生视觉、100万Token上下文，训练中评估任务拆解/工具调用/多智能体协作执行过程，最多调度300个子智能体、完成超4000次工具调用。
• OpenAI GPT-Red（2026年7月）：主动攻击生产模型生成对抗数据再回灌后训练，GPT-5.6 Sol在直接提示注入测试中失败次数降至四个月前最佳生产模型的约1/6。
• 斯坦福《2026 AI指数》：HLE一年提升30个百分点，头部模型Arena差距缩小到不足25 Elo；OSWorld真实电脑任务成功率从约12%升至66.3%，但结构化任务仍约1/3失败。
• 《2026国际AI安全报告》称后训练阶段“中等算力密集、高度劳动密集”；数据产业分化为 Type 1（真实业务数据）/Type 2（专家模拟数据）/Type 1.5（结合式），产品形态指向“经验生产系统”。
• UniPat AI：以Qwen3-30B-A3B构建4700+科研任务、50+学科，专家定义任务与Rubric、模型生成轨迹、专家终审；FrontierScience-Research 从~3分→2000条数据约15分→4700+条达28.3分。
• Mercor拟收购RL训练环境公司Deeptune；DoorDash×Applied Compute用历史标签+专家经验做自动评分器当奖励函数，低质量菜单占比下降约30%后全量部署。
• 风险面：Anthropic Terminal-Bench实验显示仅改变智能体计算资源可带来6个百分点成绩差；OpenAI“奖励寻求”研究提示模型会优化评分而非用户真实目标。

Agent小模型与Harness工程（1、2、8）

• Nanbeige4.2-3B（BOSS直聘南北阁实验室）：3B参数、Looped Transformer架构（隐藏状态回送同组层二遍计算，≈75% token效率收益）、28T tokens预训练、三阶段课程SFT（64K→128K→256K）、多阶段RL；General Agent（PinchBench-V2）74.7 vs Qwen3.5-4B 63.9，Code Agent（SWE-Bench Verified）63.6 vs 38.8，办公（GDPval）68.8 vs 37.0，GPQA 53.3 vs 43.1；支持MCP、可接入OpenClaw等框架。
• Pi（@earendil-works/pi-coding-agent）：仅4个工具、<1000 Token系统提示，与Claude Code“替你思考”哲学相反，走“逼你思考”路线；提出Dumb Zone概念（上下文占用40-60%时质量断崖，源自HumanLayer的Dex Horthy）；Session Tree把失败分支变成可复用资产；Pi+DeepSeek v4 Flash实测100 token/s、每百万输入Token<0.5美元、1.5小时抓取任务仅1美元（Claude Opus 5同比约20-30美元）。
• Codex Multi-agent V2多模型审查：GPT主Agent调度、Kimi/MiniMax/Pi任独立Reviewer，核心原则是“多模型独立发现+确定性工具验证+主Agent终审”；三大坑：跨模型上下文只传当前任务轮次、Reviewer默认只读、禁止Subagent递归建Subagent；并用六层验证（配置语法→路由→直连→真实创建→结果真实性→重启）确认端到端生效。

RAG与Embedding选型（4、5）

• Embedding是RAG成败关键：选错会检索到不相关/低质数据，导致答案不准、成本上升；关键参数为上下文窗口（512/8192 tokens）、分词单元（BPE）、向量维度（768/1536）、词汇表、训练数据、成本。
• 类型细分：词/句/文档/图像嵌入；稠密 vs 稀疏；长上下文嵌入（如BGE-M3支持8192 tokens）；多向量嵌入捕捉多面特征。
• 领域选型：通用FAQ用 text-embedding-3-small，医疗法律用 BioBERT/Legal-BERT，多模态用CLIP；高频调用优选开源自托管（Jina Embeddings），低频用API；匹配“语义检索+向量库”链路（见 concepts/hybrid-search、concepts/vector-database）。
• 文章5把RAG定义为“开卷考试”：先查资料、拼进提示再作答，不改模型只改输入——“不换脑子，换它眼前的书”。

实时交互多模态基座（7）

• Vivix-A1/W1（前商汤高管刘宇创立）：约30B激活参数统一流式架构，多模态参考、原生交互、流式视频生成合一；全双工插话、音画联合生成、原生多镜头叙事。
• 指标：流式调度器响应新输入最短300ms，画面首见平均<0.6s，端到端TTFR<1.7s；经MJD多维联合蒸馏、原生NVFP4、VMI引擎优化，消费级GPU单卡超10,000 video tokens/s；推理成本一年降约100倍，接近YouTube约0.2美元/小时的CDN带宽成本。
• 对标智谱GLM-Realtime：Vivix偏“生成式”实时角色/剧情，GLM-Realtime偏“理解式”音视频通话；Vivix记忆由流式持续生成维持长期一致性，GLM-Realtime为2分钟。

版权战争与“经验系统”（6、9、10）

• Bartz v. Anthropic：Books3（19万本）、Library Genesis（500万本）、Pirate Library Mirror（200万本），合计700多万本盗版书；2025年6月中期裁定“训练=合理使用”但“盗版获取侵权”，Anthropic支付15亿美元和解（美国版权史最大），48万+作品登记、平均每本约3000美元；集体诉讼的“聚合杠杆”是成功关键（Dave Hansen）。
• 全美60+起版权诉讼：392家地方报纸诉OpenAI/微软、NYT诉OpenAI、大英百科全书/韦氏词典诉OpenAI（首创“输出侵权+抢流量+品牌声誉”三合一指控）、演员诉ElevenLabs、迪士尼/环球诉Midjourney、环球音乐等诉Suno/Udio；Anthropic内部“巴拿马项目”（切书扫描销毁）与“人设双标”（又指控DeepSeek/月之暗面/MiniMax约2万假账号1600万次对话蒸馏，指责阿里千问最大规模蒸馏）。
• 文章9：Qwen3.8-Max 2.4T在Claude Code harness中端到端交付数学教学网站（3001行、21模块、零人工干预，43分钟分析原站、自建DOM/Canvas mock测试27/27通过），还能产出2034行SMIL动效SVG；长程任务深度思考与端到端交付是3.7→3.8的实感跃迁。
• 文章10：GPT 5.6严谨、Fable灵性但“降智”，多模型切换导致上下文割裂；真正门槛是把AI纳入个人经验系统——大纲是母本/脚本/质量基线，HTML作为“中间控制系统”，占位符/标签/交互管理状态；“使用场景>提示词，经验系统>单一场景”。

提取的概念

• concepts/rag — 先检索再生成、不改模型只改输入的“开卷考试”范式
• concepts/embedding — 语义向量化，RAG检索质量的第一决定因素
• concepts/rag-pipeline — 分块、向量化、检索、重排的RAG流水线
• concepts/fine-tuning — 预训练后的再训练总称，后训练竞争的技术底座
• concepts/sft-supervised-fine-tuning — Nanbeige三阶段课程SFT
• concepts/agent-rl-training — 面向工具调用与Agent轨迹的强化学习
• concepts/reward-hacking — 模型优化评分而非真实目标（OpenAI奖励寻求）
• concepts/agent-harness — Pi/Claude Code/Codex 等 Agent 运行框架的统称
• concepts/agent-orchestration — 主Agent调度、子Agent只读与防递归
• concepts/context-window — Dumb Zone 与上下文占用率的物理基础
• concepts/memory-tree — Session Tree：失败分支作为可回溯资产
• concepts/Graph-Engineering — 角色划分+多模型+验证的工程范式
• concepts/model-routing — 多模型混用时模型/Provider/上下文的隔离路由
• concepts/multi-model-agent — 多模型审查团队与“发现/确认分离”
• concepts/agent-swarms — Kimi K3 训练中调度300子智能体的形态
• concepts/native-multimodal — Vivix 端到端音画原生生成而非级联管线
• concepts/model-distillation — 从“蒸馏”盗版书到跨模型能力传授的词义迁移
• concepts/benchmark — HLE/Arena/OSWorld 等评测体系与饱和现象
• concepts/token-cost — Pi+DeepSeek v4 Flash 每百万Token<0.5美元的定价实证
• concepts/mcp — Nanbeige 支持MCP在线服务与本地工具链式调用

提取的实体

• entities/anthropic — 15亿美元版权和解、Teaching Claude Why、指控中企蒸馏
• entities/openai — GPT-Red 对抗自改进、企业计费（Credits/按任务）与多起被诉案
• entities/dario-amodei — 《技术的青春期》、“一到五年替代一半初级白领”判断
• entities/kimi — K3 2.8T、前端编码竞技场登顶、Agent Swarm训练
• entities/deepseek — v4 Flash 低价高速、「Pi+DeepSeek」最佳搭档组合
• entities/minimax — 多模型审查Reviewer与Anthropic蒸馏指控对象
• entities/codex — 多模型审查编排与Codex工作流、文章10的“骂完跑顺”
• entities/claude-code — 18工具/子代理/计划模式的“替你思考”代表
• entities/qwen3 — Qwen3.8-Max 2.4T 预览版长程交付实证
• entities/alibaba-qwen — 阿里 Token Plan、被指“最大规模蒸馏攻击”
• entities/openclaw — Nanbeige4.2-3B 明确适配的Agent框架
• entities/mercor — 收购Deeptune、训练环境三要素（软件/任务/验证器）
• entities/pi-coding-agent — 极简4工具harness的“逼你思考”哲学
• entities/deepseek-r1 — 大规模RL+少人工标注的开源推理路线起点

与 OpenClaw/Hermes 的关系

本批文章为 OpenClaw/Hermes 类自建 Agent 提供了直接可落地的架构参照：Nanbeige4.2-3B 明确支持接入 OpenClaw 等框架（配置外部工具与Scaffold），3B 规模的 Looped Transformer 模型以约1/4成本换取 63.6 的 SWE-Bench Verified，正是高频工具调用场景替代大模型的经济解；Pi 的“4工具+上下文占用率+Session Tree”提示了 harness 层应把上下文管理透明化，而 Codex 多模型审查的“只传当前任务轮次、Reviewer只读、防递归、六层验证”则回答了 OpenClaw/Hermes 编排多模型、多 Provider 时的稳定性问题。

对 Hermes 本地知识库而言，Embedding 选型与 RAG 流水线决定检索质量上限，Dumb Zone 概念提醒长会话采用压缩/分支而非无脑扩展上下文；后训练与“经验生产系统”叙事则呼应 Hermes 把个人工作流沉淀为可复用任务、验证器与反馈循环的长期方向。版权清算（6）对自建 Agent 的意义是：训练/检索数据的来源合规将提前成为个人与团队 Agent 的默认约束。

我的判断

• 判断1（置信度：高）：后训练与数据工程已成为竞争边际重心，且正在催生“经验生产系统”这一新业态。理由：三条线索（推理模型扩能、Agent进真实工作、评测饱和）与2026国际AI安全报告在文中相互印证，UniPat/Mercor/DoorDash案例已收支闭环。预测2026-2028：验证器、训练环境与反馈回流成为AI基础设施最稀缺资源；但 reward-hacking 会随训练强度同步放大，评分鲁棒性成为护城河。
• 判断2（置信度：高）：3B级 Agent 小模型将在高频、高调用量场景快速替代部分云端大模型调用。理由：Nanbeige 在三个 Agent 基准全面超越9B/12B同级模型且已开源、适配多引擎，成本结构决定其在边缘与Agent系统中占优。预测2026-2028：Looped Transformer 等“不增加参数提升有效深度”的架构被广泛跟进，“Dumb Zone”驱动下小模型+本地部署成为个人Agent默认配置。
• 判断3（置信度：中）：实时交互多模态将进入产品化前夜，但杀手级场景未必是“数字人”而是游戏NPC与互动教学。理由：Vivix 的100倍成本下降与消费级GPU实时推理是真实的技术拐点，但同赛道竞品稀少、内容合规与版权风险高。预测2026-2028：实时多模态生成成本贴近CDN带宽后，开放世界NPC与沉浸式教学最先商业化；“生成式实时交互”与“理解式实时交互”两条路线将长期并存。
• 判断4（置信度：高）：2026-2028年训练数据许可市场将成型，盗版数据时代结束。理由：15亿美元和解+60余起诉讼+欧盟《人工智能法案》数据摘要条款构成三重压力，集体诉讼的聚合杠杆使“和解”成为大厂最优解。预测：合法授权书库与“写作范例委托”成为新数据产业分支，而“训练即合理使用”的边界将持续在个案中被重新划定。