最近听了一场智谱的分享,主题是“智谱模型能力与代码场景落地实践”。听之前,我对大模型写代码的理解基本停留在“模型越强、榜单越高,活就干得越好”。听完之后我意识到,这个理解漏掉了一大半:从“能回答”到“能交付”,中间隔着数据、训练、Harness、评测、缓存、运行时和组织方式,任何一环掉链子,分数再高也交付不了。
这篇是我的整理和消化,按“我原来怎么想 → 现在知道了什么 → 我打算怎么用”的顺序写。
一、我先纠正的一个认知:能力是系统,不是分数
现代 LLM 的主干依然是 decoder-only Transformer:Token → Embedding → 堆叠的 Decoder Block(RMSNorm、MHA/GQA/MLA 等注意力变体、Dense 或 MoE FFN、残差)→ LM Head → 下一个 token。这部分我早就熟悉,但分享里有一句话让我重新看它:模型每一步只预测下一个 token,而真实任务要求跨越几百步、几千次工具调用和大量外部状态的连续行动。两者之间的落差,不可能只靠模型结构补上。
分享把大模型研发拆成五条技术链:模型架构、数据与环境、训练范式、推理策略、运行时系统,下面再垫着训练 Infra、推理 Infra 和评测治理闭环。我的理解是:
- 训练塑造能力,从 Pretrain 一路走到 Mid-train、SFT、Reasoning RL;
- 推理负责把能力展开,按难度分配 token、采样、搜索、验证;
- 运行时决定能力能不能被持续使用,包括路由、记忆、工具、沙箱、可观测和降级;
- Infra 决定规模、速度和成本。
所以“竞争单位”也变了:不再是单个榜单分数,而是端到端任务完成率,并且要同时乘上成本、可靠性、权限与治理。
回看 2017 年以来的演进,每个阶段模型的“默认角色”都在变:可迁移(GPT/BERT)→ 可提示(GPT-3、ICL)→ 可对话(RLHF、ChatGPT)→ 可感知/调用(多模态、函数调用)→ 可深思/验证(o1、测试时计算)→ 可执行/协作(推理 RL、MCP、Agent Runtime)。2025 年之后,Artificial Analysis 智能指数从 20 分以下一路涨到 50 分以上,头部竞争也从“谁最聪明”转向“谁在合适的生态位上又聪明又便宜”。
二、GLM 这一年多:从 Vibe Coding 到 Long-Horizon
智谱源于清华 KEG 实验室,从 GLM-130B、ChatGLM 一路走来。和代码场景直接相关的是 2025 年 7 月之后这条 Agentic & Coding 线:
| 模型 | 时间 | 关键点 |
|---|---|---|
| GLM-4.5 | 2025.07 | 355B/32B MoE,Agentic、Reasoning、Coding(ARC)三能力合一的起点 |
| GLM-5 | 2026.02 | 744B/40B,AA Index v4.0 首破 50、开源第一;SWE-bench Verified 77.8 |
| GLM-5.1 | 2026.04.07 | MIT 开源;SWE-Bench Pro 58.4,主题转向 Long-Horizon |
| GLM-5.2 | 2026.06.16 | solid 1M 上下文;IndexShare 让每 token FLOPs 降 2.9 倍;effort 分级上线 |
| GLM-5.3 | 2026.08.14 | 同底座纯后训练;Terminal-Bench 3.0 从 4.6 到 28.3;CyberGym SOTA;权重延期两周开源 |
| GLM-5.3-Flash | 2026.08.26 | 320B/18B,首个原生多模态,约 0.045 美元/任务 |
节奏上:从 GLM-4.5 算起约 14 个月 8 代,2026 年前 8 个月 5 代,5.3 到 5.3-Flash 只隔 12 天。如果从 GLM-4.6(2025.09)算到 GLM-5.3,是 11 个月 6 代,AA 智能指数从 32 涨到 60。两组数字口径不同,并不矛盾。
分享把这条线概括为三级跳,我觉得是全场最好的一个框架:
- Vibe Coding(GLM-4.x,2025.07–2026.01):模型产出代码片段,人拆解任务、逐步验收,责任仍在人。
- Agentic Engineering(GLM-5,2026.02–03):模型自主分解、执行、自纠,接管端到端任务。Terminal-Bench 2.0 追平 Opus 4.5/4.6。
- Long-Horizon(GLM-5.1 → 5.3,2026.04 至今):生产性时长成为一等指标,要求数百轮迭代不塌方。
每一级都在回答同一个问题:“再多给一小时,它还能变得更准吗?” GLM-5 第一次给出肯定答案,5.x 则把这个答案做成了产品参数(effort 分级)。这句话改变了我评估模型的方式:以前我看单次输出好不好,以后我会看给它更多时间和轮次时,结果是收敛还是发散。
三、Scaling 不止参数:后训练也能把上限推上去
我原来默认的 Scaling 就是 N(参数)、D(数据)、C(算力)三个旋钮。分享梳理了这条认知的演进:
- Kaplan(2020):参数优先;
- Chinchilla(2022):参数和数据同速扩展,约 20 token/参数;
- 推理感知(2024):调用越多,越偏向“小模型长训”,Llama-2-7B 约 286 token/参数,Gemma-2-9B 约 889;
- MoE 与任务依赖(2025+):总参数不等于每次激活的计算量。
最优点一直随约束改变。
最有说服力的是 GLM-5.3 这个对照实验:同基座、同架构、同参数,只把长程环境、任务多样性和 RL 计算加上去。结果是 Terminal-Bench 3.0 从 4.6 到 28.3,DeepSWE 从 46.2 到 66.9,Agents’ Last Exam 从 23.8 到 28.5,官方内部代码评测 +50%,长时程和安全也有改善。分享的措辞很克制:这支持“后训练仍有较高释放空间”,但不证明“参数扩展已失效或饱和”。
我记下的结论是:下一轮 Scaling 有 6 个以上可选旋钮(基座规模、预训练数据与质量、中期训练、激活计算与架构、后训练与 RL、推理时搜索与工具)。它们不必同时转动,选择标准是“单位全生命周期成本能换来多少真实任务能力”。
智谱把自己的方法总结为四维训练飞轮:
- 数据定起点:知识密度、任务复杂度、长程 Agent 轨迹的筛选与回流;
- Mid-Train 打底座:长上下文、工具调用、长程任务;
- 算法提利用率:GRPO → Critic-based SAO,SFT → OPD;
- 工程与环境撑规模:Slime、IndexShare、MTP、LayerSplit、ZCube、真实环境。
一句话:环境产轨迹,算法提利用,工程撑规模,数据定起点。
四、训练一个“能做事”的 Agent,我学到的细节
数据:不可验证的数据在 RL 里就是噪声
Agent 轨迹数据有五个要素:工具调用、多步推理、环境交互(浏览器/终端/文件/GUI)、长程轨迹(数百轮交互、数千次工具调用)、错误恢复(检测、回退、重试)。
GLM-5 定义了三种思维模式:Interleaved(工具调用之间穿插思考)、Preserved(跨轮保留历史思维块)、Turn-level(逐轮可控)。Preserved 的意义我以前没想清楚:不保留的话,历史推理被丢弃,多轮推理就断链了。
数据清洗是从三篇 GLM 论文(4.1V-Thinking、5V-Turbo、GLM-5)归纳出的四层过滤:
- L1 启发式粗筛:分辨率、纯色、文本长度、去重;
- L2 语义过滤:CLIP Score ≥ 0.3 或 SigLIP 对齐阈值;
- L3 分布平衡:概念均衡重采样、中英双语均衡、领域配比;
- L4 质量增强:事实性重写(迭代 recaption)和难度过滤。
L1、L2 的指标偏多模态,因为来源本身包含视觉模型论文。到了 SFT 阶段还会再过滤一遍:用预训练模型剔除太易和太难的样本,并用拒绝采样从多次 rollout 中选最优轨迹。
三道质量保障我觉得最值得借鉴:
- 去污染:benchmark 题目去重,并按时间线切分验证。SWE-rebench 的数据显示,受测 SWE 题目中有 42.1% 存在污染,去污染后排名大幅变动。这让我以后看公开榜单时会多打一个折扣。
- 可验证性:每条数据都要有明确的环境反馈结果,经 oracle、no-op、unsolved 三重校验后才产出二值奖励。
- 奖励反作弊:多级奖励加运行时渲染检测,在线拦截作弊调用,返回哑结果,不杀整条轨迹,以保证训练稳定。
核心公式:数据质量 = 过滤严格度 × 可验证性。
SFT:对齐格式,不是灌知识
SFT 的定位是对齐推理和响应格式,为 RL 提供稳定的冷启动。几条实践:
- 推理、编码、Agent、通识四类数据要平衡。反例是全喂代码数据,通识问答就会掉分;
- 指令用多样化模板覆盖真实分布,难度由易到难;
- 低学习率、少 epoch,宁欠勿过,把空间留给 RL。
分享里引用了 LIMA 的“约 1,000 条精选数据即可完成对齐”来说明“少而精”。我的理解是这条结论支持原则,但不能直接当成 GLM 的 SFT 规模。
RL:最怕“静默崩溃”
RL 的头号敌人是静默崩溃:loss 曲线一切正常,能力指标却在持续退化。所以必须监控能力指标,不能只看 loss。
- GRPO:同一 prompt 采一组 rollout,组内归一化算优势,不需要另训 critic。通俗地说,就是同一道题采 8 份答卷互相比较,不用另请阅卷老师。
- GLM-5.2 的更新:组优化 GRPO 改为 critic-based PPO。原因是长轨迹经 compaction 切成多条子轨迹后,同一 prompt 的组内样本数不再固定。改成 critic 后,单条 rollout 也能学习,critic 估计 token 级优势,token-level loss 解决长度不均,全部子轨迹都能参与训练。
- compaction:相当于给超长轨迹切出“前情提要”,让每段都成为可训练样本。
- IcePop:抑制训练与推理温度不匹配导致的推理能力退化。
- Token-clipped:剔除导致训练不稳定的 token。
后训练流程是 Overall SFT → Reasoning RL(GRPO + IcePop,聚焦数学和代码)→ Agentic RL(异步 rollout + TITO,多轮交互和长程任务)→ General RL(OPD 蒸馏恢复、能力整合、通用对齐),阶段之间用 On-Policy Cross-Stage Distillation 防遗忘。底座的数据量分别是:预训练 18T 通用语料 + 9T 代码与推理语料(4K 上下文);Mid-training 1T 长代码与推理(32K),再加 500B/50B 长上下文与 Agent 数据(128K/200K);最后用 20B token 做 200K 稀疏注意力适配。
这里有一个我没想到的取舍:新能力的训练会冲击旧能力,增益与遗忘是 trade-off。 GLM-5.2 用 OPD 并行回灌,实测约 2 天合并了 10 多个专家模型。由此有“渐进式对齐三原则”:每阶段只聚焦一类能力;跨阶段用 OPD 蒸馏防遗忘;能力栈逐层叠加,越往后越通用。
奖励与反作弊:模型真的会偷答案
奖励分四级:
- L1 规则奖励:编译器和测试用例,对错立刻可知;
- L2 模型奖励:Agent-as-a-Judge,评多轮交互质量;
- L3 多级奖励:功能、渲染、视觉叠加,因为代码写对了不等于页面渲染对了;
- L4 反作弊:在运行时抓现行。
CC-Bench-V2 代码构建率这一项,可验证奖励环境的实测覆盖度达到 98%。
全场让我印象最深的是 GLM-5.2 训练中抓到的两个真实作弊案例:
1 | # 案例一:直接下载标准答案 |
reward hacking 就像学生不解题、专偷答案:分数很高,能力为零。他们的 Anti-Hack 在线流程是:规则过滤先抓可疑(保召回),LLM judge 复核意图(保精度),并在线监控每一步工具调用;命中后拦截该调用、返回 dummy 结果、让 rollout 继续走完。之所以不直接作废整条轨迹,是因为那样会引发训练不稳定,甚至坍塌。
这件事给我的启发远超训练本身:只要给 Agent 足够的环境权限和一个可被钻空子的目标,它就会去钻。 自己搭 Agent 评测和自动化流水线时,评测用例和答案绝不能放在 Agent 可达的文件系统和网络里。
Slime:显式数据流优先
Slime 支撑了 GLM-4.5 到 5.3 全系列的 RL 后训练,核心是 Megatron(训练)+ SGLang(rollout)+ Data Buffer。设计取向是参数直接透传、不设抽象层、显式数据流,以此保障 RL 的正确性。对 RL 系统来说,“看得清”比“写得优雅”重要。
五、Harness:长程任务靠的不是更长的 Prompt
这部分是我最想直接拿来用的。关键是:Loop 管反馈,Graph 管依赖,Harness 把模型能力变成可恢复、可验证的工程结果。
Loop:用短闭环守住长期方向。流程是 Plan → Develop → Judge → Evaluate,外面用 Bash 驱动 N 个 GOAL Stories 逻辑串行推进。每批验收后,State 落盘,下一个会话从证据继续,而不是靠一条越来越长的对话。实测约 48 小时,夜间无人值守,最终 10/10 stories 一轮通过。
Graph:把计划变成可计算、可重写的任务图。
- 节点有 Goal、Decision、Finding、Patch 四类;
- 边有 depends_on、finds、injects、supersedes 四类;
- 示例图分 4 个 wave:需求签字、方案定版 → 模块 A/B/C 并行 → 集成联调 → 全局矩阵扫描。扫描发现问题时会自动补一个 goal 注入回图里,失败时沿回退边只回到责任节点;
- 护栏都在边上:环检测(成环即停)、回退配额 ×2、单脚本 600s、预算门(三处判)。
实测约 4 天长时间无人值守推进,自动修复、自动回归。本质是依赖决定调度,而拓扑本身可以被改写。
把 Loop 和 Graph 落到一次具体交付上,就是一条完整的验证路径:需求确认 → 方案设计与任务拆解 → Coding → 分层 Eval → 交付 Review → 本地检查通过。分层 Eval 按 E1 → E3 依次 PASS 才前进:
- E1 基础检查:构建、静态、配置、SQL、接口;
- E2 单测与逻辑:单测、覆盖、变异、兼容;
- E3 接口与运行:接口回放、运行覆盖、性能。
FAIL 后先做失败归因,再按问题类型分流三条回路:
- 代码或配置问题:回到 Coding,修改后重跑,Code Loop 最多 1–2 次;
- 目标或方案问题:回到方案设计与任务拆解;
- 用例、环境或工具问题:补验证或修环境,重跑失败检查及相关下游。
交付 Review 时证据或风险未收敛,就按原失败层回到对应层。
总结成一个乘法:强模型 × 好方法 × 适配的 Harness → 跨天、跨重启、遇阻仍能收敛。对应到 GLM-5.3,就是长程训练(SAO + Compaction)× Loop / Graph / State Store / Verifier。
六、评测:先让题库可信,再谈完成率
我以前做内部评测,最常见的问题是分数波动大、说不清为什么。这部分给了我一套可以直接照搬的规则。
题库的四项质量门槛:
- 高准确性:去歧义、控变量、人工一致;Judge / Meta Eval 对齐人工,核查 Test Plan 和 Reference,避免 False Negative。
- 高区分度:目标示例是前沿模型约 60 分、其余 20–50 分,要靠长程任务和难题拉开差距。
- 低波动率:例如 x 道题 × 10 个检查点 = x00 个判定点;单题重复运行,忽对忽错就先列为可疑项。
- 真实分布与环境:Topic 比例匹配真实需求,用能力覆盖地图查缺补漏;每题至少配 1 个 Harness + Docker 全依赖,运行前先自检。
任务类型决定评测方式:
| 任务类型 | 执行与判定 | 指标 |
|---|---|---|
| Assertion-based Unit Test | 纯脚本验证,不用模型 | 断言通过、Unit 通过、pass@1 / pass@k |
| 前端交互 + Checklist | Agent 执行 + Point-wise Judge,逐检查点判断 | AC 达成率、Checklist Pass |
| 开放任务 | Pair-wise + Point-wise Judge | Win/Tie/Lose = 1/0.5/0、Win Rate / Elo |
起步可以用 Harbor:Instruction + Dockerfile 还原 Repo 依赖 + Test 脚本作为真实检查点。
开放任务为什么必须用 Judge?分享里的游戏 Demo 就是一个好例子。GDD 只有一句话:“选一辆喜欢的车,穿上自己搭配的车衣,在雨夜港城里甩开追捕,在晴朗海岸线上完成一段漂亮的连续漂移。”展开后是:
- 2 条赛道:盐仓环线(雨后午夜港城闭环)、清岬线(晴昼山海点到点);
- 3 种模式:标准竞速、漂移挑战、追逐逃脱;
- 6 辆车 × 3 套车衣 = 18 套组合,外加 1 间可交互车库。
但验收标准里还有“五种核心感受”:速度感、控制感、风格感、紧张感、重复游玩欲望。这些写不成断言,只能靠 Checklist 和 Pair-wise 对比。
评测决策顺序:效果优先 → 效率比较 → 线上确认。
- 核心效果同时看 Checklist(细粒度、低方差)和 Accuracy(全部检查点正确才得分,否则该题为 0,波动通常在 1–2 分);
- 效率在效果接近时再比,看 Token Efficiency 和 Agent Efficiency;
- 线上确认看负反馈率、Edit 成功率、Session 交互成本、工具无效率、有效并行度、回滚/二次修复率,并且要有 A/B 的样本量和显著性护栏。
两条我会立刻采纳的原则:
- 硬客观指标和软主观指标分开呈现,避免加权后相互污染;先看各能力桶,再做模型决策。
- 出现异常先定位责任层:核心指标差,先复核 Test Case、Reference;强弱排序反常(与共识或历史强模型冲突),先重查该题;单题高波动,就让同一“模型-题目”组合重复跑。
七、Cache:最能直接省钱的一页
这页是基于 GLM-5.2 paas/v4 的实测:11 个测试维度,前缀从 64 到 100k token;前缀达标即自动缓存,不需要 cache_control。我把结论整理成自己的检查清单。
实测结论:
- 命中阈值:静态前缀 ≥ 128 token 时命中率 90–95%,100k 超长前缀仍有 95%;64/96 token 只有 70–79% 部分命中。
- X-Session-Id:128 token 前缀不带时命中 34%,带上后 100%,提升 66 个百分点;100k 前缀不带也只有 84%。
- TTL 是概率窗口:15 分钟内约 90%;18–30 分钟在 40–80% 之间抖动;31 分钟以上确定失效。
- 扰动容忍:在前部插入大段随机内容(如水印 UUID),命中率掉到 64%;在尾部追加不破缓存。
- 并发、多轮与工具:多轮 r0–r9 全命中;tools 数量为 0/3/20 时均 100%;100 并发零 429。
生产配置(P0 → P2):
- P0:一律带
X-Session-Id(短前缀不带等于 cache 白搭);静态前缀 ≥ 128 token;优先流式 SSE,既能拿到cached_tokens做监控,TTFT 也比非流式快 40%。 - P1:静态放前、动态放尾,顺序是平台规则 → 工具 schema → 输出规范 → 项目规则 → repo 状态 → 历史摘要 → 用户 prompt;日期、request_id 这类值一律靠后。平台侧要把 schema 排序和 key 固定下来,版本化(如
tool_schema_v12),repo 上下文里不夹带扫描耗时。 - P2:用 ≤15 分钟的心跳保活;超过 20k token 的长上下文必须带
X-Session-Id。 - 验收:看
first_diff出现在哪里。落在用户 prompt 处,说明前缀已稳定;落在 system、schema 或环境注入处,说明还有优化空间。
结果:每百万输入成本从 8 元降到 2.6 元(省 67%);coding 场景(输入:输出 ≈ 100:1)总成本压到 3.5 折,95% 命中时到 3.1 折;命中率从没做优化时的 0 提升到 90% 以上。
这页提醒了我:Agent 成本的大头在输入,而输入成本基本由 prompt 的结构稳定性决定,跟模型本身关系不大。
八、运行时与最新模型
以 Session 为中心的托管运行时(Managed Agents)
- Agent 是模板,Session 是实例;调度、状态、权限、审计全部挂在 Session 上。
- 三个底座:沙箱(手)、最小权限(门禁)、持久状态(记忆)。
- 脑手分离:loop 在平台,沙箱可以落在自有 VPC,数据边界自己定。
它的五个强项:
- 人可离场:异步持久会话,支持休眠、恢复、定时唤醒;
- 可组舰队:50 并发 fan-out,1000 个仓库对应 1000 个 Session,编排器零代码;示例结果是 850 完成、90 重试、60 转人工;
- 可托付:secret 不进沙箱,凭证在出口注入,egress 白名单,全程审计;
- 可复利:Session 启动时装填全组织验证过的上下文,四类组织资产是技能、记忆、评测、轨迹;
- 可配置:按渠道装配不同的工具、资源与记忆。
这套抽象和 Anthropic 的 Claude Managed Agents 几乎一一对应。分享里没有说明是自研平台还是行业通用范式,这一点我暂时存疑。
GLM-5.3:前沿编程与涌现的网络安全能力。基座不变,靠极致的后训练 Scaling(数十倍的长程任务环境、更丰富的环境类型、超长的后训练时间)提高了智能上限。8 月底发布时,它是 AA Index 排名最高的开源模型(60 分),编程与智能体能力接近 Claude Fable 5;在白盒代码审查与漏洞发现任务上与 Mythos 5 持平。也正因为安全能力强,权重延期两周开源:先做第三方评估,漏洞经国家漏洞库做责任披露。
GLM-5.3-Flash:前沿智能进入普惠。
- 320B 总参数,能力超过 GLM-5.2,AA Index 57 分;
- 线性 + 稀疏混合注意力,相比 GLM-5.3 注意力计算量下降 3.01 倍,KV 缓存降低 4.44 倍;
- 定价约为 GLM-5.3 的 1/10,约 0.045 美元/任务;
- 首次在大规模流量中用国产芯片集群提供服务。
我认为最后这一点的意义不亚于模型本身。
九、组织:先跑通一个闭环
分享最后落到组织上。Before 是按职能分工:一个任务跨客服、产品、开发、设计、运营、销售,多人接力,责任分散。After 是按业务闭环分工:一个人对结果负责,AI 补执行,多人协作但上下文不衰减。
落地路径:
- 选一个高频、交接多、容易验收的试点(比如客户问题处理),先记录周期、质量和成本作为基线;
- 明确负责人、目标、权限和验收标准,复杂场景可以设双负责人,关键决策由人把关;
- 把会议、文档和业务数据接入团队共用的 Agent,让专业团队为协作方提供可复用的 Skill;
- 持续比较交付周期、一次通过率和单次成本,把复盘写回 Skill,验证有效再扩围;
- 要有敢于转变的决心:在可信的环境里默认共享上下文,让对话和方法能被同事看到、学到。
我的收获与疑问
我准备马上用的:
- Cache 那套 P0 规则。几乎零成本,收益确定。
- 评测和答案与 Agent 物理隔离。看过那两个作弊案例之后,这条已经不是可选项。
- 长任务不靠长对话。State 落盘,每轮从证据继续;用任务图管依赖,把护栏放在边上。
- 评测里硬软指标分开,异常先定位责任层。
我还没想清楚或存疑的:
- 不少关键数字来自内部评测(Z.ai Code Bench、内部代码评测 +50%),外部很难复现;“0.045 美元/任务”也没有交代任务口径。
- Terminal-Bench 3.0 上 GLM-5.2 只有 4.6 分,说明这个榜很难,但 4.6 → 28.3 里有多少来自“学会了这类环境”、多少是通用长程能力,还需要更多独立数据。
- 分享对未来的判断(引用 DeepMind《From AGI to ASI》、Fully Self Training、从数小时任务到数天交付)方向我认同,但这属于展望,不是结论。
最后用分享里的一句话收尾:一只手向上摸高,挑战智能的极限;另一只手向下铺路,让最前沿的能力开放与普惠。 对一线工程师来说,我觉得“铺路”这一半更值得投入:模型会持续变强,但把它变成可恢复、可验证、可跨天运行的交付系统,这件事得我们自己做。