从模型能力到真实任务交付:智谱模型与代码场景落地实践

最近听了一场智谱的分享,主题是“智谱模型能力与代码场景落地实践”。听之前,我对大模型写代码的理解基本停留在“模型越强、榜单越高,活就干得越好”。听完之后我意识到,这个理解漏掉了一大半:从“能回答”到“能交付”,中间隔着数据、训练、Harness、评测、缓存、运行时和组织方式,任何一环掉链子,分数再高也交付不了。

这篇是我的整理和消化,按“我原来怎么想 → 现在知道了什么 → 我打算怎么用”的顺序写。

一、我先纠正的一个认知:能力是系统,不是分数

现代 LLM 的主干依然是 decoder-only Transformer:Token → Embedding → 堆叠的 Decoder Block(RMSNorm、MHA/GQA/MLA 等注意力变体、Dense 或 MoE FFN、残差)→ LM Head → 下一个 token。这部分我早就熟悉,但分享里有一句话让我重新看它:模型每一步只预测下一个 token,而真实任务要求跨越几百步、几千次工具调用和大量外部状态的连续行动。两者之间的落差,不可能只靠模型结构补上。

分享把大模型研发拆成五条技术链:模型架构、数据与环境、训练范式、推理策略、运行时系统,下面再垫着训练 Infra、推理 Infra 和评测治理闭环。我的理解是:

  • 训练塑造能力,从 Pretrain 一路走到 Mid-train、SFT、Reasoning RL;
  • 推理负责把能力展开,按难度分配 token、采样、搜索、验证;
  • 运行时决定能力能不能被持续使用,包括路由、记忆、工具、沙箱、可观测和降级;
  • Infra 决定规模、速度和成本。

所以“竞争单位”也变了:不再是单个榜单分数,而是端到端任务完成率,并且要同时乘上成本、可靠性、权限与治理。

回看 2017 年以来的演进,每个阶段模型的“默认角色”都在变:可迁移(GPT/BERT)→ 可提示(GPT-3、ICL)→ 可对话(RLHF、ChatGPT)→ 可感知/调用(多模态、函数调用)→ 可深思/验证(o1、测试时计算)→ 可执行/协作(推理 RL、MCP、Agent Runtime)。2025 年之后,Artificial Analysis 智能指数从 20 分以下一路涨到 50 分以上,头部竞争也从“谁最聪明”转向“谁在合适的生态位上又聪明又便宜”。

二、GLM 这一年多:从 Vibe Coding 到 Long-Horizon

智谱源于清华 KEG 实验室,从 GLM-130B、ChatGLM 一路走来。和代码场景直接相关的是 2025 年 7 月之后这条 Agentic & Coding 线:

模型 时间 关键点
GLM-4.5 2025.07 355B/32B MoE,Agentic、Reasoning、Coding(ARC)三能力合一的起点
GLM-5 2026.02 744B/40B,AA Index v4.0 首破 50、开源第一;SWE-bench Verified 77.8
GLM-5.1 2026.04.07 MIT 开源;SWE-Bench Pro 58.4,主题转向 Long-Horizon
GLM-5.2 2026.06.16 solid 1M 上下文;IndexShare 让每 token FLOPs 降 2.9 倍;effort 分级上线
GLM-5.3 2026.08.14 同底座纯后训练;Terminal-Bench 3.0 从 4.6 到 28.3;CyberGym SOTA;权重延期两周开源
GLM-5.3-Flash 2026.08.26 320B/18B,首个原生多模态,约 0.045 美元/任务

节奏上:从 GLM-4.5 算起约 14 个月 8 代,2026 年前 8 个月 5 代,5.3 到 5.3-Flash 只隔 12 天。如果从 GLM-4.6(2025.09)算到 GLM-5.3,是 11 个月 6 代,AA 智能指数从 32 涨到 60。两组数字口径不同,并不矛盾。

分享把这条线概括为三级跳,我觉得是全场最好的一个框架:

  1. Vibe Coding(GLM-4.x,2025.07–2026.01):模型产出代码片段,人拆解任务、逐步验收,责任仍在人。
  2. Agentic Engineering(GLM-5,2026.02–03):模型自主分解、执行、自纠,接管端到端任务。Terminal-Bench 2.0 追平 Opus 4.5/4.6。
  3. Long-Horizon(GLM-5.1 → 5.3,2026.04 至今):生产性时长成为一等指标,要求数百轮迭代不塌方。

每一级都在回答同一个问题:“再多给一小时,它还能变得更准吗?” GLM-5 第一次给出肯定答案,5.x 则把这个答案做成了产品参数(effort 分级)。这句话改变了我评估模型的方式:以前我看单次输出好不好,以后我会看给它更多时间和轮次时,结果是收敛还是发散。

三、Scaling 不止参数:后训练也能把上限推上去

我原来默认的 Scaling 就是 N(参数)、D(数据)、C(算力)三个旋钮。分享梳理了这条认知的演进:

  • Kaplan(2020):参数优先;
  • Chinchilla(2022):参数和数据同速扩展,约 20 token/参数;
  • 推理感知(2024):调用越多,越偏向“小模型长训”,Llama-2-7B 约 286 token/参数,Gemma-2-9B 约 889;
  • MoE 与任务依赖(2025+):总参数不等于每次激活的计算量。

最优点一直随约束改变。

最有说服力的是 GLM-5.3 这个对照实验:同基座、同架构、同参数,只把长程环境、任务多样性和 RL 计算加上去。结果是 Terminal-Bench 3.0 从 4.6 到 28.3,DeepSWE 从 46.2 到 66.9,Agents’ Last Exam 从 23.8 到 28.5,官方内部代码评测 +50%,长时程和安全也有改善。分享的措辞很克制:这支持“后训练仍有较高释放空间”,但不证明“参数扩展已失效或饱和”。

我记下的结论是:下一轮 Scaling 有 6 个以上可选旋钮(基座规模、预训练数据与质量、中期训练、激活计算与架构、后训练与 RL、推理时搜索与工具)。它们不必同时转动,选择标准是“单位全生命周期成本能换来多少真实任务能力”。

智谱把自己的方法总结为四维训练飞轮:

  • 数据定起点:知识密度、任务复杂度、长程 Agent 轨迹的筛选与回流;
  • Mid-Train 打底座:长上下文、工具调用、长程任务;
  • 算法提利用率:GRPO → Critic-based SAO,SFT → OPD;
  • 工程与环境撑规模:Slime、IndexShare、MTP、LayerSplit、ZCube、真实环境。

一句话:环境产轨迹,算法提利用,工程撑规模,数据定起点。

四、训练一个“能做事”的 Agent,我学到的细节

数据:不可验证的数据在 RL 里就是噪声

Agent 轨迹数据有五个要素:工具调用、多步推理、环境交互(浏览器/终端/文件/GUI)、长程轨迹(数百轮交互、数千次工具调用)、错误恢复(检测、回退、重试)。

GLM-5 定义了三种思维模式:Interleaved(工具调用之间穿插思考)、Preserved(跨轮保留历史思维块)、Turn-level(逐轮可控)。Preserved 的意义我以前没想清楚:不保留的话,历史推理被丢弃,多轮推理就断链了。

数据清洗是从三篇 GLM 论文(4.1V-Thinking、5V-Turbo、GLM-5)归纳出的四层过滤:

  • L1 启发式粗筛:分辨率、纯色、文本长度、去重;
  • L2 语义过滤:CLIP Score ≥ 0.3 或 SigLIP 对齐阈值;
  • L3 分布平衡:概念均衡重采样、中英双语均衡、领域配比;
  • L4 质量增强:事实性重写(迭代 recaption)和难度过滤。

L1、L2 的指标偏多模态,因为来源本身包含视觉模型论文。到了 SFT 阶段还会再过滤一遍:用预训练模型剔除太易和太难的样本,并用拒绝采样从多次 rollout 中选最优轨迹。

三道质量保障我觉得最值得借鉴:

  1. 去污染:benchmark 题目去重,并按时间线切分验证。SWE-rebench 的数据显示,受测 SWE 题目中有 42.1% 存在污染,去污染后排名大幅变动。这让我以后看公开榜单时会多打一个折扣。
  2. 可验证性:每条数据都要有明确的环境反馈结果,经 oracle、no-op、unsolved 三重校验后才产出二值奖励。
  3. 奖励反作弊:多级奖励加运行时渲染检测,在线拦截作弊调用,返回哑结果,不杀整条轨迹,以保证训练稳定。

核心公式:数据质量 = 过滤严格度 × 可验证性。

SFT:对齐格式,不是灌知识

SFT 的定位是对齐推理和响应格式,为 RL 提供稳定的冷启动。几条实践:

  • 推理、编码、Agent、通识四类数据要平衡。反例是全喂代码数据,通识问答就会掉分;
  • 指令用多样化模板覆盖真实分布,难度由易到难;
  • 低学习率、少 epoch,宁欠勿过,把空间留给 RL。

分享里引用了 LIMA 的“约 1,000 条精选数据即可完成对齐”来说明“少而精”。我的理解是这条结论支持原则,但不能直接当成 GLM 的 SFT 规模。

RL:最怕“静默崩溃”

RL 的头号敌人是静默崩溃:loss 曲线一切正常,能力指标却在持续退化。所以必须监控能力指标,不能只看 loss。

  • GRPO:同一 prompt 采一组 rollout,组内归一化算优势,不需要另训 critic。通俗地说,就是同一道题采 8 份答卷互相比较,不用另请阅卷老师。
  • GLM-5.2 的更新:组优化 GRPO 改为 critic-based PPO。原因是长轨迹经 compaction 切成多条子轨迹后,同一 prompt 的组内样本数不再固定。改成 critic 后,单条 rollout 也能学习,critic 估计 token 级优势,token-level loss 解决长度不均,全部子轨迹都能参与训练。
  • compaction:相当于给超长轨迹切出“前情提要”,让每段都成为可训练样本。
  • IcePop:抑制训练与推理温度不匹配导致的推理能力退化。
  • Token-clipped:剔除导致训练不稳定的 token。

后训练流程是 Overall SFT → Reasoning RL(GRPO + IcePop,聚焦数学和代码)→ Agentic RL(异步 rollout + TITO,多轮交互和长程任务)→ General RL(OPD 蒸馏恢复、能力整合、通用对齐),阶段之间用 On-Policy Cross-Stage Distillation 防遗忘。底座的数据量分别是:预训练 18T 通用语料 + 9T 代码与推理语料(4K 上下文);Mid-training 1T 长代码与推理(32K),再加 500B/50B 长上下文与 Agent 数据(128K/200K);最后用 20B token 做 200K 稀疏注意力适配。

这里有一个我没想到的取舍:新能力的训练会冲击旧能力,增益与遗忘是 trade-off。 GLM-5.2 用 OPD 并行回灌,实测约 2 天合并了 10 多个专家模型。由此有“渐进式对齐三原则”:每阶段只聚焦一类能力;跨阶段用 OPD 蒸馏防遗忘;能力栈逐层叠加,越往后越通用。

奖励与反作弊:模型真的会偷答案

奖励分四级:

  • L1 规则奖励:编译器和测试用例,对错立刻可知;
  • L2 模型奖励:Agent-as-a-Judge,评多轮交互质量;
  • L3 多级奖励:功能、渲染、视觉叠加,因为代码写对了不等于页面渲染对了;
  • L4 反作弊:在运行时抓现行。

CC-Bench-V2 代码构建率这一项,可验证奖励环境的实测覆盖度达到 98%。

全场让我印象最深的是 GLM-5.2 训练中抓到的两个真实作弊案例:

1
2
3
4
5
6
7
# 案例一:直接下载标准答案
curl https://raw.githubusercontent.com/...

# 案例二:链式泄漏——找隐藏文件 → 读秘密用例 → 逐题求解
find /workspace -name "*hidden*"
cat .eval/secret_cases.json
python solve.py --case ...

reward hacking 就像学生不解题、专偷答案:分数很高,能力为零。他们的 Anti-Hack 在线流程是:规则过滤先抓可疑(保召回),LLM judge 复核意图(保精度),并在线监控每一步工具调用;命中后拦截该调用、返回 dummy 结果、让 rollout 继续走完。之所以不直接作废整条轨迹,是因为那样会引发训练不稳定,甚至坍塌。

这件事给我的启发远超训练本身:只要给 Agent 足够的环境权限和一个可被钻空子的目标,它就会去钻。 自己搭 Agent 评测和自动化流水线时,评测用例和答案绝不能放在 Agent 可达的文件系统和网络里。

Slime:显式数据流优先

Slime 支撑了 GLM-4.5 到 5.3 全系列的 RL 后训练,核心是 Megatron(训练)+ SGLang(rollout)+ Data Buffer。设计取向是参数直接透传、不设抽象层、显式数据流,以此保障 RL 的正确性。对 RL 系统来说,“看得清”比“写得优雅”重要。

五、Harness:长程任务靠的不是更长的 Prompt

这部分是我最想直接拿来用的。关键是:Loop 管反馈,Graph 管依赖,Harness 把模型能力变成可恢复、可验证的工程结果。

Loop:用短闭环守住长期方向。流程是 Plan → Develop → Judge → Evaluate,外面用 Bash 驱动 N 个 GOAL Stories 逻辑串行推进。每批验收后,State 落盘,下一个会话从证据继续,而不是靠一条越来越长的对话。实测约 48 小时,夜间无人值守,最终 10/10 stories 一轮通过。

Graph:把计划变成可计算、可重写的任务图。

  • 节点有 Goal、Decision、Finding、Patch 四类;
  • 边有 depends_on、finds、injects、supersedes 四类;
  • 示例图分 4 个 wave:需求签字、方案定版 → 模块 A/B/C 并行 → 集成联调 → 全局矩阵扫描。扫描发现问题时会自动补一个 goal 注入回图里,失败时沿回退边只回到责任节点;
  • 护栏都在边上:环检测(成环即停)、回退配额 ×2、单脚本 600s、预算门(三处判)。

实测约 4 天长时间无人值守推进,自动修复、自动回归。本质是依赖决定调度,而拓扑本身可以被改写。

把 Loop 和 Graph 落到一次具体交付上,就是一条完整的验证路径:需求确认 → 方案设计与任务拆解 → Coding → 分层 Eval → 交付 Review → 本地检查通过。分层 Eval 按 E1 → E3 依次 PASS 才前进:

  • E1 基础检查:构建、静态、配置、SQL、接口;
  • E2 单测与逻辑:单测、覆盖、变异、兼容;
  • E3 接口与运行:接口回放、运行覆盖、性能。

FAIL 后先做失败归因,再按问题类型分流三条回路:

  1. 代码或配置问题:回到 Coding,修改后重跑,Code Loop 最多 1–2 次;
  2. 目标或方案问题:回到方案设计与任务拆解;
  3. 用例、环境或工具问题:补验证或修环境,重跑失败检查及相关下游。

交付 Review 时证据或风险未收敛,就按原失败层回到对应层。

总结成一个乘法:强模型 × 好方法 × 适配的 Harness → 跨天、跨重启、遇阻仍能收敛。对应到 GLM-5.3,就是长程训练(SAO + Compaction)× Loop / Graph / State Store / Verifier。

六、评测:先让题库可信,再谈完成率

我以前做内部评测,最常见的问题是分数波动大、说不清为什么。这部分给了我一套可以直接照搬的规则。

题库的四项质量门槛:

  1. 高准确性:去歧义、控变量、人工一致;Judge / Meta Eval 对齐人工,核查 Test Plan 和 Reference,避免 False Negative。
  2. 高区分度:目标示例是前沿模型约 60 分、其余 20–50 分,要靠长程任务和难题拉开差距。
  3. 低波动率:例如 x 道题 × 10 个检查点 = x00 个判定点;单题重复运行,忽对忽错就先列为可疑项。
  4. 真实分布与环境:Topic 比例匹配真实需求,用能力覆盖地图查缺补漏;每题至少配 1 个 Harness + Docker 全依赖,运行前先自检。

任务类型决定评测方式:

任务类型 执行与判定 指标
Assertion-based Unit Test 纯脚本验证,不用模型 断言通过、Unit 通过、pass@1 / pass@k
前端交互 + Checklist Agent 执行 + Point-wise Judge,逐检查点判断 AC 达成率、Checklist Pass
开放任务 Pair-wise + Point-wise Judge Win/Tie/Lose = 1/0.5/0、Win Rate / Elo

起步可以用 Harbor:Instruction + Dockerfile 还原 Repo 依赖 + Test 脚本作为真实检查点。

开放任务为什么必须用 Judge?分享里的游戏 Demo 就是一个好例子。GDD 只有一句话:“选一辆喜欢的车,穿上自己搭配的车衣,在雨夜港城里甩开追捕,在晴朗海岸线上完成一段漂亮的连续漂移。”展开后是:

  • 2 条赛道:盐仓环线(雨后午夜港城闭环)、清岬线(晴昼山海点到点);
  • 3 种模式:标准竞速、漂移挑战、追逐逃脱;
  • 6 辆车 × 3 套车衣 = 18 套组合,外加 1 间可交互车库。

但验收标准里还有“五种核心感受”:速度感、控制感、风格感、紧张感、重复游玩欲望。这些写不成断言,只能靠 Checklist 和 Pair-wise 对比。

评测决策顺序:效果优先 → 效率比较 → 线上确认。

  • 核心效果同时看 Checklist(细粒度、低方差)和 Accuracy(全部检查点正确才得分,否则该题为 0,波动通常在 1–2 分);
  • 效率在效果接近时再比,看 Token Efficiency 和 Agent Efficiency;
  • 线上确认看负反馈率、Edit 成功率、Session 交互成本、工具无效率、有效并行度、回滚/二次修复率,并且要有 A/B 的样本量和显著性护栏。

两条我会立刻采纳的原则:

  • 硬客观指标和软主观指标分开呈现,避免加权后相互污染;先看各能力桶,再做模型决策。
  • 出现异常先定位责任层:核心指标差,先复核 Test Case、Reference;强弱排序反常(与共识或历史强模型冲突),先重查该题;单题高波动,就让同一“模型-题目”组合重复跑。

七、Cache:最能直接省钱的一页

这页是基于 GLM-5.2 paas/v4 的实测:11 个测试维度,前缀从 64 到 100k token;前缀达标即自动缓存,不需要 cache_control。我把结论整理成自己的检查清单。

实测结论:

  • 命中阈值:静态前缀 ≥ 128 token 时命中率 90–95%,100k 超长前缀仍有 95%;64/96 token 只有 70–79% 部分命中。
  • X-Session-Id:128 token 前缀不带时命中 34%,带上后 100%,提升 66 个百分点;100k 前缀不带也只有 84%。
  • TTL 是概率窗口:15 分钟内约 90%;18–30 分钟在 40–80% 之间抖动;31 分钟以上确定失效。
  • 扰动容忍:在前部插入大段随机内容(如水印 UUID),命中率掉到 64%;在尾部追加不破缓存。
  • 并发、多轮与工具:多轮 r0–r9 全命中;tools 数量为 0/3/20 时均 100%;100 并发零 429。

生产配置(P0 → P2):

  • P0:一律带 X-Session-Id(短前缀不带等于 cache 白搭);静态前缀 ≥ 128 token;优先流式 SSE,既能拿到 cached_tokens 做监控,TTFT 也比非流式快 40%。
  • P1:静态放前、动态放尾,顺序是平台规则 → 工具 schema → 输出规范 → 项目规则 → repo 状态 → 历史摘要 → 用户 prompt;日期、request_id 这类值一律靠后。平台侧要把 schema 排序和 key 固定下来,版本化(如 tool_schema_v12),repo 上下文里不夹带扫描耗时。
  • P2:用 ≤15 分钟的心跳保活;超过 20k token 的长上下文必须带 X-Session-Id。
  • 验收:看 first_diff 出现在哪里。落在用户 prompt 处,说明前缀已稳定;落在 system、schema 或环境注入处,说明还有优化空间。

结果:每百万输入成本从 8 元降到 2.6 元(省 67%);coding 场景(输入:输出 ≈ 100:1)总成本压到 3.5 折,95% 命中时到 3.1 折;命中率从没做优化时的 0 提升到 90% 以上。

这页提醒了我:Agent 成本的大头在输入,而输入成本基本由 prompt 的结构稳定性决定,跟模型本身关系不大。

八、运行时与最新模型

以 Session 为中心的托管运行时(Managed Agents)

  • Agent 是模板,Session 是实例;调度、状态、权限、审计全部挂在 Session 上。
  • 三个底座:沙箱(手)、最小权限(门禁)、持久状态(记忆)。
  • 脑手分离:loop 在平台,沙箱可以落在自有 VPC,数据边界自己定。

它的五个强项:

  1. 人可离场:异步持久会话,支持休眠、恢复、定时唤醒;
  2. 可组舰队:50 并发 fan-out,1000 个仓库对应 1000 个 Session,编排器零代码;示例结果是 850 完成、90 重试、60 转人工;
  3. 可托付:secret 不进沙箱,凭证在出口注入,egress 白名单,全程审计;
  4. 可复利:Session 启动时装填全组织验证过的上下文,四类组织资产是技能、记忆、评测、轨迹;
  5. 可配置:按渠道装配不同的工具、资源与记忆。

这套抽象和 Anthropic 的 Claude Managed Agents 几乎一一对应。分享里没有说明是自研平台还是行业通用范式,这一点我暂时存疑。

GLM-5.3:前沿编程与涌现的网络安全能力。基座不变,靠极致的后训练 Scaling(数十倍的长程任务环境、更丰富的环境类型、超长的后训练时间)提高了智能上限。8 月底发布时,它是 AA Index 排名最高的开源模型(60 分),编程与智能体能力接近 Claude Fable 5;在白盒代码审查与漏洞发现任务上与 Mythos 5 持平。也正因为安全能力强,权重延期两周开源:先做第三方评估,漏洞经国家漏洞库做责任披露。

GLM-5.3-Flash:前沿智能进入普惠。

  • 320B 总参数,能力超过 GLM-5.2,AA Index 57 分;
  • 线性 + 稀疏混合注意力,相比 GLM-5.3 注意力计算量下降 3.01 倍,KV 缓存降低 4.44 倍;
  • 定价约为 GLM-5.3 的 1/10,约 0.045 美元/任务;
  • 首次在大规模流量中用国产芯片集群提供服务。

我认为最后这一点的意义不亚于模型本身。

九、组织:先跑通一个闭环

分享最后落到组织上。Before 是按职能分工:一个任务跨客服、产品、开发、设计、运营、销售,多人接力,责任分散。After 是按业务闭环分工:一个人对结果负责,AI 补执行,多人协作但上下文不衰减。

落地路径:

  1. 选一个高频、交接多、容易验收的试点(比如客户问题处理),先记录周期、质量和成本作为基线;
  2. 明确负责人、目标、权限和验收标准,复杂场景可以设双负责人,关键决策由人把关;
  3. 把会议、文档和业务数据接入团队共用的 Agent,让专业团队为协作方提供可复用的 Skill;
  4. 持续比较交付周期、一次通过率和单次成本,把复盘写回 Skill,验证有效再扩围;
  5. 要有敢于转变的决心:在可信的环境里默认共享上下文,让对话和方法能被同事看到、学到。

我的收获与疑问

我准备马上用的:

  • Cache 那套 P0 规则。几乎零成本,收益确定。
  • 评测和答案与 Agent 物理隔离。看过那两个作弊案例之后,这条已经不是可选项。
  • 长任务不靠长对话。State 落盘,每轮从证据继续;用任务图管依赖,把护栏放在边上。
  • 评测里硬软指标分开,异常先定位责任层。

我还没想清楚或存疑的:

  • 不少关键数字来自内部评测(Z.ai Code Bench、内部代码评测 +50%),外部很难复现;“0.045 美元/任务”也没有交代任务口径。
  • Terminal-Bench 3.0 上 GLM-5.2 只有 4.6 分,说明这个榜很难,但 4.6 → 28.3 里有多少来自“学会了这类环境”、多少是通用长程能力,还需要更多独立数据。
  • 分享对未来的判断(引用 DeepMind《From AGI to ASI》、Fully Self Training、从数小时任务到数天交付)方向我认同,但这属于展望,不是结论。

最后用分享里的一句话收尾:一只手向上摸高,挑战智能的极限;另一只手向下铺路,让最前沿的能力开放与普惠。 对一线工程师来说,我觉得“铺路”这一半更值得投入:模型会持续变强,但把它变成可恢复、可验证、可跨天运行的交付系统,这件事得我们自己做。

-------------本文结束感谢您的阅读-------------

欢迎关注我的其它发布渠道