微信 AI 的 LLM 研究
Hidden Decoding at Scale：面向前沿大模型的潜空间计算扩展
本页目录
在上一篇博客中，我们介绍了 Hidden Decoding 的核心思想：在不增加 Transformer 主体参数的前提下，通过复制多份 Vocab Embedding 将序列长度扩展 $n$ 倍，使每个 token 在单次前向传播中获得 $n$ 倍的有效计算量，并在 6B、8B 以及 80B 等多个规模上验证了 loss 下降与评测提升。本文是它的进阶篇：我们把 Hidden Decoding 推进到前沿规模（100B+ MoE），训练出 WeLM-HD4-80B 与 WeLM-HD4-617B（$n=4$），在完全对齐的对照实验中全面超过各自的自回归基线，并给出让这一方法在超大模型上真正可训、可服务的关键工程设计。本工作的正式论文见 Tencent/Sequential-Hidden-Decoding。
以下是本文的两个核心结论：
- 前沿规模的训练扩展：据我们所知，这是首个在 100B+ MoE 规模、通过继续预训练（CPT）实现的序列长度扩展（sequence-length scaling），这一规模是此前的深度循环（looped）或长度扩展方法难以触及的。
- Stream-Factorized Attention 让扩展在大模型上可训：多数层只在同一条 stream 内做注意力、仅少数层跨 stream 混合，把扩展带来的注意力开销从 $O(n^2)$ 降到接近线性，从而让 Hidden Decoding 得以在 100B+ MoE 上以可接受的训练与服务成本落地。
图 1：左：Hidden Decoding 把每个 token 沿序列展开为多条 stream（图示扩展倍率为 2），单次前向处理，仅在每个 token 的最后一条 stream（$E_2/h_2$）计算损失，前面的 stream（$E_1/h_1$）作为潜空间中间计算、不计损失；右：WeLM-HD4-80B 与 WeLM-HD4-617B 在相同的早期 SFT-only 后训练下，相对各自匹配的自回归基线（WeLM-80B / WeLM-617B）的提升幅度 $\Delta$
前沿规模 MoE 结果
为检验 Hidden Decoding 能否强化我们部署的最大模型，我们对每个 WeLM MoE checkpoint 比较两种形态——除 Hidden Decoding 外一切相同：WeLM-80B （3B激活）vs. WeLM-HD4-80B、WeLM-617B （23B激活）vs. WeLM-HD4-617B。两者随后用同一套早期 SFT-only 后训练配方（短 SFT、无 RL）适配，因此这是一个对Hidden Decoding 方法的单变量消融。
| Benchmark | 80B MoE | 617B MoE | External | ||
|---|---|---|---|---|---|
| WeLM-80B | WeLM-HD4-80B | WeLM-617B | WeLM-HD4-617B | Kimi K2.6 (1T-A32B) | |
| GPQA Diamond | 87.6 | 88.8 | 89.1 | 91.2 | 90.4 |
| HLE† | 27.4 | 28.4 | 33.6 | 35.4 | 36.9 |
| MMMLU | 84.4 | 85.6 | 86.4 | 87.5 | 88.0 |
| FrontierMath* | 45.8 | 49.0 | 49.0 | 51.0 | 53.2 |
| PHYBench | 69.8 | 73.8 | 75.3 | 76.3 | 74.0 |
| MathArena Apex | 16.4 | 20.1 | 24.2 | 24.7 | 23.8 |
| HMMT‡ | 93.3 | 94.1 | 96.0 | 96.2 | 96.0 |
| IMO-AnswerBench | 85.0 | 85.3 | 87.5 | 88.5 | 91.5 |
| SciCode | 45.8 | 50.0 | 51.4 | 52.1 | 50.7 |
表 1：早期 SFT-only 结果。每个 WeLM-HD4 模型（高亮）都与其匹配的自回归对照在同一套短 SFT 配方（无 RL）下比较；HD4 表示 $n=4$ 的 Hidden Decoding，每 token 的激活 Transformer 参数保持不变（80B 为 3B，617B 为 23B）。Kimi K2.6 作为主流前沿模型的绝对分参照列出。本表所有数字均为自测结果。*FrontierMath 使用公开的 Tiers 1–4 样例题（epoch.ai/frontiermath/tiers-1-4/benchmark-problems）。†HLE 为 no-tools、text-only 设置。‡HMMT 为 2025 年 2 月、2025 年 11 月与 2026 年 2 月三个测试集的加权平均。
Hidden Decoding 在两个规模上都提升了全部九个共享 benchmark。最大的收益出现在困难的数学与科学任务上：WeLM-HD4-80B 在 SciCode +4.2、PHYBench +4.0、FrontierMath +3.2；WeLM-HD4-617B 在 GPQA Diamond +2.1、HLE +1.8。我们同时列出相同测试setting下对 Kimi K2.6（1T 总参、32B 激活）的测试结果作为主流前沿模型的绝对分参照 (Moonshot AI 2026)：WeLM-HD4-617B 在 GPQA Diamond、PHYBench、MathArena Apex、HMMT、SciCode 上更高。这些结果表明 Hidden Decoding 可以扩展到前沿规模的 MoE 并在不增加主干参数的情况下提升它，而这正是循环模型难以施展的规模区间。
我们将 WeLM-HD4-617B-Base 的基座放到外部模型的基座参照中。我们主要关注同一主干、同数据、同训练配置下的「自回归 vs. HD」对比。
| Benchmark | WeLM-617B-Base | WeLM-HD4-617B-Base | DS-V3.2 671B-A37B | K2 1T-A32B | Qwen3.5 397B-A17B |
|---|---|---|---|---|---|
| MMLU | 89.80 | 90.40 | 88.11 | 87.38 | 88.61 |
| MMLU-Pro | 71.00 | 72.80 | 62.82 | 67.64 | 76.01 |
| MMLU-Redux | 89.81 | 90.94 | 87.29 | 86.65 | 89.09 |
| SuperGPQA | 55.70 | 57.60 | 43.46 | 44.86 | 57.96 |
| C-Eval | 92.20 | 92.80 | 90.48 | 91.82 | 91.82 |
| BBH | 92.41 | 93.07 | 86.03 | 89.11 | 90.98 |
| KoRBench | 52.08 | 54.88 | 54.00 | 53.84 | 54.08 |
| CRUX-Input | 86.00 | 91.75 | 63.25 | 70.50 | 71.13 |
| CRUX-Output | 89.38 | 91.13 | 73.88 | 77.13 | 82.38 |
表 2：基座模型参照。WeLM 各列采用我们在指令微调或 RL 之前的基座模型评测协议；其中匹配的 WeLM-617B-Base vs. WeLM-HD4-617B-Base 给出受控的「自回归 vs. HD」对比，外部数字则摘自 Qwen3.5 报告的基座模型表格 (Qwen Team 2026)，用于提供绝对分参照。
在后训练之前，Hidden Decoding 就已在两个规模上带来收益：full-suite 平均在 80B 上 +0.99、在 617B 上 +1.03，较大的提升出现在 SuperGPQA、MMLU-Pro 等更难的推理与知识任务上，并在相同的轻量后训练后得以保持。
方法回顾与新增设计
多流扩展与训练目标
给定输入序列 $X=(x_1,\dots,x_L)$ 与 $n$ 个 embedding 表 $E_1,\dots,E_n$，我们在物理位置 $t=(i-1)n+k$ 处放入第 $i$ 个 token 的第 $k$ 条 stream 表征，构成长度为 $nL$ 的扩展序列： $$ S_t = E_k(x_i), \quad 1 \le i \le L,\ 1 \le k \le n. $$ 扩展序列在标准因果注意力与连续 RoPE 位置下送入同一个 Transformer。训练时只监督每个 token 的最后一条 stream $E_n(x_i)$：从它的隐状态经共享 LM Head 预测 $x_{i+1}$，前 $n-1$ 条 stream 不接收任何直接损失，充当逐步精炼表征的「潜空间中间计算」。关于「仅监督最后一流」相对 all-token loss / sum 的优势，以及周期性复制初始化（Cyclic Replication Initialization）的渐进式扩展 $1\to2\to4\to8$，详见上一篇博客。
Stream-Factorized Attention
保留所有层的跨 stream full attention 会让注意力成本按 $O(n^2)$ 增长，对长序列的大模型而言训练不可行。为此我们提出 Stream-Factorized Attention：让大多数层只在同一条 stream 内做注意力，只有少数层跨 stream 混合。
对扩展序列中的位置 $t$，定义其 token 索引与 stream 索引： $$ i(t)=\lceil t/n \rceil, \quad s(t)=(t-1)\bmod n + 1. $$ 据此，intra-stream 层只关注同一条 stream 中更早的位置，成本为 $O(nL^2)$；cross-stream 层则额外跨 stream 关注，沿用基座模型原本的注意力形态（滑动窗口，或在基座使用全注意力时为全注意力）。
图 2：Stream-Factorized Attention 的三种注意力掩码。(a) full cross-stream 层用标准因果（下三角）掩码；(b) local cross-stream 层用因果滑动窗口掩码；(c) intra-stream 层在每条 stream 内因果、stream 之间互不可见。大多数层为 (c)，仅少数层启用 (a) 或 (b) 的跨 stream 混合。
设计上，绝大多数层为 intra-stream，只有一小部分层启用cross-stream 注意力，而且不新增注意力层：我们对全部的local attention 层与一小部分full attention层启用cross-stream 注意力。由于避免了在整条 $nL$ 序列上做稠密注意力，新增的注意力成本从 $n^2$ 量级降到接近线性的 $n$ 量级——这正是让 Hidden Decoding 能在 100B+ MoE 上训练的关键。此外，这种「大多数层保持单流因果路径、仅少数层引入跨 stream 扰动」的布局，也让 CPT 更贴近起始的自回归 checkpoint，起步更平滑。
KV保留 与 KV-mirror 加速
保留中间流 KV：Hidden Decoding 默认为每条 stream 保留独立的 KV 缓存，后续位置因此能利用更早的中间 stream 产生的计算。我们在消融与可解释性章节中进行了消融。此外，我们通过引入 stream parallel 将 intra-stream KV sharding 到不同 rank 上，降低了 KV 的存储与访存压力。
KV-mirror加速训练：我们的 WeLM 主干采用 KV-mirror 设计 (WeChat AI 2026)——后段的每一层不再从本层输入计算 K/V，而是复用前段某一层的隐状态（层间以 U 形配对，后 1/3 层镜像前 1/3 层）。由于镜像层的 K/V 只依赖早期层的隐状态，而且只有最后一条 stream 被监督、中间 stream 只通过它们贡献的 K/V 起作用，在镜像层里这部分上下文早已由前段固定，中间 stream 无需再被处理。因此我们只让最后一条 stream 通过镜像层，前段层仍处理全部 $n$ 条 stream。在 80B、32k 训练设置下，该优化把单 batch 时间从 15s 降到 12s（约 20% 提升，1.25×）。这一节省是 WeLM 特有的，叠加在 Stream-Factorized Attention 已提供的近线性成本之上。
计算成本
训练成本近线性
把每个 token 扩展成 $n$ 条 stream，会把长度 $L$ 的序列变成 $nL$：非注意力计算大致随位置数线性增长，而稠密注意力会按 $O(n^2)$ 膨胀。Stream-Factorized Attention 通过让大多数full attention层保持 intra-stream，避免了这种膨胀，使注意力成本接近 $n$ 的线性。
图 3：$n=4$ 时 HD 相对未扩展基线的单 batch 训练时间：80B（256k→1M）为 5.1×、617B（32k→128k）为 4.4×，接近线性参考（$n=4\times$），远低于稠密注意力的 $n^2=16\times$。
实测印证了上述分析：$4\times$ 的有效序列在 80B 上花费 5.1×、在 617B 上花费 4.4×，接近 $4\times$ 线性参考，远低于 $16\times$ 的稠密注意力。这一近线性成本，正是 WeLM-HD4-617B 可训练的前提。
更重要的是，HD4 并非从零训练，而是在已有的自回归基座 checkpoint 上做增量续训：它只在 HD 起点之后继续训练，无需重跑完整的 8k 预训练阶段。因此，计入 HD 起点之后的训练 token 后，HD4 的总训练成本远低于从零训练完整自回归基座——80B 为 1.07T vs. 20.39T，617B 为 0.90T vs. 17.06T。
| Scale | Run | HD start tokens | 8k pretrain | 32k continuation | 256k continuation | Total |
|---|---|---|---|---|---|---|
| 80B | WeLM-80B-Base | – | 17.81T | 2.01T | 0.57T | 20.39T |
| 80B | WeLM-HD4-80B-Base | 19.32T | 0 | 0.50T | 0.57T | 1.07T |
| 617B | WeLM-617B-Base | – | 14.25T | 2.20T | 0.61T | 17.06T |
| 617B | WeLM-HD4-617B-Base | 15.86T | 0 | 0.59T | 0.30T | 0.90T |
表 5：自回归基座路径与 HD4 续训窗口的训练 token 预算。自回归行统计完整的基座模型训练路径；HD4 行只统计 HD 起点之后的训练。
推理吞吐
相比循环模型，Hidden Decoding 的一大优势是其额外计算是并行的：循环模型逐步重复主干、每步都要等上一步，额外成本无法隐藏；Hidden Decoding 把计算摊到 $n$ 条 stream 上，一次前向并行处理。大 batch 下解码是计算受限的，额外计算会降低吞吐（任何增加计算的方法都如此）；但小 batch 下解码受显存带宽限制、计算大量闲置，并行 stream 恰好利用这些空闲算力。
图 4：WeLM-HD4-80B 的服务吞吐矩阵。每格为 Hidden Decoding 相对匹配的 WeLM-80B 基线（关闭 stream 扩展）的解码完成吞吐（%），在同一输入长度桶与 batch size 下、5 次运行的均值（小字为样本标准差，单位 pp）；两者在同样的 8×H20 上运行，排除 prefill。
消融与可解释性
Hidden Decoding 依赖一个不寻常的选择：只训练最后一条 stream 预测下一个 token，前面的 stream 不接收任何直接损失。主结果说明这一选择能提升准确率，但仅凭准确率还不足以说明中间 stream 究竟起了什么作用——收益可能只是来自更长的序列、更多的预测目标或对 stream 输出的显式聚合。我们用消融与探针来区分这些可能。
注意力组合消融
Stream-Factorized Attention 通过限制昂贵的 full cross-stream 混合来降本，因此我们需要检验：为达到好的准确率，究竟需要多少 full 混合。在 21B MoE（27 层）上，我们让 Hidden Decoding 的三种变体只在「使用多少 full cross-stream 层」上不同（全部 27 层、4 层、1 层），其余层在 local 与 intra-stream 间分配，参照为无扩展的自回归基线。
| Benchmark | Baseline | Hidden Decoding | ||
|---|---|---|---|---|
| SF (1 full) | SF (4 full) | all-full (27) | ||
| MMLU | 74.1 | 75.7 | 76.4 | 76.3 |
| MMLU-Pro | 47.5 | 50.4 | 49.8 | 50.7 |
| CMMLU | 77.9 | 79.2 | 79.8 | 79.6 |
| C-Eval | 78.6 | 78.9 | 79.2 | 79.7 |
| ARC-C | 89.5 | 89.8 | 90.7 | 90.9 |
| SuperGPQA | 34.1 | 35.4 | 35.7 | 36.0 |
| BBH | 67.0 | 71.2 | 72.0 | 72.8 |
| GSM8K | 83.4 | 86.2 | 86.7 | 86.2 |
| MATH | 45.2 | 49.6 | 49.3 | 50.3 |
| SimpleQA | 3.7 | 4.0 | 3.6 | 4.1 |
| AA-OmniScience | 12.7 | 12.4 | 14.2 | 14.1 |
| HumanEval+ | 37.4 | 37.6 | 39.2 | 40.5 |
| MBPP+ | 55.2 | 56.1 | 57.8 | 59.1 |
| Overall (13 tasks) | 54.33 | 55.88 | 56.49 | 56.95 |
表 3：注意力组合消融（21B MoE）。所有 Hidden Decoding 变体都大幅超过无扩展的自回归基线，其中仅用 1 层或 4 层 full 注意力的 Stream-Factorized（SF）变体已接近 all-full 配置。表头括号内为 full 注意力层数（共 27 层）；总体平均为表中所列 13 个 benchmark 的均值。每行最优值以粗体标出。
每个 Hidden Decoding 模型都大幅超过自回归基线（总体提升 +1.55 ~ +2.62）。all-full 最好，但更便宜的 4-full 与 1-full 变体恢复了大部分收益（+2.16 与 +1.55）。少数几层 full 就足够了：其余跨 stream 混合可以是局部的、甚至跳过，这让 Stream-Factorized Attention 在保住大部分准确率收益的同时保持廉价。
KV 保留消融
在 KV 保留上，我们在 21B MoE、$n=2$ 上做一个定性对照：把 per-stream KV 换成 shared KV（保留最后一流预测目标与各自 stream 轨迹，但在 intra-stream 层用一份共享 KV）。结果显示 shared KV 在两种布局下都拉低平均分（SF-1full：69.00 → 68.59；SF-4full：69.46 → 69.06），说明为不同 stream 保留独立 KV 状态确有帮助。
| Full layers | KV type | Few-shot accuracy | Avg | |||||
|---|---|---|---|---|---|---|---|---|
| ARC | EEGPQA | MMLU | MMLU-Pro | QA-MMLU | SuperGPQA | |||
| 1 | Per-stream | 91.50 | 54.17 | 74.62 | 48.83 | 80.90 | 35.36 | 69.00 |
| Shared | 91.01 | 53.19 | 74.24 | 46.60 | 81.07 | 34.63 | 68.59 | |
| 4 | Per-stream | 92.32 | 54.95 | 75.24 | 47.82 | 82.11 | 35.50 | 69.46 |
| Shared | 91.28 | 53.32 | 74.41 | 47.90 | 81.15 | 35.35 | 69.06 | |
表 4：小规模 KV 保留消融（21B MoE，HD $n=2$）。定性检验 stream 独立 KV 是否重要。准确率各列为 few-shot accuracy（百分比，越高越好）；Avg 为全部九个 few-shot 任务的平均。在两种布局下 per-stream KV 的平均分均高于 shared KV。
Stream 与 LM-head 探针
为把上述准确率效应与内部计算联系起来，我们在训练好的 Qwen3-8B-Base + Hidden Decoding（$n=8$，E7 为最终预测流、E0–E6 为中间流）上做探针，得到两点一致的结论。
其一，中间流形成了不同的内部状态，并被最终流读取。 同一 token 的各 stream 在 Transformer 中间层显著分化、临近输出层又部分靠拢（平均余弦 0.987→0.637→0.783），且始终高于不同 token 的基线；同时最终流 E7 对其他 stream（尤其 E0，峰值 0.52）分配了可观的注意力，构成从中间流到预测流的读取通路（图 5）。
图 5：Qwen3-8B-Base + Hidden Decoding（$n=8$）的探针。(a) 同一 token 各 stream 的隐状态余弦相似度随 Transformer 层的变化（虚线为不同 token 的基线）；(b) 最终流 E7 对各 stream 的注意力占比。
其二，在词表空间上，中间流保留了比最终流更宽的候选分布。 把共享 LM Head 施加到各 stream 时，中间流的 top-1 token 常与 E7 不同（最大差异率约 63%），且其 probe 熵普遍高于最终流，说明在最终预测收敛前保留了更宽的 token 级不确定性（图 6）。
图 6：对每条 stream 的隐状态施加共享 LM Head 得到的 next-token 分布。(a) 各中间流 top-1 与 E7 不同的比例；(b) 各 stream 的平均 probe 熵（$n=2,4,8$）。
综合来看，消融与探针指向同一解释：训练目标消融说明「仅监督最后一流」优于对每条 stream 施加损失或对输出求和；KV 与注意力分析说明 per-stream KV 有用、各 stream 在 Transformer 内部分化、最终流会读取其他 stream；LM-head 探针则从词表空间给出可解释性视角——中间流在最终流收敛到预测之前，保留了更宽的候选集合。这正是 Hidden Decoding 把前面的 stream 用作「潜空间计算状态」的含义。
结论与展望
本文把 Hidden Decoding 从方法验证推进到了前沿规模。通过在序列维度扩展并配合 Stream-Factorized Attention，我们在 $n=4$ 下训练出 WeLM-HD4-80B 与 WeLM-HD4-617B，在相同的早期 SFT-only 后训练下全面超过各自匹配的自回归基线；训练成本测量则解释了为何这一规模是实际可行的。这些结果共同表明，序列长度扩展是一条面向前沿大模型、切实可行的不扩增参数的scaling 路径。
展望未来，我们会沿着更强的基线继续推进 Hidden Decoding。在采用更高质量、更大规模的数据进行后训练后，80B 与 617B MoE 的自回归基座已展现出显著更高的基准成绩与更稳定的使用体验（见表 6）；下一步，我们将在这些更强的基线上进一步验证 Hidden Decoding 的增益，并将其与 RL 充分结合，持续拓展模型的能力边界。
| Benchmark | Kimi K2.6 | WeLM-80B | WeLM-617B |
|---|---|---|---|
| AA-LCR | 76.00 | 72.60 | 74.80 |
| AA-Omniscience | 36.50 | 29.58 | 38.00 |
| SciCode | 50.69 (52.2) | 47.29 | 52.22 |
| ARC-AGI-2 | 24.72 | 8.33 | 30.42 |
| Chinese Writing§ | 92.35 | 87.92 | 91.66 |
| FrontierMath* | 53.21 | 47.83 | 56.68 |
| GPQA Diamond | 90.40 (90.5) | 89.80 | 91.21 |
| HLE† | 36.90 (36.4) | 31.90 | 38.40 |
| HMMT‡ | 95.97 | 94.35 | 95.70 |
| IFBench | 76.67 | 71.93 | 75.87 |
| IMO-AnswerBench | 91.50 (86.0) | 88.00 | 94.00 |
| LiveCodeBench v6 | 86.86 (89.6) | 84.76 | 88.57 |
| MathArena Apex | 23.78 | 38.98 | 60.24 |
| MMMLU | 87.96 | 84.61 | 88.11 |
| Multilingual-Open§ | 74.60 | 69.26 | 73.59 |
| PHYBench | 74.00 | 76.12 | 75.00 |
| Terminal-Bench 2.1 | 65.4 | 61.05 | 74.2 |
表 6：以更高质量、更大规模数据后训练得到的新自回归 MoE 基座在各基准上的表现；Kimi K2.6 作为主流前沿模型参照。所有分数均为百分比。Kimi K2.6 列为与 WeLM 同一评测框架下的自测值，括号内为其官方报告值（若有）。
- *FrontierMath 使用公开的 Tiers 1–4 样例题。
- †HLE 为 no-tools、text-only 设置。
- ‡HMMT 为 2025 年 2 月、2025 年 11 月与 2026 年 2 月三个测试集的加权平均。
- §Chinese Writing 与 Multilingual-Open 为内部数据集。
- Terminal-Bench 2.1：使用 Terminus-2 框架及其提供的 JSON parser 进行评测；解码参数为 temperature=1.0、top_p=0.95，上下文窗口为 256K，结果为两次独立运行的平均值。
References
Moonshot AI. 2026. Kimi K2.6. https://huggingface.co/moonshotai/Kimi-K2.6.
Qwen Team. 2026. Qwen3.5. https://qwen.ai/blog?id=qwen3.5.
WeChat AI. 2026. Building Effective Sparse MoE Models with Moderate Resources. https://welm.weixin.qq.com/posts/building-effective-sparse-moe-models-with-moderate-resources/.