平台研究笔记
最近更新 | 2026-07-06由微信 AI 团队发布。
在上一篇博客中，我们介绍了 Hidden Decoding 的核心思想：在不增加 Transformer 主体参数的前提下，通过复制多份 Vocab Embedding 将序列长度扩展 $n$ 倍，使每个 token 在单次前向传播中获得 $n$ 倍的有效计算量，并在 6B、8B 以及 80B 等多个规模上验证了 loss 下降与评测提升。本文是它的进阶篇：我们把 Hidden Decoding 推进到前沿规模（100B+ MoE），训练出 WeLM-HD4-80B 与 WeLM-HD4-617B（$n=4$），在完全对齐的对照实验中全面超过各自的自回归基线，并给出让这一方法在超大模型上真正可训、可服务的关键工程设计。本工作的正式论文见 Tencent/Sequential-Hidden-Decoding。
阅读全文在之前的博客中，我们以 WeLM-V4-80B-A3B 为例介绍了预训练环节的架构设计与实践经验。本文旨在介绍一条不同的模型能力提升路径–在不增加 Transformer 主体参数的前提下，通过复制多份 Vocab Embedding 将序列长度扩展 n 倍，使每个 token 在单次前向传播中获得 n 倍的有效计算量。在多个模型规模的实验中，该方法带来了持续的 loss 下降与评测提升，且在较大规模的模型上仅需少量 continue training 步数即可观察到显著收益。 我们已经在Hugging Face开源了基于Qwen3-8B的Dense模型，同时大家可以参考GitHub进行SGLang本地部署。 动机 在序列建模中，模型中间状态（Hidden States）的表达能力决定了模型最终的效果。在模型规模相同的情况下，增加模型的中间状态往往会得到更优的模型效果。例如，采用更窄而深的模型结构 (Kim et al.
阅读全文本文分享我们在有限资源下构建高效预训练大语言模型（LLM）的实践经验与观察。我们展示了在不足 14T tokens 的语料上训练出的 80B-A3B MoE 模型，其性能在同量级乃至更大规模系统中均极具竞争力；同时，通过深度扩展（Depth Up-Scaling）获得的 130B 变体，在低学习率下经过少量追加训练，便能相较于 80B 基准模型取得显著的性能提升。 1. 架构 新的 WeLM 系列采用高度稀疏的 MoE（Mixture of Experts）架构 (Shazeer et al. 2017; Fedus et al.
阅读全文