月之暗面今日凌晨正式推出其迄今能力最强的模型 —— Kimi K3，一个 2.8 万亿参数的开源模型，面向长程编程、知识工作和推理等前沿智能场景设计。这是全球首个开源的 3 万亿级别模型。
核心要点
- 2.8 万亿参数，全球首个开源 3 万亿级别模型
- KDA 混合线性注意力机制 + 注意力残差技术
- 原生支持视觉理解，100 万 token 上下文窗口
- MoE 稀疏度扩大：896 个专家中激活 16 个
- 相比 K2 整体扩展效率提升约 2.5 倍
- 从 SFT 阶段采用量化感知训练（MXFP4/MXFP8）
- 擅长长程编程、视觉推理和端到端知识工作
架构创新
Kimi K3 基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建。KDA 为注意力扩展提供高效基础，AttnRes 有选择地跨深度检索表示，二者共同使模型能扩展到万亿参数以上规模。
结合 Stable LatentMoE 框架，模型可在 896 个专家中高效激活 16 个。Quantile Balancing 和 Per-Head Muon 让大规模训练更自适应。
性能表现
虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但在整套评测中展现出前沿水平的能力，并稳定超过了其他所有模型。
可用性
- 用户可通过 kimi.com、Kimi 手机 App、Kimi Work 桌面客户端、Kimi Code 和 Kimi API 使用
- 当前默认思考强度为 max（极致），后续增加 low 和 high 模式
- 完整模型权重将于 2026 年 7 月 27 日前发布
- 已向 vLLM 社区贡献 KDA 实现
来源：开源中国（OSCHINA）