研究与探索·EASYHUB 选读
Moonlight 与分布式 Muon 实现开放，研究训练效率
这次有什么变化
月之暗面公布在 Muon 上训练的 MoE 模型、优化器实现和中间检查点。重点是训练方法和可复查资源，模型总参数与每次激活参数应分别记录。
- 原文标题
- 月之暗面 Kimi 开源 Moonlight：30 亿 / 160 亿参数混合专家模型
- 来源
- IT之家 · www.ithome.com
- 主题
- 研究与探索
- 原文月份
- 2025-02
本页是 EasyHub 根据所列来源整理的简短选读，不是完整报道或原创采访。预览、计划开放与正式可用以摘要及原文说明为准。
本站摘要页面发布 · 更新 · 内容说明