开发工具·EASYHUB 选读
Mooncake 开源推进以 KVCache 为中心的分离式推理
这次有什么变化
月之暗面与清华等合作方推动 Mooncake 开源，通过缓存共享和预填充、解码分离组织推理资源。此次为分阶段开放，传输引擎等组件先行，并非所有规划功能同时完成。
- 原文标题
- 月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake
- 来源
- IT之家 · www.ithome.com
- 主题
- 开发工具
- 原文月份
- 2024-11
本页是 EasyHub 根据所列来源整理的简短选读，不是完整报道或原创采访。预览、计划开放与正式可用以摘要及原文说明为准。
本站摘要页面发布 · 更新 · 内容说明