在科技界的一次重大合作中，月之暗面Kimi与清华大学MADSys实验室携手，共同揭晓了他们酝酿已久的Mooncake推理系统设计方案。这一创新方案于2024年6月正式面世，其核心在于采用了KVCache为中心的PD分离技术和存换算架构，极大地推动了推理吞吐量的提升。
为了加快Mooncake技术的实际应用步伐，近日，月之暗面Kimi与清华大学MADSys实验室再度发力，联合9#AISoft、阿里云、华为存储、面壁智能以及趋境科技等业界知名企业，共同推出了Mooncake开源项目。该项目旨在构建一个以KVCache为核心的大模型推理架构，进一步推动技术的普及与发展。
就在近日，Mooncake技术框架已经正式在开源社区上线，为全球的开发者提供了一个全新的技术平台。以下是Mooncake技术框架的开源地址：
Mooncake开源项目不仅是对其学术论文的延伸，更是对以超大规模KVCache缓存池为核心的创新理念的实践。通过存换算这一创新思路，Mooncake显著降低了算力开销，从而实现了推理吞吐量的显著提升。这一突破性的进展，无疑为人工智能领域带来了新的发展机遇。
在开源计划的实施上，Mooncake采取了分阶段推进的策略。首先，将高性能KVCache多级缓存Mooncake Store的实现逐步开源，同时确保对各种推理引擎和底层存储/传输资源的兼容性。目前，传输引擎Transfer Engine部分已经率先在GitHub上实现了全球开源。
Mooncake开源项目的长远目标是，为大模型时代打造一种高性能、内存语义存储的标准接口，并提供一套可参考的实现方案。这将为未来的技术发展奠定坚实的基础，推动人工智能领域迈向新的高度。
通过Mooncake推理系统架构图，我们可以清晰地看到其设计的精妙之处。这一架构不仅体现了技术的先进性，更展示了合作团队在人工智能领域的深厚底蕴和创新能力。
