第23届usenix文件与存储技术会议（fast）在美国圣克拉拉落下帷幕，计算机系章明星、武永卫、郑纬民教授团队与月之暗面公司合作的论文荣获埃里克·里德尔最佳论文奖（erik riedel best paper award）。该论文题为“以键值缓存为中心的以存换算大语言模型推理架构”（mooncake: trading more storage for less computation-a kvcache-centric architecture for serving llm chatbot），第一作者为计算机系博士生秦若愚，指导老师为章明星助理教授。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

最佳论文：Mooncake架构

获奖论文提出的Mooncake系统是月之暗面公司大语言模型服务Kimi的底层推理平台。Mooncake采用独特的键值缓存（KVCache）为中心的分布式架构，巧妙分离预填充和解码集群，并充分利用推理集群中CPU、DRAM、SSD和NIC等资源，构建独立的KVCache缓存池。其核心创新在于以KVCache为中心的全局缓存和调度机制，在严格满足服务级别目标（SLOs）的前提下，最大限度地提升吞吐量。

实验结果表明，Mooncake在处理长上下文输入方面表现卓越。真实数据测试显示，与基线方法相比，Mooncake在满足SLOs的情况下，有效请求处理能力提升了59%到498%。目前，Mooncake已在数千个节点上稳定运行，每日处理超过千亿个token。实际部署中，Mooncake的创新架构使Kimi在NVIDIA A800和H800集群上的请求处理能力分别提升了115%和107%。

FAST会议是计算机存储领域的顶级盛会，拥有二十余年的历史，在业界享有盛誉，被中国计算机学会（CCF）评为A类国际学术会议。

相关文章： 怎么用AI生成一篇文章？高效创作指南全揭秘！  AI赋能，轻松构建未来城市设计新潮流的建筑模型,ai猎狗  SEM优化与SEO：提升网站流量与转化的双重利器  AI语音模型，人工智能领域的核心技术探秘,ai少女另存为新档  让“润色”更智能，人工智能助力内容创作新革命  AI自动化：开启智能未来的无限可能,simplify ai  AI工具汇总网站，让科技为您的工作加速  MayaAI转模型，引领智能化三维建模新时代,ai moba  AI的智慧内核，揭秘训练模型技术,圆明园ai全景  撰写稿子的AI，写作的“超级助手”来了！  SEO与SEM的完美结合：提升企业网站流量和转化的双重利器  多模型AI绘画，解锁数字艺术无限可能,ai触控笔  AI音响豆包大模型，智能家居创新，开启智能生活新,哪款ai适合写作手机软件  AI通过算法和数据生成的作品：科技与艺术的跨越，带来无限创意可能,ai优化程序  构建专属AI，自制智能模型软件攻略与精选推荐,ai变脸左拥右抱  SEM和SEO的区别：如何根据需求选择适合的网络营销策略  AI赋能药物研发，未来引擎驱动创新,ai图片和画板一样大  文章去AI回归创作的本真之美  文心一言配音秘籍，揭秘打造动听声线的核心技巧,蜜蜂ai图片  揭秘AI模型库数据排名，背后的逻辑与标准解析,火影无级别混战ai  如何识别文章是否由AI写作：技巧与方法解析  SEM与SEO的深度解析：如何在数字营销时代脱颖而出  全I大模型技术新格局，领跑，排名再刷新,ai科幻画主题  厂商AI大模型争霸，揭秘行业领先者实力对决,ai写作好用免费  AI生成文章免费工具，让创作变得轻松又高效,ai安心健  AI赋能的商业决策，数据分析模型软件新篇章,帮助读书的ai  免费的写作软件，让写作变得更轻松  未来智能新，AI四维模型引领无限探索,ai怎么做名片  文一言心与豆包，经典零食的优劣对决,昆明ai全网通价格  文心一言赋能股票网格交易，开启智能财富增长新篇章,Ai54326...  文章自动生成AI：助力写作新时代，让创作更高效  文心一言4.0对决豆包，人工智能创作巅峰之战,小玲ai  苹果CMS追剧：让你追剧不再错过每一集的精彩  文心一言英文翻译，全球语言魅力的试炼,黄宣绮和黄怡慈ai换脸  文心一言，跨界融合开启创作新,ai水纹素材  AI虫情识别模型，农业革器，购买指南与应用展望,京东 冯氏 ai  AI星火鼠标，引领高效办公新时代的智能助手,ai exo  AI缩写文本：助力智能生活的革新力量,ai智能写作生成神器下载  荣耀与AI大模型联袂，引领智能时代革新,ai图文基础教程  360AI写作怎样？助力创作的新风尚,ai到访  AI模型崛起之路，现状解析与展望,ai测评网  英文作文怎么搜？一站式解答，轻松提升写作技巧！  吉利星睿AI大模型震撼发布，开启智能汽车新时代之旅,外网ai人物  Oppo AI赋能，深度解析智能创新与AI模型变革,图片变圆角ai  AI大模型上市公司领航科技前沿，共创智能未来新篇章,ai红桃心  远程AI绘画模型一键下载，引领艺术创作新潮流,《醒来》ai  AI唱将养成记，揭秘个性化虚拟歌手训练模型软件,论文写作ai助手 软件  AI赋能，模拟人生4迎来全新篇章,ai写作ai提问  SEO与SEM的不同：深度解析两大网络营销手段的优势与应用  AI赋能音乐创作，探索智能豆包的音艺之旅,苍穹ai服务云