首页
下载APP
首页
随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理效劳效率的焦点瓶颈。自回归天生的特征使得模子必需存储历史 token 的 key-value 状态（即 KV cache）以阻止重复盘算，但 KV cache 的显存占用随着上下文长度的增添而膨胀，带来显著的内存瓶颈。
已往两年，关于 KV cache 的优化事情爆炸式增添，包括调理、迁徙、压缩等战略层出不穷。然而，现有综述主要聚焦于 LLM 推理或效劳的整体效率，大多仅将 KV cache 作为其中一个子？樽骷蛞致。
近期，来自墨尔本大学和华中科技大学的研究者们宣布了一篇深度综述，从MLSys 的头脑出发，用一套新颖的「时间 - 空间 - 结构」系统行为视角对 KV cache 优化要领举行了系统性梳理与深入剖析，并将相关资源整理成了一连维护的 Awesome 资源库，利便研究者与从业职员快速定位与落地。
论文地点: https://doi.org/10.36227/techrxiv.176046306.66521015/v3项目地点: https://github.com/jjiantong/Awesome-KV-Cache-Optimization
什么是「 sKis」？
为了提供更聚焦的视角和明确，作者们首先在综述中界说了sKis的界线：在推理效劳阶段，以 KV cache 为焦点优化工具，在不依赖模子重训或结构修改的条件下，提升吞吐、延迟等焦点系统指标。
从「系统行为」看 KV Cache
聚焦于 sKis，该综述立异性地提出以系统行为的视角来组织 KV cache 优化手艺：不是按详细流程、框架、算法来划分，而是按优化战略在系统中爆发的时间、空间、结构三个维度的行为来划分，从而更容易对齐工程实现与组合战略。
执行与调理（时间维度）：KV 什么时间被会见和盘算？该分类关注执行历程与调理。例如设计以 KV 为中心的调理战略，接纳流水线来掩饰延迟，或者凭证差别硬件的特征适配操作等。安排与迁徙（空间维度）：KV 放在那里、怎样迁徙？该分类关注数据的存储。例如在 GPU、CPU、SSD 组成的存储层级中怎样使热门 KV 留在 GPU 显存中，或者在漫衍式或异构的盘算装备中设计迁徙战略等。体现与留存（结构维度）：KV 长什么样？该分类关注数据体现。这是现在最拥挤的赛道，包括量化、驱逐等论文麋集的子领域，旨在直接镌汰 KV cache 的物理体积。
基于上述三个维度，该综述将现有事情归纳为 7 个二级种别，详细包括：以 KV 为中心的调理（KVS）、流水线与重叠（OVLP）、硬件感知的执行（HAE）、跨内存层级的 KV 编排（MHO）、跨盘算装备的 KV 编排（CDO）、KV cache 压缩（KVCC）、KV cache 留存治理（KVRM）。
该论文不但详细梳理了每个维度下的差别类型和手艺要领，还为每一类提炼了要害要点、局限与权衡，给出了可落地的适用指导。
深度洞察与开放挑战
这篇综述最有价值的部分之一，在于作者们对百余篇论文举行了全局交织剖析，从而归纳了7 大概害视察，并引发了6 大开放挑战。
首先，作者们对文献举行了跨行为共现剖析，以展现差别维度的 KV 行为之间的内在联系和协同模式；别的，作者们深入剖析了KV 行为和优化目的的作用关系，并统计了文献中对相关优化指标的现实关注情形。
基于以上两类交织剖析，作者们展现了目今领域的7 大概害视察，例如什么组合是最常见的协同模式？结构维度（如量化）虽然论文最多，为什么往往沦为系统中的「孤岛」？
基于要害视察，作者们进一步提炼了6 大开放挑战，例如在追求效率的同时，我们虽然常；峁刈⒌蕉云渲柿康挠跋，可是否往往忽视了可信度（trustworthiness）的隐形崩塌？该综述中对每一个视察和挑战都给出了详细的剖析和思绪，期待能引发社区向着越发高效与可信的 LLM 效劳系统的一连探索！
资源分享：Awesome-KV-Cache-Optimization 资源库
为了利便社区追踪这一飞速生长的领域的最新希望，论文作者同步维护了一个 Awesome 气概的资源库，收录并一连更新 sKis 领域的最新论文和代码实现。希望这个资源库能让你少走弯路！
地点：https://github.com/jjiantong/Awesome-KV-Cache-Optimization
若是你正在做 LLM Infra、模子压缩或者高性能盘算等相关偏向，接待在 GitHub 上 star 支持，或者来客栈一起补全与更新！
《王玉芳脱了内裤张开腿让男人桶》，《Q8X2R7L1T4J5M9B6W3》99riav8在线观看
“啊啊啊啊啊啊啊!无码免费看”
91吻胸撕衣服吃奶
……
01月20日
“男坤怒怼女生的坤”男子吃饭自带蚂蚁碰瓷餐厅700次
↓↓↓
01月20日，习语品读｜“金融监管要‘长牙带刺’、有棱有角”，无码18禁黄动漫在线看漫画，亚洲黄色网站免费www，撕开美女的衣服，主人~别揉了~奶头~啊~嗯
01月20日，郑永年：民营企业正扮演着越来越重要的角色，黄色偷情视频，狼友视频在线观看视频，熟女艹子国产，欧美黑人一级黄色A片在线播放
01月20日，江苏人均预期寿命达79.7岁居全国前列，胡桃自慰，色操B，国产pron，欧美三级视频观看
01月20日|湖南省机场管理集团原副总经理喻辉接受审查调查|原神同人18+网站|成品人和精品人的区别三|在线观看免费二区|荫道添到高潮A片
01月20日|广东成立首个空天医学工程研究中心|看看接逼的黄片|欧洲美女一级牲交视频|永久免费看黄网站入口|手机在线看AⅤ视频
01月20日|中国海警局新闻发言人就菲律宾船只非法侵闯仙宾礁发表谈话|A级毛片高清免费水蜜桃|人人摸人人叉|免费A∨在线观看视频|亚洲爱爱视频免费……
01月20日，法国东南部遭遇强降雨已致5人丧生 仍有3人下落不明，6080新觉伦午夜理论无码，林书辞6部视频完整版，人人干人人搞，美女裸体 挤奶视频网站
01月20日，【东盟专线】东南亚水果输华新添湄公河水运航道，免费一级无码婬片AA片密挑视频，欧美日韩国产黄色网址，互联网营销小鲤导航，紧色网看见视
01月20日|【奋力谱写中国式现代化新篇章——习近平总书记今年以来治国理政纪实】中国式现代化 民生为大|鹿少女主播剧情演绎|美女被操免费黄色网站|尿孔 灌 电击 乳夹|囯严做受 高潮A
01月20日，哈尔滨第九届亚冬会特许商品受欢迎，进 里 片同人，一区二区三区四区乱伦，美女自慰漫画，一级毛片免费看全过程
01月20日，西藏天文历算专家通过古老天文台测定开耕时间，美女大黄大色AA级毛片，久操综合官网，法国捆乳肛门性交，男人 伸到 坤坤眼里推特
01月20日，东方白鹳现身湖北十堰汉江湿地，十八岁禁国产美女，欧美囗交做性视频，在线观看91精品国产性色，OTK实践拍击视频一个小时
01月20日|浙江上虞首个音乐节“五一”假期上演 促旅游创收2.59亿元|人人人人人人操人人人人射|狼友视频精彩在线|Twitter大神唐伯虎|日本黄网站在线观看免费
01月20日|冰雪之境：童话、诗剧和音乐的合奏|色五月天.COM|欧美一区二区五码|日本a∨欧美天码免费|偷拍黑毛
01月20日|南非橄榄球队荣膺南非年度最佳球队|日本网站三级片|国产做受 麻麻|木影进入口.cc|性巴克破解版
黑神话悟空到底有几个结局，栾留伟火锅店平台收藏数已破万|广东深圳遭遇大风雷暴天气|精品探花|不卡黄色网站|日本第一页屁屁影院|www射射
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
外汇市场、外资来华投资“锦上添花” 我国经济回升向好态势不断巩固增强
重庆姐弟坠亡案两名罪犯被执行死刑 母亲“心中石头终落地”
我国首个全场景氢能港口建设启动
香港湾仔利东街喜庆大红灯笼迎新春
东西问·中国石窟丨王双怀：彬州大佛寺石窟的东西方文化交流体现在哪？
青海完善社会救助体系：分层分类多元参与
中国首座三肢星型人行桥——南沙聚星桥建成开通
彩调剧《刘三姐》入选文旅部复排计划名录
尹锡悦宣布戒严后，李在明呼吁韩国民众前往国会
第1视点｜同心
性生活视频在线观看
看黄色毛片视频
黄色视频污片在线观看黄色视频
暖香社区日本社区破解版的特色
狼友日本地址入口
亚洲一区二区三区网站
日本偷:,窥,尿
69x2776.cc
女同蕾丝一区二区三区在线
人人叉人人操人人操
闽公网安备 35010302000113号