猫眼影戏
 |
|
猫眼影戏
孙淑兰
手机审查
猫眼影戏记者 赵熙奉 报道Q8X2R7L1T4J5M9B6W3
随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理效劳效率的焦点瓶颈 。自回归天生的特征使得模子必需存储历史 token 的 key-value 状态（即 KV cache）以阻止重复盘算，但 KV cache 的显存占用随着上下文长度的增添而膨胀，带来显著的内存瓶颈 。
已往两年，关于 KV cache 的优化事情爆炸式增添，包括调理、迁徙、压缩等战略层出不穷 。然而，现有综述主要聚焦于 LLM 推理或效劳的整体效率，大多仅将 KV cache 作为其中一个子 ？樽骷蛞致 。
近期，来自墨尔本大学和华中科技大学的研究者们宣布了一篇深度综述，从MLSys 的头脑出发，用一套新颖的「时间 - 空间 - 结构」系统行为视角对 KV cache 优化要领举行了系统性梳理与深入剖析，并将相关资源整理成了一连维护的 Awesome 资源库，利便研究者与从业职员快速定位与落地 。
论文地点: https://doi.org/10.36227/techrxiv.176046306.66521015/v3项目地点: https://github.com/jjiantong/Awesome-KV-Cache-Optimization
什么是「 sKis」 ？
为了提供更聚焦的视角和明确，作者们首先在综述中界说了sKis的界线：在推理效劳阶段，以 KV cache 为焦点优化工具，在不依赖模子重训或结构修改的条件下，提升吞吐、延迟等焦点系统指标 。
从「系统行为」看 KV Cache
聚焦于 sKis，该综述立异性地提出以系统行为的视角来组织 KV cache 优化手艺：不是按详细流程、框架、算法来划分，而是按优化战略在系统中爆发的时间、空间、结构三个维度的行为来划分，从而更容易对齐工程实现与组合战略 。
执行与调理（时间维度）：KV 什么时间被会见和盘算 ？该分类关注执行历程与调理 。例如设计以 KV 为中心的调理战略，接纳流水线来掩饰延迟，或者凭证差别硬件的特征适配操作等 。安排与迁徙（空间维度）：KV 放在那里、怎样迁徙 ？该分类关注数据的存储 。例如在 GPU、CPU、SSD 组成的存储层级中怎样使热门 KV 留在 GPU 显存中，或者在漫衍式或异构的盘算装备中设计迁徙战略等 。体现与留存（结构维度）：KV 长什么样 ？该分类关注数据体现 。这是现在最拥挤的赛道，包括量化、驱逐等论文麋集的子领域，旨在直接镌汰 KV cache 的物理体积 。
基于上述三个维度，该综述将现有事情归纳为 7 个二级种别，详细包括：以 KV 为中心的调理（KVS）、流水线与重叠（OVLP）、硬件感知的执行（HAE）、跨内存层级的 KV 编排（MHO）、跨盘算装备的 KV 编排（CDO）、KV cache 压缩（KVCC）、KV cache 留存治理（KVRM） 。
该论文不但详细梳理了每个维度下的差别类型和手艺要领，还为每一类提炼了要害要点、局限与权衡，给出了可落地的适用指导 。
深度洞察与开放挑战
这篇综述最有价值的部分之一，在于作者们对百余篇论文举行了全局交织剖析，从而归纳了7 大概害视察，并引发了6 大开放挑战 。
首先，作者们对文献举行了跨行为共现剖析，以展现差别维度的 KV 行为之间的内在联系和协同模式；别的，作者们深入剖析了KV 行为和优化目的的作用关系，并统计了文献中对相关优化指标的现实关注情形 。
基于以上两类交织剖析，作者们展现了目今领域的7 大概害视察，例如什么组合是最常见的协同模式 ？结构维度（如量化）虽然论文最多，为什么往往沦为系统中的「孤岛」 ？
基于要害视察，作者们进一步提炼了6 大开放挑战，例如在追求效率的同时，我们虽然常；峁刈⒌蕉云渲柿康挠跋，可是否往往忽视了可信度（trustworthiness）的隐形崩塌 ？该综述中对每一个视察和挑战都给出了详细的剖析和思绪，期待能引发社区向着越发高效与可信的 LLM 效劳系统的一连探索！
资源分享：Awesome-KV-Cache-Optimization 资源库
为了利便社区追踪这一飞速生长的领域的最新希望，论文作者同步维护了一个 Awesome 气概的资源库，收录并一连更新 sKis 领域的最新论文和代码实现 。希望这个资源库能让你少走弯路！
地点：https://github.com/jjiantong/Awesome-KV-Cache-Optimization
若是你正在做 LLM Infra、模子压缩或者高性能盘算等相关偏向，接待在 GitHub 上 star 支持，或者来客栈一起补全与更新！
??时势1：黄色欧美成
??01月18日,广东自然教育基地增至135家,
这就是大荒，随处都是危险，随处都是恐怖的生灵，前一刻还在威风凛凛，下一刻说未必就成为了其他生灵的食物 。
,三上悠亚日韩精品一区在线 。??01月18日,“城市改变糖尿病”全球项目升级为“驱动改变 健康城市”,
各族的领武士也遭了创伤，雷族的老西崽、紫山侯的族叔都丢掉了一只手掌，齐腕断落，被予以忠言 。
?第五十八章 石子陵,欧美性爱影,x7x7x7不安108,3373.7V 。??时势2：魅魔の繁殖を哟めて
??01月18日,低温冰冻！南方“天然冰箱”再开2天 月底还有大范围雨雪？ ,
“人族原本就生涯不易，在这残酷的大荒中挣扎过活，怎么还会降下这种祸根 ？！”
,成人黄视频,欧美人妻视频观看,坤坤怼桃桃 。??01月18日,河北解锁避暑“凉”机 拥抱“21℃的夏天”,
党的十一届三中全会以来，特殊是撤地设市以来，历届市委、市政府都十分重视都会妄想建设治理事情 。各级各有关部分凭证市委、市政府的要求，以加速都会化历程为目的，起劲探索都会建设生长的有用途径，千方百计战胜资金缺乏等难题，加速了都会建想程序 。一是都会化历程一直加速 。到20xx年底，全市共有城镇生齿316·7万人，都会化水平抵达31·5%，比1995年提高了10·34个百分点 。起源形成了以临沂城为中心，以205国道、206国道、327国道、京沪高速公路、日东高速公路和沂蒙公路等交通干线为纽带的城镇网络系统 。与1995年相比，临沂城建成区面积扩大了25平方公里，县城面积扩大了41平方公里，全市建制镇增添了33个 。二是都会妄想的科学化、规范化水平一直提高 。三是都会基础设施建想程序一直加速，城镇功效显着改善 。到20xx年底，全市都会蹊径总长度达1025·4公里，总面积1753·3万平方米，自来水日供水能力达95·18万吨，都会燃气普及率达85%，绿化笼罩率达26%，城镇住民人均栖身面积9·8平方米，万人拥有公交车辆4标台，都会的承载能力和情形质量显着提高 。四是都会生长成为拉动经济增添的主要动力源 。在投资拉动方面，撤地建市以来的6年间，全市城镇建设投资达191·5亿元，占全社会牢靠资产投资总额的20·7%;今年上半年，全社会用于都会区域内的建设投资达46·4亿元，比上年同期增添20% 。在消耗拉动方面，随着都会生齿的膨胀，都会消耗能力一直增强，20xx年，县以上消耗额为139·76亿元，占到了全市社会消耗品零售额的72%;仅从住宅消耗看，今年上半年小我私家购房面积达26万平方米，住房消耗达4·16亿元，到今年6月尾，小我私家住房消耗贷款累计达10·66亿元，占全市小我私家消耗贷款的73% 。但我们也必需苏醒地看到，我市与省内先进都会比，都会妄想、建设、治理在许多方面还保存一定差别 。主要体现在：我市都会经济、都会生齿的规模仍处于全省落伍位置，都会化水平低于全省平均水平7·7个百分点 。都会治理体制不顺，执行妄想的意识不强，详细妄想笼罩率偏低，修建市场和房地产市场不敷规范，开放水平不高，城镇容貌有些地方群众还不知足 。要加速全市都会化历程，必需高度重视全市都会妄想建设治理中保存的问题，起劲接纳步伐，认真加以解决 。现在，陪同全市工业化历程的一直加速，都会化最先进入加速生长的历史时期，都会妄想、建设、治理的使命越来越沉重 。
,AAA一级毛片一区二区,欧洲免费黄色录像,在被cao到爽网站 。??时势3：少萝自慰
??01月18日,丹麦学者：包容开放是中国取得惊人成就的关键之一，西方欠缺的正是这个,
1、火灾袭来时要迅速逃生，不可贪恋财物 ；鹪直⑹崩词蒲该，若是贪恋财物，就会失去逃生的时机，记 。夯鹪直⑹鄙亲钪饕 。
,Av人人操中文,欧美强操网,工本口子库的官方入口在哪里三更 。??01月18日,“五一”假期迎返程高峰 北京警方护航出行平安,
下面先容火场逃生要点
,无码99riav片,A片口交,免费黄色人成网站 。??时势4：在线视频精品99
??01月18日,云南通报3起违规吃喝和收送礼品礼金问题,
突然，他动了，一把将小不点拎了起来，此后抡开巴掌，在他身上一顿拍，力道大的惊人，纵然强如小不点的肉身也感受剧痛，吃不必 。
,国产一产一极AV片,亚洲伊人成无码91,亚洲人妻一区二区 。??01月18日,台湾乐手来牵手 两岸“芗”音共潮生,
“不知为何，至强的生物还在厮杀 。”
,黄色视频A级野站,鸣人❌玖辛奈18禁污污,阮梅奖励自己让开拓者发现 。责编：方丽槐
审核：张珈铭
责编：吴文学
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
