猫眼影戏
 |
|
猫眼影戏
沈阳晴
手机审查
猫眼影戏记者 李治廷 报道Q8X2R7L1T4J5M9B6W3
随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理效劳效率的焦点瓶颈。自回归天生的特征使得模子必需存储历史 token 的 key-value 状态（即 KV cache）以阻止重复盘算，但 KV cache 的显存占用随着上下文长度的增添而膨胀，带来显著的内存瓶颈。
已往两年，关于 KV cache 的优化事情爆炸式增添，包括调理、迁徙、压缩等战略层出不穷。然而，现有综述主要聚焦于 LLM 推理或效劳的整体效率，大多仅将 KV cache 作为其中一个子？樽骷蛞致。
近期，来自墨尔本大学和华中科技大学的研究者们宣布了一篇深度综述，从MLSys 的头脑出发，用一套新颖的「时间 - 空间 - 结构」系统行为视角对 KV cache 优化要领举行了系统性梳理与深入剖析，并将相关资源整理成了一连维护的 Awesome 资源库，利便研究者与从业职员快速定位与落地。
论文地点: https://doi.org/10.36227/techrxiv.176046306.66521015/v3项目地点: https://github.com/jjiantong/Awesome-KV-Cache-Optimization
什么是「 sKis」？
为了提供更聚焦的视角和明确，作者们首先在综述中界说了sKis的界线：在推理效劳阶段，以 KV cache 为焦点优化工具，在不依赖模子重训或结构修改的条件下，提升吞吐、延迟等焦点系统指标。
从「系统行为」看 KV Cache
聚焦于 sKis，该综述立异性地提出以系统行为的视角来组织 KV cache 优化手艺：不是按详细流程、框架、算法来划分，而是按优化战略在系统中爆发的时间、空间、结构三个维度的行为来划分，从而更容易对齐工程实现与组合战略。
执行与调理（时间维度）：KV 什么时间被会见和盘算？该分类关注执行历程与调理。例如设计以 KV 为中心的调理战略，接纳流水线来掩饰延迟，或者凭证差别硬件的特征适配操作等。安排与迁徙（空间维度）：KV 放在那里、怎样迁徙？该分类关注数据的存储。例如在 GPU、CPU、SSD 组成的存储层级中怎样使热门 KV 留在 GPU 显存中，或者在漫衍式或异构的盘算装备中设计迁徙战略等。体现与留存（结构维度）：KV 长什么样？该分类关注数据体现。这是现在最拥挤的赛道，包括量化、驱逐等论文麋集的子领域，旨在直接镌汰 KV cache 的物理体积。
基于上述三个维度，该综述将现有事情归纳为 7 个二级种别，详细包括：以 KV 为中心的调理（KVS）、流水线与重叠（OVLP）、硬件感知的执行（HAE）、跨内存层级的 KV 编排（MHO）、跨盘算装备的 KV 编排（CDO）、KV cache 压缩（KVCC）、KV cache 留存治理（KVRM）。
该论文不但详细梳理了每个维度下的差别类型和手艺要领，还为每一类提炼了要害要点、局限与权衡，给出了可落地的适用指导。
深度洞察与开放挑战
这篇综述最有价值的部分之一，在于作者们对百余篇论文举行了全局交织剖析，从而归纳了7 大概害视察，并引发了6 大开放挑战。
首先，作者们对文献举行了跨行为共现剖析，以展现差别维度的 KV 行为之间的内在联系和协同模式；别的，作者们深入剖析了KV 行为和优化目的的作用关系，并统计了文献中对相关优化指标的现实关注情形。
基于以上两类交织剖析，作者们展现了目今领域的7 大概害视察，例如什么组合是最常见的协同模式？结构维度（如量化）虽然论文最多，为什么往往沦为系统中的「孤岛」？
基于要害视察，作者们进一步提炼了6 大开放挑战，例如在追求效率的同时，我们虽然常；峁刈⒌蕉云渲柿康挠跋，可是否往往忽视了可信度（trustworthiness）的隐形崩塌？该综述中对每一个视察和挑战都给出了详细的剖析和思绪，期待能引发社区向着越发高效与可信的 LLM 效劳系统的一连探索！
资源分享：Awesome-KV-Cache-Optimization 资源库
为了利便社区追踪这一飞速生长的领域的最新希望，论文作者同步维护了一个 Awesome 气概的资源库，收录并一连更新 sKis 领域的最新论文和代码实现。希望这个资源库能让你少走弯路！
地点：https://github.com/jjiantong/Awesome-KV-Cache-Optimization
若是你正在做 LLM Infra、模子压缩或者高性能盘算等相关偏向，接待在 GitHub 上 star 支持，或者来客栈一起补全与更新！
??时势1：wuwubox 极乐盒
??01月18日,山东荣成：海带采收场面壮观,
“鲲鹏……殒落无尽岁月的盖世强者，惋惜了，它的最强神通就此失传。”柳神有些感伤。
,全彩ACG 无翼色哟哟。??01月18日,新疆公安机关迅速启动地震救援排险工作,
宝骨发光，一片又一片符文在地面交织，在空中密布，形整天罗地网，将要石子陵镇压在当中。
,女生咬男生小头头视频大全,舞蹈生被狂c到腿发软,国产A级毛片无码视频。??时势2：人人干人人艹人人射
??01月18日,2023年我国完成造林5997万亩,
药鼎一震，下面的火自动熄灭，淡金色的药液成了！
,乱辈通奷系列视频,小 伸进 蘑菇视频在线观,91popn.com。??01月18日,杭温高铁迎新进展 全线接触网架设贯通,
“堪比远古凶兽的幼崽啊，我们石村未来也许会泛起一个能血拼远古真犼、纯血貔貅的至尊。”
,古董商裸体被 涩涩文,欧美aaaaaaaa,国产高色高清一级黄色a片视频。??时势3：小 戳进去无遮挡动
??01月18日,进出西藏列车有机蔬菜实现“现摘现炒”,
三、鼎力大举实验科技兴院和人才强院战略，为医院生长提供焦点竞争力 随着党中央，国务院对民生问题的高度重视，宽大群众对医疗效劳质量的要求越来越高？萍家殉晌皆核秤π滦问啤⒂有绿粽降囊σ蛩，这就要求我们必需坚定不移地实验科技兴院战略，加大医疗新手艺的引进和推广，勉励科技职员开展新营业、多出新效果;增强重点专科的建设，着力培育具有显着影响力的重点强势专科，发动和提升医院整体手艺水平和医疗效劳质量。必需坚定不移地实验人才强院战略，要坚持手艺引进与人才作育有机连系，接纳“走出去，请进来”的方法，增强对外相助，引进先进手艺的同时，有重点地作育一大批营业主干;要坚持“培优、选优、用优”的原则，不拘一格选拔和使用人才，为优异人才脱颖而出创立优异的情形，起劲建设一支高素质、营业精的手艺步队，增强医院生长后劲。
,高清无码靠逼动漫,强行处破之好疼高清视频,黄色在线视频精品视频。??01月18日,广东东莞2023年地区生产总值超1.1万亿元,
“太狠毒了，连老人和孩子都不放过！”
,自拍网91,日本三级香港三级特黄,З D D ·。??时势4：超碰丝袜足交
??01月18日,湖南怀化国际陆港首趟中越铁路冷链农产品出口专列发车,
二是在天下率先开展了水权制度建设及相关实践。20xx年自治区水权收储转让中心注册建设以来，累计批复水权转让水量4.5亿立方米，解决了60多个大型项目的用水需求，可支持约1600亿元工业增添值的水资源需求。全区累计为灌区筹措节水刷新资金50多亿元，通过水权转让，不但解决了国家重点项目的用水需求，还带来了重大的经济、社会和情形效益，实现了“多赢”的效果。走出了一条干旱缺水地区经济社会生长用水的新路子。
,日日爽日日操,在线无码国产在线观看,国产在线拍偷自拍无码。??01月18日,贵州铜仁追“新”逐“绿”正当时, 凭证携程网数据，来自西方国家的竞争依旧强烈：由于航班数目增添，中国游客前往美国、澳大利亚和英国的预订量增添了三倍，前往西班牙、奥地利、意大利和格鲁吉亚等欧洲国家的预订量也翻了一番。只管云云，周游仍然展望，随着双方继续相助，前往中东的中国游客将继续增添。,456亚洲人成影视在线播放,十大黄台,欧美人与动牲交免费观看。
责编：周江波
审核：李大齐
责编：陈智国
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
