猫眼影戏
 |
|
猫眼影戏
胡雄文
手机审查
猫眼影戏记者 程世才 报道Q8X2R7L1T4J5M9B6W3
随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理效劳效率的焦点瓶颈。自回归天生的特征使得模子必需存储历史 token 的 key-value 状态（即 KV cache）以阻止重复盘算，但 KV cache 的显存占用随着上下文长度的增添而膨胀，带来显著的内存瓶颈。
已往两年，关于 KV cache 的优化事情爆炸式增添，包括调理、迁徙、压缩等战略层出不穷。然而，现有综述主要聚焦于 LLM 推理或效劳的整体效率，大多仅将 KV cache 作为其中一个子 ？樽骷蛞致。
近期，来自墨尔本大学和华中科技大学的研究者们宣布了一篇深度综述，从MLSys 的头脑出发，用一套新颖的「时间 - 空间 - 结构」系统行为视角对 KV cache 优化要领举行了系统性梳理与深入剖析，并将相关资源整理成了一连维护的 Awesome 资源库，利便研究者与从业职员快速定位与落地。
论文地点: https://doi.org/10.36227/techrxiv.176046306.66521015/v3项目地点: https://github.com/jjiantong/Awesome-KV-Cache-Optimization
什么是「 sKis」 ？
为了提供更聚焦的视角和明确，作者们首先在综述中界说了sKis的界线：在推理效劳阶段，以 KV cache 为焦点优化工具，在不依赖模子重训或结构修改的条件下，提升吞吐、延迟等焦点系统指标。
从「系统行为」看 KV Cache
聚焦于 sKis，该综述立异性地提出以系统行为的视角来组织 KV cache 优化手艺：不是按详细流程、框架、算法来划分，而是按优化战略在系统中爆发的时间、空间、结构三个维度的行为来划分，从而更容易对齐工程实现与组合战略。
执行与调理（时间维度）：KV 什么时间被会见和盘算 ？该分类关注执行历程与调理。例如设计以 KV 为中心的调理战略，接纳流水线来掩饰延迟，或者凭证差别硬件的特征适配操作等。安排与迁徙（空间维度）：KV 放在那里、怎样迁徙 ？该分类关注数据的存储。例如在 GPU、CPU、SSD 组成的存储层级中怎样使热门 KV 留在 GPU 显存中，或者在漫衍式或异构的盘算装备中设计迁徙战略等。体现与留存（结构维度）：KV 长什么样 ？该分类关注数据体现。这是现在最拥挤的赛道，包括量化、驱逐等论文麋集的子领域，旨在直接镌汰 KV cache 的物理体积。
基于上述三个维度，该综述将现有事情归纳为 7 个二级种别，详细包括：以 KV 为中心的调理（KVS）、流水线与重叠（OVLP）、硬件感知的执行（HAE）、跨内存层级的 KV 编排（MHO）、跨盘算装备的 KV 编排（CDO）、KV cache 压缩（KVCC）、KV cache 留存治理（KVRM）。
该论文不但详细梳理了每个维度下的差别类型和手艺要领，还为每一类提炼了要害要点、局限与权衡，给出了可落地的适用指导。
深度洞察与开放挑战
这篇综述最有价值的部分之一，在于作者们对百余篇论文举行了全局交织剖析，从而归纳了7 大概害视察，并引发了6 大开放挑战。
首先，作者们对文献举行了跨行为共现剖析，以展现差别维度的 KV 行为之间的内在联系和协同模式；别的，作者们深入剖析了KV 行为和优化目的的作用关系，并统计了文献中对相关优化指标的现实关注情形。
基于以上两类交织剖析，作者们展现了目今领域的7 大概害视察，例如什么组合是最常见的协同模式 ？结构维度（如量化）虽然论文最多，为什么往往沦为系统中的「孤岛」 ？
基于要害视察，作者们进一步提炼了6 大开放挑战，例如在追求效率的同时，我们虽然常；峁刈⒌蕉云渲柿康挠跋，可是否往往忽视了可信度（trustworthiness）的隐形崩塌 ？该综述中对每一个视察和挑战都给出了详细的剖析和思绪，期待能引发社区向着越发高效与可信的 LLM 效劳系统的一连探索！
资源分享：Awesome-KV-Cache-Optimization 资源库
为了利便社区追踪这一飞速生长的领域的最新希望，论文作者同步维护了一个 Awesome 气概的资源库，收录并一连更新 sKis 领域的最新论文和代码实现。希望这个资源库能让你少走弯路！
地点：https://github.com/jjiantong/Awesome-KV-Cache-Optimization
若是你正在做 LLM Infra、模子压缩或者高性能盘算等相关偏向，接待在 GitHub 上 star 支持，或者来客栈一起补全与更新！
??时势1：范冰冰被强扒胸罩吃奶
??01月18日,四川康定山洪泥石流318国道受灾段已抢通,
“大人定心，这个孩子未来也许会不小心坠井、落山、或遭猛禽袭击而死，属于意外，没有一点痕迹与破绽。”
,李一桐被 视频在线免费观看。??01月18日,2024年环境舞蹈展演周在江西吉安武功山启幕,
而在他的体外，神曦笼罩，晶莹而圣洁，他宛如要羽化飞升了一样平常，洒落下大片的光雨，将湖泊都映照的一片通明。
,97中文字幕超碰精品,90后性爽网,一级女人毛片人一女人。??时势2：玖玖国产在线观看
??01月18日,是乡愁也是风景！暑期漫步古镇 感受烟火人间, 省应急治理、农业农村、水利等部分建设由25个厅级干部带队的事情组和27个专家组，分片包市深入一线、深入下层，对各地水源调理抗旱播种、抗旱保苗等事情举行催促指导，实时协调解决遇到的现实难题和问题。各地也起劲接纳行动，组织职员实力周全开展抗旱。,GayFuCK激情亚洲男同,美女的视频免费高清在线观看梦见在海边捡鸡蛋,性爱视频一区二区免费五次。
??01月18日,俄罗斯女商人逐梦厦门：金砖合作开启无限商机,
四头生灵，神威都不可想象，一边酣战一边吼啸，震惊了这片无垠的大地，那些原始宝骨难以起作用了。
,日韩黄片一道本视频,激情偷乱人伦视频在线观看免费,国产A一级专区。??时势3：东北帅小伙GayVⅰdiσ
??01月18日,全国铁路今天预计发送旅客1865万人次,
增强村级干部培训，是贯彻落实党的xx大、xx届三中全会精神的需要。党的xx大对我国农村经济、政治、现代化建设做出了周全安排。既有统揽全局的思量，又有详细着实的安排;既有很强的针对性，又有可行的指导性，可以说是集头脑性、政策性和操作性于一体的纲要性文件。通过培训，使宽大村干部深刻明确党的xx大、xx届三中全会精神的实质，进一步认清目今农业和农村经济形势，充分熟悉增添农民收入的主要性和紧迫性，明确中央关于增进农民增收的总体要求和政策步伐，增强做好农民增收事情的责任感和自动性。
,国产色视频一区二区免费看,国精产品视频一二二区免费,18以下禁止视频免费观看网站。??01月18日,“千年打卡胜地”湖南零陵以民俗庙会布局“春节游”,
今天，我们在一起，配合研究探讨本届结业班事情，目的就是要在抓结业班事情方面形成共识，在抓好结业班事情方面形成协力，从而提高结业班的教育教学质量。
,欧卅少妇逼大吗？,一级AAA特黄A片在线观看,操操操com。??时势4：欧美一级abbb
??01月18日,（新春走基层）农文旅融合：无锡偏远小渔村变身“近郊旅游目的地”,
“远古神禽与凶兽，天生肉身强盛，生来近神，未来的亨衢宽阔。而人族则差别，由弱小起步，逐步苦修，亿万生灵中才华飘逸出一个，进而为神。”
,国产区黄A片精品视频大全,国产精品精品推荐第一页,免费看毛片免费看。??01月18日,强冷空气将席卷我国大部地区 台风“天兔”加强为超强台风,
云层中，青鳞鹰体态一颤，心中惊惧，狻猊竟然没有死，而适才它们还在为了争抢它的遗体而战，这是何其恐怖的事情 ？！
,欧美性生活黄二区,91精品专区国产丝袜在线拍国语,欧美老妇人性交网。责编：叶笃正
审核：芭芭拉·斯坦威克
责编：鲁萨娜·伊波拉吉
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
