猫眼影戏
 |
|
猫眼影戏
贾静雯
手机审查
猫眼影戏记者 苏宁云 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：欧美残忍捆绑tickle网站
??01月19日,2023年乌鲁木齐国际互换局共处理国际邮件逾740万件,
不要是说血肉之躯的人，就是坚硬的铁石，或者一座山头都能被直接抓的爆碎，金黄的大爪子慑人之极。
,雏田 爆 本孑。??01月19日,新动能行业利润较快增长（锐财经）,
一是要把农民群众的利益放在首位。 “事情法”的焦点内容，就是把农民群众的利益放在首位，把党和政府的要求与黎民愿望很好地连系起来，通过科学治理、立异要领，有用提高下层政权的执政水平和群众知足度。“事情法”是把科学生长观落实到农村现实、使干部和群众面扑面心知心、使下层党组织联系效劳群众的事情法，是起劲应对农村社会治理挑战、化解农村社会矛盾、因地制宜求实效、解决问题出实招的事情法，是新时期州里党委的出路。在详细事情中学习和运用“事情法”， 就是要在事情中始终将农民群众的利益放在首位，切记一心一意为人民效劳的宗旨，清正清廉，起劲做到“为官一任，造福一方黎民”。作为州里党委向导干部，一定要做人民群众的知心人，要经常到村里去，到农民家里去，到田间地头去，相识农民群众的所思所想所忧所盼，交农民群众的知心朋侪。要从与群众生爆发涯亲近相关的详细事情做起，从群众最不知足的问题抓起，每年有妄想地干几件改善民生的实事，踏扎实实地为老黎民办实事、解难事、做好事。
,左妻右妾网站地址在线观看,黄片免费啊啊啊,每年拿出一个亿动物与动物操逼。??时势2：韩日毛片播放
??01月19日,国家出台首个专门文件——银发经济催生新领域和新赛道,
“我要在这片精神天下磨砺己身吗？可是这里什么都没有，早已算是一片遗弃之地。”小不点很不解。
,欧美 日韩 另类,求av网址免费,九一插插。??01月19日,看图学习·众行致远丨携手构建亚太命运共同体 习主席这样阐释中国主张,
这村子什么来头？动辄就吃狻猊肉，怎么着，还看不上这头强盛的飞蛟了？要知道这可是一头极其恐怖的凶兽，一样平常的强者都远不是其敌手。
,裸体 ai去衣,978亚洲色欲影院,男女插入视频。??时势3：动漫精品无码
??01月19日,空调市场增长承压，如何走出“内卷”漩涡？,
要清静用电，要求各人不要用手触摸电线、灯管和插座，发明电器损坏后不要私自修理，应向先生和学校，请专人修理;上下楼梯要轻声、慢步、靠右行，不许将手搭在他人肩上或背上，不许坐在楼梯扶手上往下滑，禁绝在楼梯、楼道上追逐打闹;不靠近窗户玩耍探望。进校后禁绝外出，有事必需请假。
,欧美又黑又粗,原神同人18+网站,第一区欧美乱码高潮喷水。??01月19日,农工党青海省委：开展“雪山之王”本底调查，构建全国大数据平台,
所有人都嫌疑。他来自那里，大都出自远古神山，或者那些与世阻遏的古老禁地，要不然怎会不知。
,日韩se情网站在线网站在线,鞠婧祎日本差差差30分钟无掩饰在线观看,芙宁娜被 喷水自慰爽。??时势4：凯尔希18 禁同人动漫
??01月19日,西藏林芝：中国西藏第五届跨喜马拉雅国际公路自行车极限赛开赛,
皮猴名为石中侯，长的干巴巴，但实力极大，也很机敏，道：“我听林虎叔他们说，那山崖离村子不是很远，就是这个偏向，应该快到了。”
,啊灬灬用力灬嗯,,,,干,,,,,,中文字幕国产最新,亚洲天堂免费视频在线观看。??01月19日,拉萨哲蚌寺举行雪顿节展佛活动,
巨狼长啸，山地间树叶败北，被震落下大片，凶煞气汹涌。
,国产三级性爱大片,黄色一级片网站免费,a区欧美黄片。【135846.27万人次！五一假期全社会跨区域人员流动量出炉】
【文旅部：确定22家旅游度假区为新一批国家级旅游度假区】
责编：王克山
审核：蒙塔纳
责编：梁云
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
