猫眼影戏
 |
|
猫眼影戏
李犁
手机审查
猫眼影戏记者 罗泽尔 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：在线观看熟女初撮
??01月18日,体坛观察 | 全新国足启程前，中超各队先“跑”起来了,
??01月18日,福建省防指启动防暴雨Ⅳ级应急响应,
我在自愿者协会事情了近半年的时间，从事情中，我学会了怎样为人处世、怎样学会忍耐，怎样解决一些矛盾，怎样协调好各成员之间的关系，怎样处置惩罚好与其它部分之间的关系，怎样发动一切可以团结的实力，怎样提升和运用良才，怎样处置惩罚勤学习与事情之间的矛盾 。这一切证实：我有能力胜任学生会生涯部部长一职，并且有能力把学生会发挥光大 。我不想放弃这份能为各人效劳的事情，也希望先生们不要放弃我这份想为同砚们默默贡献的心 。 最后，着实关于部长这个看法我很生疏，可是我明确的是：成为生涯部部长是我事情的须要条件，希望先生们能给我这次时机 。
,暖暖高清在线视频日本,80岁老岳一晚三次,这里只有精品 99re 。??时势2：樱岛麻衣无码AV在线
??01月18日,面对AI，巴菲特为何“投资理念不会有任何改变”,
它迅速转身，此后猛的一跃，直接向着小不点扑去，这可是一头数十米长的庞然大物，这若是击中，必是山崩地裂 。
,亚洲黄色网站一区,一区二区一级毛片,人人干人人操内射 。??01月18日,（铸牢共同体 中华一家亲）“铸牢共同体 中华一家亲”主题宣传“八桂大地展新颜”集中采访启动,
一是统一头脑，提高熟悉 。村官既是干部又是农民，是党的目的政策的宣传者、组织者，是农村各项事业的主干实力，村官素质的崎岖在很洪流平上影响着农村各项事业的生长，这就要求我们在头脑上要高度重视，一直增强学习，一直提高自身的素质 。这也是农村村干部培训的起点和驻足点 。
,AAA一级毛片一区二区,欧美区日韩区亚洲区在线,性一交一乱一伦一色一情免费视频 。??时势3：蘑菇tv传媒官网页
??01月18日,湖北楚纪南故城发现战国早期城墙,
小不点担心的说道：“大婶，不可的话，我们将狻猊先放在这里，或者将这只离火牛角扔下去，转头我们再来寻 。”
,人人看人人摸人人操人人干,欧美强操网,黄色视频在线连接视频在线 。??01月18日,冷空气减弱南下 西南地区东部等地将有小到中雨,
成了你们的信仰
,99久久99热这里只有精品,9久久,国产做受69�7�4�7�4�7�4高潮A片,国产美女羞羞视频免费视频 。??时势4：欧美日韩亚洲二区在线视频
??01月18日,“宪法人生 与检同行”国家宪法日主题活动在京举行,
第二 规则态度，态度决议乐成 。
,白丝梦莉裸乳被爆❌白浆官方版,女帝汉库克同人漫画高清版,欧美暴力猛交99 。??01月18日,菜市场“网红”之路：传统农贸市场如何转型？,
六是起劲推动文体事业的生长 。20xx年9月份，经县委、政府批准，乐成举行了索县首届男子篮球联赛，十支步队、二十四场角逐，观众人数突破两万人，影响很大，意义深远，极大地推动了我县体育事业的生长 。
,老熟妇网站,中国黄色AV网站,免费b站9.1 。责编：苗圩
审核：浦一芬
责编：沙西米
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
