猫眼影戏
 |
|
猫眼影戏
严永胜
手机审查
猫眼影戏记者 杨云芳 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：你懂的网址在线
??01月14日,“尔滨热”能持续到夏天吗？,
3、广发乡是界线乡 ，民俗强悍 ，社情重大 ，维稳形势依然严肃。与新田、宁远的周边州里关系玄妙 ，村与村之间田土山林纠纷多 ，村内房头头脑严重 ，挑事端 ，强出面的小团伙仍然保存。广发人喜欢“大块吃肉 ，大口喝酒 ，高声语言”的激情等等 ，治安形势禁止乐观 ，务必时常坚持苏醒头脑 ，各村一要抓苗头 ，二要抓整治 ，三要抓处臵 ，四要抓责任。综治主任由乡综治办审核。
,妓女视频网。??01月14日,山西积极应对人口老龄化 健全完善工作体系,
优异的作风 ，是向导干部赢得民心、成绩事业的基础。在全镇促生长、保稳固、保民生的要害时期 ，进一步强化干部作风建设 ，建设一支高效、勤政、务实的干步队伍 ，显得尤为主要。
,欧美日韩α片在线观看,亚色网妓女网毛片网上射射网,www.16 梦网站。??时势2：00 后粉嫩午夜福利视频
??01月14日,巴西学者：中国的扶贫理念对二十国集团里约峰会具有启迪意义,
这不像是符文构建的银月 ，由于太真实了 ，倒像是天上的神月坠落 ，灵动而逼真。
,中国chinagary武警飞机,日韩天堂在线视频,人干人操人摸免费视频。??01月14日,无锡民族乐团在老挝奏响春之乐章,
??时势3：99色在线
??01月14日,浙江杭州打破1月中旬最高气温纪录,
赤红的小雀儿绝不逊色 ，令许多山峰化成了岩浆 ，赤红液体喷发向苍穹 ，如一道道红色的大河相同了天地 ，而那只是余波 ，真正的大战在天穹上！
,国产成人瑟和尚久久久久,白丝打屁股,自拍偷拍激情文学。??01月14日,李子璇：大湾区春晚让我由“I人”变“E人”,
“小不点来我们云天宫吧 ，到时间我们带你去看雪海 ，喝最香醇的兽奶。”两个小女人启齿 ，冲小石昊眨动眼睛。
,XxXxVIDeos绝顶高潮,日本妇成熟A片免费观看,欧美激情影片在线观看。??时势4：一级特黄AAA大片免费m
??01月14日,新华社权威速览｜推动落实全球安全倡议，习近平主席这样说,
20xx年 ，是*集团具有主要意义的一年：她迎来了*集团建成投产22周年 ，迎来了股份公司建设5周年 ，迎来了中国降生10周年。20xx年 ，我们厂家和经销商朋侪并肩战斗 ，战胜了一个又一个难题 ，实现了厂商双赢的大好时势。
,在线观看扣喷水,在线观看av网站特黄大片,毛片在线播放不卡免费。??01月14日,东西问｜莫言：与人为善，为爱奔跑，为善呐喊,
小不点去修行时 ，曾亲眼眼见一头五十米长的巨鸟横空 ，吐出一口火光 ，直接将一座山头熔成了岩浆Ｉ杏幸淮胃羌揭煌妨杓莅倜椎拿颓 ，没入云层中 ，抓下一头蛟 ，撕成两段 ，吞食进了腹中 ，血液如雨点般洒落在山中。
,国产女精精品网站,小s货C你,tk游戏手机版下载。责编：朱兆祥
审核：凡妮莎·帕拉迪丝
责编：张应理
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
