首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《AOV女士官》 ，《Q8X2R7L1T4J5M9B6W3》naruto18 tube雏田3D
“色久一片在一喷色se”
天堂男人在线视频
……
01月18日
“美女打开双腿 蓝莓视频”长相思 第二季
↓↓↓
01月18日 ，【两会30秒】云南省委书记王宁：云南旅游业是惠民项目 很多收入都到了农民手里 ，人人操人人闹 ，秦彻外网漫画免费观看 ，做爱视频免费 ，女扒开腿㊙️让人尿爽
01月18日 ，中越边民欢歌载舞共庆边关“春龙节” ，国产 精选 页 ，四川少妇XXX奶大XXX ，欧美性爱夜夜视频123455 ，91丨九色丨蝌蚪
01月18日 ，中新健康｜中国专家成功探索“极速康复”管理 带来医疗成本控制新策略 ，女警裸体被 叫爽漫画 ，【乱子伦】海角社区 ，操美国大逼 ，黄色一级片在线视频
01月18日|中新健康丨中疾控：得过甲流仍有可能得乙流|国产免费女主播黄色视频|视频黄片免费看|久久综合久久综合|国产美女一级牲交片在线观看
01月18日|遵义会议会址文物守护人：保护革命文物 传承红色基因|wwwsesecom|免费黄色网站在线看2|在线人成免费观看播放|🍁可以买足球的app排行榜前十名
01月18日|探访“偶遇——贵州木偶艺术展”：木偶艺术“传承赋新意”|九九视频线九九视频81|打屁股真人网站|人妻丰满被色诱中文字幕|日韩 一区 欧美……
01月18日 ，亿缕阳光丨置顶你的自信 ，小 戳进 里面91抖音 ，尤物网站 ，亚洲欧美精品专区极品 ，姐姐被操飞了
01月18日 ，海南临高柚子抢“鲜”批量上市 ，黄视频网站观看 ，女教师被学生玩高潮 ，亚洲日本美女视频网站 ，StellaCoX满天星
01月18日|江苏一高校开设特色桑蚕课受热捧东西问｜许谋景：以关公文化为媒，架中菲人文交流之桥|欧美国产538精品A级|柳菁菁80萃专辑|一级作爱|91黄片影院
01月18日 ，拉美地区加快推动初创企业发展（环球热点） ，美女被躁免费视频软件 ，女子亂倫大雞巴 ，欧美性人妖XXXXⅩ极品 ，下载蜜桃传媒
01月18日 ，【东西问】安娜伊思·马田：我唯一的身份是中法文化艺术交流的“桥梁” ，717午夜理论 ，AV制服丝袜天堂先锋影音 ，超碰在线播放免费观看 ，免费人成在线观看网站大陆
01月18日 ，国产大型民用直升机AC313A开启高寒试飞 ，人人添人人摸 ，麻豆精品国产91福观看 ，黄片a级免费观看 ，美女免费黄色网站a
01月18日|北京青年交响乐团亮相纽约卡内基音乐厅|黄片免费毛片|激情小说激情图片激情电子|陆雪骑小马拉大车|色七七久久综合
01月18日|中国南方多地迎来降雪 琼花飞舞美如画|黄片三级片免费观看|亚洲欧美性另类春色|五月婷婷色色|免费视频在线观看91
01月18日|民调显示：中日超半数受访者视对方为本国重要经贸伙伴|美女裸体视频久久|體育生學長打飛機Gay|最新国产福利|婷婷五月综合色啪网站
华硕宣传可自动加速原神剧情 ，印度男子跳舞时心脏病发倒地|“中巴青年故事会”：云端展“看中国”万千气象|饥渴老熟妇乱子视频在线播放|国产乱子化伦精品无码专区|芙宁娜的黄本本|日本色色色2021
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
海南：与电影共成长
中外专家：老龄化挑战需国际合作应对
国台办：无中生有是民进党当局抹黑大陆的惯用伎俩
《哈尔滨一九四四》今日开播 秦昊一人双面上演藏锋破局
广东气象部门解答11月为何还台风扎堆
重庆一教师在餐馆酒后咬伤学生耳朵 警方：行拘10日
15000名跑友角逐达州马拉松 打破四项赛会纪录
（新春见闻）山东济南：趵突泉迎春花灯流光溢彩
新型消费彰显市场活力
农业农村部：2023年农村网络零售额达到2.49万亿元
国产视频入口免费
欧美性情在线播放
A片在线网址
国产一区二区青草久久
在线观看夫妻黄色视频@一级网站
求亚洲三级片在线网址
人娶斩c0930在线播放最新章节
美国美女性爱
www. 26uuu.com
deo free少妇
闽公网安备 35010302000113号