首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产美女精晶一级A片》，《Q8X2R7L1T4J5M9B6W3》美女脆床 被 视频
“强奸乱伦视频网站”
欧美日韩又a视频
……
01月18日
“日本黄色aqq”杨幂新片《火锅》票房扑街
↓↓↓
01月18日，（高质量发展调研行）浙江最大网箱养殖基地：养殖面积3000余亩，日本无码色情aⅴ大片现场版小说，亚洲乱色国产精品，大鸡巴操骚逼免费，人人搞人人操人人爱
01月18日，江苏南京：全国青少年民乐好手上演视听盛宴 展现青春风采，麻豆一级a片，男女猛烈无遮挡免费视频网站，日韩无码av网址大全，色诱视频在线观看
01月18日，“五一”假期前三日，上海空港口岸出入境人员超26.8万次，djr88，国产老肥婆视频二区，男女性爱骚逼免费视频，亚洲日韩激情无码一区国产
01月18日|中国科研人员研究发现大熊猫表现出更高的进化或生态潜力|国产精品免费视频色拍拍APP|国产超级av|人人妻人人澡人人爽人人精品|欧美性2页
01月18日|明年大中小学普遍开展人工智能应用|熊猫yy8y(3)|国产精品黄色片视频在看|欧美性爱在线操|欧美性爱导航
01月18日|【东西问】胡鞍钢：进一步深化改革、中国式现代化将为世界带来什么？|www.www黄|三级网站不卡|白子光溜溜软件|女同学白袜调教丨Ⅴk……
01月18日，宁夏开展全国孤残儿童护理员高级技师、技师职业技能等级认定工作，肉捧 嫩 乳 夹住 呻吟，嫩草 嫩草VA88V，老熟妇无码，99国产高清久久久久久
01月18日，男子网坛“辛卡拉斯”时代即将到来，你的下面好紧啊视屏，性生交视频免费，美女黄色应用，AI白鹿喷水
01月18日|贵州黄平：映山红花开美如画|18黄网站|yy8y gov|亚洲国产久久|成人免费看片 app
01月18日，最高法：2023年全国新收知识产权案54万余件，别告诉妈妈安卓版官方下载2023，没戴套让他C了一天，人人干人人操用力插嗯啊，免费播放A级毛片
01月18日，多国和国际组织重申恪守一个中国原则 外交部：正义之声、和平之声，久久激情av，亚洲综合天堂无码AV香港，日本色色色网，免费 成人 美女在线观看网站
01月18日，四川眉山出现奇特辐射雾“云海”景观，《艾薇儿の繁殖计划》6.6.7，亚洲精品v在线播放，国内外人人操人人色，黄片a片国产
01月18日|跟着总书记探寻中华文明｜汉风汉韵 源远流长|免费。色婬|三级在线视频,网站|亚州Aⅴ天堂综合在线|婷婷激情永久就去吻亚洲综合
01月18日|用新质生产力引领农业|歐美日韓AAA免|欧美一级爱做在线观看|精精国产XXXX视频在线app|无码日韩免费视频一区二区三区
01月18日|黑龙江：赫哲族“上岸”亮相“尔滨”|图书馆的女友星辰电影|免费A级在线播放|！黄片一级|国产精品日韩欧美视频导航
刘亦菲替林更新澄清，这些“宝”总书记叮嘱要呵护好|“归雁”扎根山林 福州小山村蝶变展新颜|黄色欧美性爱456|a人成日韩视频在线观看|欧美熟妇精品一级A片视色|国产不卡一级黄色录像
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
习近平向联合国贸易和发展会议成立60周年庆祝活动开幕式发表视频致辞
近距离｜中法国旗飘扬 法国热烈欢迎习近平主席到访
东西问｜海春生：如何挖掘好、使用好民族古籍资源？
88%在华日本企业视中国为重要市场
广州推动智能网联汽车地图生产革新
（乡村行·看振兴）江西乐安：“金果”迎丰收 增收“油”盼头
中国科研人员发现十种蜘蛛新物种
【巴黎奥运会】潘展乐：我还是我，一切都靠自己
五缘湾片区的“厦门实践”：打造人海和谐“城市新客厅”
广西北海传承“海丝”文化 文旅产业“百花齐放”
日韩欧美另类性视频
麻花豆传剧媒国产剧在线播放
蘑菇成人视频网
欧美老妇乱码伦视频
免费色情网址
小清纯可爱女生的小嫩b被男生疯狂c视频
啊疼轻点搞黄色网站
人人干人人看人人插人人操
暗拍歌舞团2免费观看高清
WWXX免费视频
闽公网安备 35010302000113号