首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《一级一级一级毛片》，《Q8X2R7L1T4J5M9B6W3》性欧美一级视频免费播放
“欧美曰人人操人人干”
第五小女孩产奶大全视频
……
01月15日
“水宜方按摩师10921m3l8最新进展”韩剧 中国白瓷
↓↓↓
01月15日，专家呼吁：科学做好月经调控，日本强奸乱伦电影中文字幕，魅惑美女免费视频网站，purnhub官网安装入口，伦理片美女献身视频在线观看
01月15日，广东发展“年菜经济” 背后为何藏着一个“深”字？，大胸美女做爱，永久免费A片在线观看全网，国产激情日韩精品无码，亚洲精品无码aⅴ中文字幕
01月15日，九部门开展第27届全国推广普通话宣传周活动，人人尻人人舔人人操，十八禁免费网址，在线观看黄Ⅴ免费视频，ppyy101.com
01月15日|【理响中国·实践新论】海报|坚持自立自强与对外开放有机结合的生动缩影|狼友网站在线看h|日本肏屄视频|女主播午夜福利在线一区二区三区四区五区|精品精品
01月15日|闽南语歌后陈飞：闽南语歌曲是一种流动的乡愁|欧美色图亚洲专区|国产精品迷奸熟睡|色影音资源|污污的网站免费观看网址
01月15日|胰岛素国家接续采购明天开标，能否继续降价？哪些企业受益|国产主播在线第一页|国产一极黄片|免费黄色网站视频|欧美熟妇激情……
01月15日，9条河流12个站超警 广西发布洪水蓝色预警，又大又粗又硬的曰皮视频，18成禁人视频在线观看免费，黄色艹网站在线观看，黄色视频在线地址最新
01月15日，广东岩溶石漠化、沙化地区植被盖度均超80%，金克丝被 娇喘流白色液体，久久久99热这里有亚洲，国产女同视频在线观看，免费一级欧美视频
01月15日|“只收费不服务”，多地殡仪馆干部被查！|91免费A级毛片无码A∨中文|www.青草|小川阿佐美PGD606|亚洲少妇性爱
01月15日，美防长奥斯汀继续在家休养 将线上参加对乌援助会议，免费 无码 国产在线观看91，国产三级电影免费，xxxx、黄色视频在线观看，禁止看的黄片视频
01月15日，中国体操女队结束奥运选拔 邱祺缘全能头名，草 免费 视频，轻点太大好深 好快视频，狼友网站在线观看，伊人啪啪网
01月15日，《习近平关于健康中国论述摘编》出版发行，免费毛片视频，亚洲免费看视频，色欲一区二区三区四区，国内自拍第三页
01月15日|自助人助加公平竞赛 中国队晋级世预赛亚洲区18强赛|在线观看操比黄片视频|免费又爽又黄的视频网站|亚洲中文字幕无线乱码免费|又黄又刺激的黄片
01月15日|【光明时评】“小绿化”内蕴城市治理“大智慧”|国产免费级色色片|国模人体无码AV无码|色老头福利导航|欧美三区四
01月15日|编造涉汛谣言扰乱秩序 虚构社会事件混淆视听——中国互联网联合辟谣平台2024年7月辟谣榜综述|久久怕国产视频|国产小电影精品无码视频|国产 丝袜 在线 亚洲 日韩|国产精品区免费视频
被诬陷偷拍男子裸辞：维权耗费精力，败北女角太多了！|走进“中国第一件羽绒服诞生地”共青城 羽绒服生产销售正忙|王馨瑶在空中露出半个乳头|芙宁娜的黄本本|人人操人人插|欧美春色
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
水利部针对8省启动干旱防御Ⅳ级应急响应
（两会访谈）全国人大代表施惠芳：加快提升制造业含金量
中国广电内蒙古网络有限公司原党委书记、董事长付海波接受审查调查
2024年京北快乐足球节落幕 传递健康运动理念
中国正能量｜华韵西行
“我的公交我的城”活动珠海收官
刺探中国：起底007老东家
中央气象台：西北地区东部黄淮及以南地区有雨雪
国务院安委会决定对河南大学大礼堂火灾事故查处进行挂牌督办
云南昆明：“圆通花潮”春意浓
欧美 视频 在线
胡秀英腐书吧
国产黄视频色
xxx人妻交换中国人妻
性欧美性A片少妇
国产欧美精品丝袜久久
在线观看视频免费18
英语老师躺下让我C她视频
小🐤🐤戳进🍑无遮挡监控
体育生骚0呻吟双腿大开男男
闽公网安备 35010302000113号