首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《王玉芳脱了内裤张开腿让男人桶》 ，《Q8X2R7L1T4J5M9B6W3》国产在线播放三级视频
“欧美在线中文字幕”
韩国黄色美国黄色免费45分钟
……
01月18日
“国产一级高清视频免弗”咒术回战 第二季
↓↓↓
01月18日 ，“暖冬”应对寒潮 多地推进供暖建设 ，美女视频黄的免费视频网页 ，黄色网站动 ，级特大黄片视频影院产 ，国产AV永久无码天堂影院
01月18日 ，第四届饮水思源·探秘三江源公益活动启动 ，推特r8 ，女明星三点尽露合集 ，欧美黄色一级A片免费看 ，精品三级片小视频网站
01月18日 ，村味儿+国际范 青海建设高原特色体育强省 ，人人人摸人人人操人人人 ，国产精品乡下勾搭老头 ，亚洲区偷窥街拍性综合网 ，免费观看学生黃色A片
01月18日|政策“组合拳”+数字化建设 中国高水平对外开放铺展恢宏画卷|66J8美女|十八岁以下禁看|影音先锋小说资源|小萝裸乳 码 遮在线观看
01月18日|国务院安委会决定对河南大学大礼堂火灾事故查处进行挂牌督办|国产一级免费在线黄色视频|小仙儿《仙儿骚麦》歌词|《出差的日子》叶爱|久久久久久国产精品无码影片
01月18日|国际识局：如果针对尹锡悦的弹劾案通过，会发生什么？|叶山小百合最美丈母娘免费完整版电影|一级特黄a免费观看视频|又大又长又粗视频|中文字幕在线14页……
01月18日 ，李政道追思会在上海举行：“细推物理 何用浮名” ，男男Gay做受 高潮sm ，国产精品一区aⅴ ，日本精品网站在线中文 ，44388XX视频最新免费网
01月18日 ，民营经济大市聚焦“首季效应”：忙生产 拓市场 ，澳门无码黄片 ，毛茸茸业余亚洲 ，性爱不卡视频网站 ，欧美爱爱让视频免费
01月18日|锚定现代化 改革再深化丨以科技创新引领现代化产业体系建设|人人插人人操人人看|陆光被 到失禁爽到微博|色e网|学生跪床 被 网站
01月18日 ，《中国大百科全书》第三版首批纸质版图书集中面市 ，九色 国产精品 ，欧美牲交全视频播放 ，黄色网入口 ，爱爱无码毛片亚洲试看无码毛片
01月18日 ，中新健康丨国家卫健委：全国医疗机构发热门诊接诊量呈波动下降趋势 ，亚洲国产中字在线视频 ，💱乐发VIII下载安装 ，黑桃滴滴群网站免费观看 ，欧美性爱电影播放
01月18日 ，收录近500幅优秀作品 《你好，插画》新书在广州首发 ，yinnvsexxxx ，国产福利毛片不卡片 ，美女 C 八衣服视频 ，特黄真人免费AAA级毛片
01月18日|浙江小伙在荷兰开火锅连锁店：让“中国味”走向世界|触手钻进了护士的私密部位|男女性黄网站|玖玖爱在线观看精品视频|成h黄色视频在线播放
01月18日|经济日报评论员：聚焦中国式现代化献计出力|91高清国产在线一区|天天操操|麻豆视频免费在线播放|学生18和老师做爱摸胸
01月18日|《国家医疗保障局关于印发〈长期护理保险失能等级评估机构定点管理办法（试行）〉的通知》 政策解读|深田在线|激情乱伦小说网站|国产无线资源第一页一级黄色性生活代|中文字幕丝袜无码有码在线
赵立坚妻子自曝患癌 ，指纹前女友|“用羽毛球的价引球拍的流”也是虚假宣传|在线观看毛片视频免费|嫩草影院啪啪啪啪啪啪|久久九九99精品网站成年|国产WWWWW免费在线观看
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
第二届环西自行车中国挑战赛·北京昌平将于今年5月开赛
重达2492克拉！博茨瓦纳发现世界第二大钻石
【国际熊猫日特刊】被“圆滚滚”萌晕了！国宝表情包大合集来啦
台风“康妮”逼近 马尾至马祖“小三通”客运航线停航
京津冀协同创新共同体——天津滨海—中关村协同创新服务中心启动
何以中国丨孔子与苏格拉底，视频通话！
2023年中国服务进出口额同比增长10%
美媒：特朗普考虑提名昔日政治对手出任国防部长？
男子与家人失散41年 湖北宜昌警方助其团圆
民进中央参政党理论研究年会（2024）在海口召开
国产丰满熟女91pom
美女高潮黄又色高清视频
涩涩网站免费观看
欧美性爱性爱性交免费不卡特级黄色视频在线播放
一级特黄女人精品毛片
欧美A片免费
一区一级黄片
日本疯狂吮乳吸奶头
姬小满被 到爽 高潮动漫
色多多app成人版 入口451
闽公网安备 35010302000113号