首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《免費的黃片啊www》，《Q8X2R7L1T4J5M9B6W3》i站佐伊版兔子洞plus攻略
“国产色欲潮水喷浆A片视频”
成人A片免费
……
01月16日
“做爱免费在线观看”奥奇传说 神运梵妈攻略
↓↓↓
01月16日，进博会在马来西亚举办推介会，蜜桃在线码无精品秘 入口九色，操逼软件大全，免费日韩视频在线，jizz国产激情黄色片
01月16日，CBA常规赛：北京北汽止步6连胜 联赛已无全胜球队，玖玖视频免费观看视频，国产精品国产三级欧美，日本18+电视，亚洲AV无码秘 蜜桃目黑惠
01月16日，三部门发文严禁小学超前超纲教学，欧美午夜乱色视频在线观看，又黄又裸，一级免费看片A级免费看，啪啪出水视频
01月16日|广东英德：部分乡镇内涝严重 已转移民众43869人|亚洲av办公室啊|国语刺激对白精品视频|夜间中文激情在线观看网站大全|天天影视插插综合网日韩
01月16日|日本杂志附赠“满是大熊猫”笔记本获好评|一级AAAAAAAABBB|进 里 片91|亚洲一区色图|玖辛奈283224
01月16日|2024中国民营企业投融资洽谈会在天津开幕|18禁免费看|gay头条|人人干,人人爽,人人射,人人骚|日本少妇⭕⭕⭕⭕XXXX软件……
01月16日，贵州榕江：金秋乡村美如画，亚洲日韩爱爱视频，佐良娜吃博人的大狙的背景故事，困熊被 c 扒衣服，又大又粗的免费黄色视频
01月16日，【巴黎奥运会】张雨霏：眼泪为挥舞的五星红旗而流 观众都在挺我，美女插鸡免费，免费看又粗又大又硬A片，成人 免费，www黄视频在线观看
01月16日|【央广时评】弘扬志愿精神 凝聚向上向善力量|国产精品偷窥熟女老女人|蘑菇视频在线观看入口怎么注册账号|高清一区二区免费视频丶|邪恶漫画无遮挡
01月16日，秘鲁羊驼玩偶“温暖驼”成进博会热点 外交部回应，又色又粗又长又高潮的视频，成人免费 游戏，嫒秘，亚洲男男GaYGaY无套
01月16日，晋中“破题”山西中部城市群建设 与太原上演“双城记”，喷水在线观看，高中女惩罚掀裙打屁股网站，黄页网站激情视频，黄色1024
01月16日，头茬西瓜！江苏沛县3万多亩西瓜甜蜜上市，欧美乱妇日本乱妇么久久，日韩视频无码视频，欧美另类残暴A片免费观看，老妇老熟女老女人AV
01月16日|小组赛次轮遭遇黎巴嫩，中国男足能否绝处逢“胜”？|meinvmo1|欧美一级久久久影院精品|一级黄片免费观看|男女生双排视频网站
01月16日|餐馆饭店小菜单 藏着多少小心思|好好的曰com视频观看|国产尤物黑丝无码尤物在线观看|欧洲一级高清片免费一级a毛片|5060午夜一级毛片
01月16日|镜观·回响丨东北加快构筑向北开放新高地|日本 free学生|色夜色在线视频|偷窥自拍色图|欧美亚性爱小说视频一二三四
韩国在野党提交总统弹劾案，智能路障开团米游头部UP主|广东查办侵害消费者权益案件933件 罚没878万元|在线观看国产黄色网站|无码中文字幕人妻潮喷|www日韩射精网站|91绿帽共享人妻
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
五台山景区“五一”期间单双号限行“晋H”号牌车辆
川金丝猴现身青川落衣沟刷新最低海拔纪录
西方秘密调查“北溪”爆炸 真正破坏者却从未被曝光
好评中国·五四青年节漫评③丨铭记金刚川上的“英雄桥”
探访雄安自贸试验区交流展示中心 一座“有气息的大楼”
中国传统文化、体育运动“汇流”法国 助推两国文明互鉴
扫码消费不应成为“单选题”
鲍威尔“泼冷水”！事情正在起变化？
（身边的变化）医生亲历：乳腺癌治疗的破茧之路
法国学者：未来四年，特朗普可能把欧洲“推”向中国
亚洲国产精品国自产拍社区
久久电影国产精品999
佐良娜被鸣人 黄3D
97精品人妻无码专区在线视频
波多野结衣之双飞调教
不卡日本性爱视频
亚洲免费片
国产偷窥盗摄视频在线
特级欧美AAAAAA片,
无码免费毛片一区二区三区
闽公网安备 35010302000113号