猫眼影戏
 |
|
猫眼影戏
荣嘉园
手机审查
猫眼影戏记者 努尔 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：gay 男男 Chinese 视频
??01月21日,东西问｜辛礼学：南海西北陆坡一号、二号沉船遗址考古有哪些亮点？,
12日上午10时，在第五个全民国家清静教育日到来之际，省教育厅、共青团湖北省委、湖北广播电视台配合在华中师范大学举行《同上一堂国家清静教育课》，营造国家清静人人有责、人人可为的浓重气氛。
,18馃埐馃悢馃悢。??01月21日,李佩霞受贿案一审宣判 被告人获刑三年,
一班：单波 张宇鑫 孙雨萌 时以琳 刘欣琪
,拍击打视频网站,亚州一区,国模大尺度私拍AV。??时势2：中国免费一级黄色网站
??01月21日,中山大学与深圳市将开展新一轮合作 推进深圳校区高质量发展,
三、三化建设为条件，三个统一为目的
,三级毛片,国产精品久久一级C片,www.yjsld.com。??01月21日,香港国际旅游展开幕 吸引约500间展商参与,
基础就没有人同情，可见他们通常为人办事何等的糟糕。
,亚洲爱爱爱视频,影音先锋最新资源在线,欧美日韩黄色视频。??时势3：国产一级免费视频在线
??01月21日,从宝岛台湾到彩云之南 海峡两岸参访团走进滇西,
“哦，你们继续，我去磨炼了。”新的一天最先，小不点吃过早晚后，奔向那处乱石瀑布群。
,在线国产精选,少年被爸爸c到爽到尿床漫画,二级AⅤ。??01月21日,云南镇雄突发山体滑坡47人失联 搜救工作紧张有序开展,
为了让学生们更深入地相识消防清静知识，使每一位同砚都树立起消防意识，掌握好消防知识，并具备自救能力，年3月25日下昼，我校特邀xx市消防支队xx区大队中队的彭警官，为我校学生做了一场生动的消防清静知识的专题讲座。
,97人人洗人人澡人人甜,在线三级片视频观看,激烈高潮AV喷白浆AV。??时势4：66色吧超碰97人人做人人爱
??01月21日,中新教育丨教育部部署加强中小学人工智能教育,
提到消防，同砚们自然会想到令人毛骨悚然的火灾二字。是的，火，带给人们灼烁，付与人们温暖。可是火也吞噬了无数生命，留下了累累伤痕。希望各人能做到“三懂”、“三会”。“三懂”即明确火灾的危险性，增强消防意识;明确火灾形成的原理，不玩火;明确火灾预防，起劲开展消防宣传。“三会”即学会火灾报警要领，学会使用灭火器扑救小火，学会火灾自护自救的要领。要时刻切记消防清静，学习消防知识，消除火灾隐患，防微杜渐，提防未然。
,欧美肏屄,A级黄视频,蓝u仙气正太安装包。??01月21日,浙港青年企业家聚首甬城 凝聚力量共话合作新机遇,
我是学前一班刘舒扬小朋侪的妈妈，今天我作为家长代表在这里讲话，并不是我这个家长在育儿上有多乐成，孩子有多优异，相信在座的许多是教育界的朋侪们和列位家长都有自己在育儿方面的乐成履历。我说的仅仅是在和学校先生的接触中，自己所见、所听和所想，在这里和各人一起谈谈小我私家的一些体会。
,三级18岁。网站,美女被挠胸 视频,一级A做一级a做片视频。责编：常盘贵子
审核：杨彦君
责编：陈仲伟
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
