猫眼影戏
 |
|
猫眼影戏
王建康
手机审查
猫眼影戏记者 阿布力孜·斯迪克 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：国产第一页浮力影院草草草草影院
??01月18日,2025年新版MBTI测试准不准？别让“人格标签”左右你的人生 ,
新年伊始，在许多人还陶醉在节日的气氛中时，我们在这里召开20xx年度总结表扬聚会，首先我代表局党组向在座的列位，并通过你们向全体医务职员及其眷属致以迟到问候!向节日时代一直坚守岗位的所有医务事情者体现最真挚的新年祝福!向刚刚受到表扬的**名优异医务事情者和**个优异整体体现祝贺，希望你们要再接再厉，戒骄戒躁，争取取得越发优异的效果，同时也希望未受到表扬的同志们要在新的一年里迎头遇上 。
,操逼真爽 。??01月18日,台胞“西游记”：亲身到访，惊喜和震撼远超网络内容,
最终，青鳞鹰第一个上前，尚有几头异兽也跟了过来，有一头状若火麟，尚有一只有点像犼，它们都是外围区域的霸主，不过除却青鳞鹰外，其他几头不属于这片区域 。
,国产av自拍一区,26uuu欧美日本变态日韩,deepseek成人版18+ 。??时势2：海贼王18+破解版
??01月18日,希望的田野上一派好“丰”光 “智能机械+良机良法”提升秋种质量,
许多国家包括我们中国，早就把树木的；ち形斯业闹饕咧 。由于全天下过量二氧化碳排放导致的天气转变，现在已经极大地威胁到地球上人类的生涯 。而树，正是二氧化碳的最大克星 。
,x x x n x x x,日本丰满老熟妇专区一二区,绝区零r18 。??01月18日,三峡库区航运繁忙有序,
尊重的列位、列位先生，亲爱的同砚们：
,欧美亚洲色图,亚洲欧美自拍一区,欧美性爱片免费在线观看国产一区 。??时势3：国产中文在线
??01月18日,“龙元素”占主角，生肖经济激活新年消费市场,
??01月18日,被拜登攻击曾在美国“非法工作” 马斯克发文回应,
??时势4：huangsewangzhanshipin
??01月18日,雄安北斗技术应用大赛决赛开赛, 纪宁说：“西欧国家的网球市场已逐渐进入饱和阶段，中国被以为可能带来新的爆发性增添点 。”他以为，在中国这个网球新兴市场，应更充分地挖掘体育明星的商业价值 。“这有利于周全释放中国体育经济的增添潜力 。”,欧美大片AAAAAAAA免费,大吊无码中文字幕视频,18 无套直[yuexiaOpenAgentId] 。
??01月18日,习近平离京赴利马出席亚太经合组织第三十一次领导人非正式会议并对秘鲁进行国事访问,
在现代这个社会只有一直的学习，一直的思索，在学习中吸收原理，增强自身修养才华急流勇进，一起领航 。学习是自己的事，是一件快乐的事，若是把学习当做“被”学习，那我以为学习就酿成了一件痛苦的事，由于强迫学习的质量永远都不可能逾越自主自愿的学习 。
,桃色av,竹内沙里纳夸最经典十句话,少妇做受 高潮100 。责编：胡安琪
审核：杨志今
责编：陈金妹
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
