猫眼影戏
 |
|
猫眼影戏
宋翊
手机审查
猫眼影戏记者 罗墟 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：把我的香蕉伸进美女的桃子
??01月16日,海南：与电影共成长,
??01月16日,2019年至今广东完成海岸线整治近300千米,
“不止一头，竟然这么多！”
,失禁少女,流萤的惩罚游戏v3.0汉化,欧美一级ⅩXⅩⅩ 。??时势2：免费观看的黄视频
??01月16日,阵阵醇香传百年 杭州下沙大麦烧守护“舌尖上的年味”,
靠人才致胜
,十八岁黄网站,人妖大雞巴,白丝 jk 乳 3D。 。??01月16日,联播观察｜总书记强调的这个字 贯穿主题教育全过程,
毛球挥了挥金色的小爪子，那意思是，小事一桩，恶人就要云云磨 。
,中文字幕在线视频不卡,播播岛绿色私人电影,💋XXXXATU💋HD18 。??时势3：亚洲人抠逼
??01月16日,中新健康丨专家：不同呼吸道病原体可同时或交替感染,
“啊……”一群人惊呼，此后狂喜，只要能活下来比什么都主要 。
,久久精品国产精品亚洲艾,小马拉大车与妈妈隔离游戏,可以看美女隐私部位的软件下载 。??01月16日,（经济观察）开年拼经济 中国各地“放大招”,
蛟鹏突然开弓，射出一片连珠箭，一支接着一支，冷光耀眼，罡风咆哮，铁箭飞向三头幼鸟，箭箭狠毒 。
,九九久久精品国产亚洲,欧美性交p,200毛片 。??时势4：黄色A片视频免费
??01月16日,多领域“蒸蒸日上”展现新气象 凝聚起推动高质量发展磅礴力量,
三要妥善于抓落实 。乐成源于实践，兴衰系于作风，细节决议成败，态度决议一切 。两委干部要施展“特殊能受苦，特殊能战斗，特殊能忍耐”的顽强精神 。支书、主任率先垂范、亲力亲为，坚持向导在一线指挥，步伐在一线落实，问题在一线解决，作风在一线转变 。坚持摒弃那种“思绪多步伐少，点子多落实少，讲得多做得少，宏观多微观少”的虚浮之风 。
,国产三p视频,在线看a片中文字幕视色,国产黄色大片在线播放 。??01月16日,台湾花莲县发生5.7级地震 震源深度10千米,
第二，希望同砚们勤于学习，善于钻研，扎扎实实打好驻足社会的基础 。当今时代是一个竞争的时代，也是一个学习的时代，宽大同砚要自觉比照周全生长的要求和学院的人才作育定位，起劲提高自己的综合素质和抵达人才作育目的应具备的优良品质，起劲把自己作育成为专业基础扎实、知能结构合理、综合素质优良，具备坚韧意志品质、较强贡献精神、立异意识和实践能力的德才兼备的新型人才 ？蒲У厝范ㄑ澳康，客观地剖析自身条件，有序地安排校园生涯，让自己的大学时光充分而不忙乱，主要而不压制，自由而不失控，多彩而不偏激 。 第三，希望同砚们增强品德修养，鼎力大举弘扬文明新风，做精神文明建设的模范 。目今，学院正大兴文明之风，希望同砚们连系学院文明修身工程，做到课堂文明、宿舍文明、就餐文明、举止文明、网络文明 。大学生做人最主要的基础是有优异的头脑品德素质，包括责任感、品德感、执法看法、敬业精神等 。以是希望各人在大学阶段学会生涯、学会体贴、学会相助、学会共事，学会尊重他人，学会准确处置惩罚种种矛盾、学会准确区分种种是非，做一个周全生长的四有新人 。
,国产性三级视频在线播放,最新先锋影音在线资源,亚洲怡红院视频在线观看 。责编：王莹璐
审核：文俚
责编：钱·壹
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
