猫眼影戏
 |
|
猫眼影戏
汪瑞华
手机审查
猫眼影戏记者 郝鹏 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ唬衷诘男录苹歉扛瞿？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭Γ坏┘蚧腿菀锥阅；α值越低就意味着？榈目商婊恍郧浚幢慊怀筛崃康呐趟惴椒ǎ哉宓拿魅纺芰τ跋煲膊淮 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？椋簿褪呛笮挠呕康 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口大 。慰课1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘剩踔潦逝涠嗄ＬＷ哟χ贸头３な悠怠⒊ね嘉哪谌 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：www性
??01月13日,联合国强迫失踪问题委员会：哥伦比亚一机库发现约2万具尸体,
石渊须发皆张，眸蕴雷电，全身发光，自其体内冲出一只远古凶禽，全身赤红，翎羽鲜艳亮丽，展翅击天，扑杀向石子陵 。
,国产偷99在线视频 。??01月13日,江苏省侨办恭贺2024新春,
他的兽皮衣破破烂烂，都是暗红色的兽血，连小手上也都是干掉的血迹，按在那雪白晶莹的胸部，马上留下几道脏兮兮的小指模 。
,天天摸天天做天天爽水多 gzdongd.cn,黄泉被 吸乳羞羞视频,朱竹清ova 。??时势2：亚洲国产精品一区图片
??01月13日,湖北谷城：“与世界共品一杯高香茶”,
最后，宝术没有交出，宝具也不可拿来换人，四富家各自送来一个玉罐，内部有凶兽真血 。
,一级一级一级一级片,a级网址在线观看,视频一区在线播放 。??01月13日,探寻汉字之美 “汉字演变”主题展览在伦敦开幕,
“咿呀，我们将卵还给它吧，青鳞鹰没有了孩子也很可怜的 。”小不点扑闪着大眼，小声地说道 。
,极品白嫩地板在线观看,亚洲 欧美 日韩 另类 图片,色婷婷久久久swag精品 。??时势3：欧洲在线A片高潮
??01月13日,宁夏银川：萌娃乐享书香假期,
“哇，野人，来了两个野人！”
,亚洲黄色免费在线观看,学生妹淫荡视频免费看网站,5色网 。??01月13日,青海省数据局揭牌成立 护航数字经济“发展与安全”,
“镇杀！”
,变态把女性扒开 看个够挠痒,特级黄片儿,男人疯狂 喷水自慰 。??时势4：欧美大逼逼
??01月13日,两度被村民按手印挽留的驻村第一书记,
这一次，凶寇头领直接横飞了起来，另一条手臂也折断，且胸骨塌陷，那些鳞甲脱落了大片，防不住小不点的巨力 。
,人人鲁人人莫人人精品,一群和尚和婬妮h,爆乳在线播放 。??01月13日,广西南宁：云雾缭绕如仙境,
“好，好，好！”石子陵连说了三个好字，怒火汹涌，瞳孔中的金光更盛了 。
,麻豆精品永久免费视频,色色网站免费看直接进入,国产曰韩欧美三级在线观看 。【北京打造“演艺之都” 去年营业性演出达4.9万场】
【王磊：更大限度激发数字消费潜力】
责编：梅哲君
审核：阿西木
责编：黄慧忠
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
