猫眼影戏
 |
|
猫眼影戏
唐嘉亮
手机审查
猫眼影戏记者 蔡允嘉 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：精品国产一区二区三区久久久狼
??01月15日,北美票房：《噬血芭蕾》首映摘金夺银,
告诉自己——“我行!”“我一定行!”
,美女A片黄片特黄 。??01月15日,热度同期上涨超3倍！“赏花游”持续升温，成春季旅游市场亮点,
我们的学习要有恒心与毅力 “悬梁锥股”， “宝剑锋从磨砺出，梅花香自苦寒来”，这充分体现了学习效果的取得不是容易的 。有一首歌写得好：不履历风雨，怎么能见彩虹，没有人能随随随便便乐成……靠幸运取得的效果只会是昙花一现 。
,欧美丰满熟妇性XXXX动图,欧美黑人xxxx精品视频,小sao货水好多真紧h无码视频 。??时势2：色哟哟AV网站
??01月15日,金价今年30多次创新高，已有投资者变现！还会再涨吗？,
大鹏、小青、紫云都极通人性，除了不会语言外，其智慧不下于人类，早已洞晓了眼前将要爆发什么，都十分恼怒 。
,黄色福利网站在线观看,www..com.cn蕾丝视频在线观看在线看免费版,自拍偷在线精品自拍偷 。??01月15日,建立健全老旧小区改造长效管理机制,
一起上，他们很小心，避过了许多绝地，那些地方不是现在的他们所能够硬闯的，雾霭浓重，远远的看到恐怖的身影出没，惊人灵魂 。
,性爱无打码,性欧、美ⅹⅹ,国产 XXXX电活 。??时势3：√天堂中文www官网在线
??01月15日,（身边的变化）浙江浦江：青山伴秀水 “银发经济”催生乡村新活力,
此后人也徐徐意识到了这些，故此在初始阶段就让肉身与骨文只管不分，化作一个整体来修行 。
,欧美a视频在线一页,欧美在线精品播放,免费观看一级片 。??01月15日,6月12日“农产品批发价格200指数”比昨天下降0.11个点,
“若是为我幼子讨一个说法也算入魔的话，今日我无妨堕完工魔！”石子陵大吼，满头发丝狂舞，沐浴在炽盛的金光中，大步向前冲去，无人能与之争锋 。
,欧洲特级黄色网站,福利社 你懂的,91在线午夜福利一区二区 。??时势4：欧美一级一级做性视频
??01月15日,11月份中国物流业景气指数为52.8% 物流需求保持向好建设现代商贸流通体系重点关注哪几个方面？专家解读→,
老狈发疯，一直盘旋，无意俯冲下来袭杀，速率极快，惋惜难以捕获到它的轨迹，用祖器一再都没有击到 。
,WWWMMM日本,亚洲熟女色图二区,国产视频三 。??01月15日,晋中“破题”山西中部城市群建设 与太原上演“双城记”,
不远处泛起一群人，为首的几个都是中年人，有一种威严的气息，一看就是久居上位者 。
,人人看人人看着干,1024色婬性视频,男生女生一起生产豆浆 。责编：谷显刚
审核：吕蕴岚
责编：维诺库托
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
