猫眼影戏
 |
|
猫眼影戏
葛岭
手机审查
猫眼影戏记者 尹汉宁 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：SPRD1225佐久间英子
??01月16日,第三届南昌健博会开幕 现场集中签约近40亿元,
清静事情是我校事情的重中之重，通过讲座，同砚们熟悉到清静事故的教训是深刻的，“千里之堤，毁于蚁穴”，任何事情我们都要从阵势出发，从小处着想，生命无法重来，清静不可期待。
,芙宁娜爆乳18禁 动漫视频。??01月16日,越剧史诗《胆剑千秋》：回眸文脉传承的“精神丰碑”,
“竟然保存了下来！”石云峰激动到颤抖，此后仰天哈哈大笑，眼泪差点落下来。
,XXNX 老帅18日本,黄色免费网站又黄又爽又粗又长,日韩欧美中文免费一级片。??时势2：国语黄色视频
??01月16日,道中华丨蒙曼：他为祖国拼命不是为了封侯,
??01月16日,(新春走基层）海南铁路“四棱战士”郑庆华的春运：保障每一趟列车平稳运行,
“嗡”的一声，海面颤抖，同时强烈摇颤，那青发男子脱手了，眸光冷冽，他是强盛的纯血生灵，有自己的威严与自尊。
?第二百五十九章 血战八方,激情在线国内一区二区三区视频,免费看一级AA大片,piwgo抱枕图片。??时势3：9873.com黄
??01月16日,汤姆斯杯羽毛球团体赛：中国队胜马来西亚队 晋级决赛,
“大娘最好了！”小不点仰着头，两只小手抱在一起，满眼都是小星星，露出希冀的神色。
,搓澡工和军人Gay互吃鳮吧小说,jjzz污网站,国产高清视频网站在线观看。??01月16日,我们的先辈｜焦裕禄：人民公仆,
这一切太快了，小不点体态极速一转，贴在了将栽倒的漂亮女子的死后，左臂砰的一声勒住了她雪白如玉的颈项，右手指尖亮起，符文闪灼，抵在其心口，随时会击穿进去。
,日本大片网址,被❌到爽🔞流片动漫火影,日韩 欧美 综合。??时势4：男男纯肉高被 爽到翻白眼视频
??01月16日,安徽加快布局量子信息领域重大应用示范工程习近平复信北京交通大学肯尼亚留学生及校友代表,
幽灵船摇动，可是并没有翻，石昊落在上面，全身冷气飕飕，但总算避过了一场杀劫。
?第二百三十七章 血染碧海,影音先锋久久资源色哟哟,国产一级黄色日批片,又粗又爽又色男女乱婬播放男女。??01月16日,海外华文媒体代表走进福建土楼博物馆：品读土楼文化,
沿途，有许多重大的岩石，散落在山地间，从数万斤到数十万斤不等。
,欧美黄色网站一区,精品久久久国产视频,女明星三点尽露合集。【山西晋城：学习运用“千万工程”经验 描绘新时代“太行山居图”】
【安徽省侨办恭贺2024新春】
责编：阿塔卡马
审核：宗馥莉
责编：哥白尼
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
