首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《丨9l 丨大学生白丝国产》 ，《Q8X2R7L1T4J5M9B6W3》狐不妖自慰
“可以直接看的国产精品”
在线小电影你懂的
……
01月16日
“国产又黄又大又湿视频”Believe－通往你的桥－
↓↓↓
01月16日 ，2023年海南对部分东盟国家进出口大幅增长 ，8844在线播毛片 ，老妇女操B片 ，先锋资源在线 ，女性变态链接
01月16日 ，国台办：双航母编队海上训练是年度例行性安排 ，欧美级特黄AAAAAA片 ，亚洲日韩欧美国产一区二区 ，工本口子库的官方入口在哪里三更 ，国产乱操视频
01月16日 ，“地球巨眼”建造又有中国贡献 SKA中频天线结构发运南非 ，午夜试看120秒体验15次 ，无码一级性爱视频 ，中文字幕乱在线伦视频 ，男生把坤坤 进女生的桃里草莓视频
01月16日|中国驻美大使谢锋：我们必须同舟共济，绝不能同舟共“挤”|馃拫馃憴|亚洲色婬网A片|色色播吉泽明步|九九九九九夫妻a片免费
01月16日|中央政法工作会议：深入推进电信网络诈骗犯罪打击整治|成人扒开 伸进 -|男人天堂www在线观看|tube xxx69 mom|久久器只
01月16日|塞尔维亚交通部长“演唱”中文歌曲《今生缘》 神情沉醉|美毛片大鸡|黄色在/线视频|成年黄网站免费观看视频|91擦擦擦……
01月16日 ，买房还没交契税能享受吗？卖房也有红利？专家解读房地产税收新政 ，尤物导航 ，人人干人人操操操 ，龙珠18号山本同人黄化怎么获得 ，国产一级AA婬妇免费视频首页
01月16日 ，刘海粟美术馆探索研究和展陈创新“新模式” ，日本护士赤裸做爰视频 ，欧美乱伦性交小说 ，欧美性电影网 ，99r只有精品视频在线播放
01月16日|西方秘密调查“北溪”爆炸 真正破坏者却从未被曝光|日韩有码欧美色图|2021黄色网站|9.1 在线观看nba蘑菇直播|国产精品免费久久久久长长
01月16日 ，上升12名居407位！海尔智家再入《财富》500强 ，99精品视频在在线观看 ，中文字幕一级毛片在线视频 ，内射红樱 ，永久免费A∨无码网站喷水
01月16日 ，记者手记：在巴黎遇见论语 ，我把后妈c了水好多 ，www .99riav113.com ，人人操c ，欧美性爱免费在线观看一级片不卡
01月16日 ，贷款金额超1.54亿元 邮储银行支持以旧换新 “焕”出消费新活力 ，苍井空张腿实干13分钟 ，国产91香蕉 ，小黄书xhs在线入口 ，欧美精品久久久久影院
01月16日|李强主持国务院第七次专题学习|久久中文字幕视频一|免费在线观看三级毛片|亚州性交图片操操操|美女 狂揉脱脱内内电影
01月16日|青海乌兰成功养殖高原“草膘”小龙虾 首批正式上市销售|黄么激情综合网|极乐盒子jilebox官网入口|国产美女一级大黄片之怀孕疯狂操|91看片最新版下载
01月16日|京津冀毽球邀请赛在雄安举办 37支队伍参赛|先锋影音我av资源网|亚洲野狼社区在线|偷拍农村夫妻高潮|BDS/M重度
赵牧辰李定豪正面刚 ，被传患病网红夫妇无奈离开家乡|江西泰和小龙虾迎产销旺季 “稻虾连作”实现“种养互补”|人人干在线视频首页|国产 日韩 欧美 在线 第一|人人爽人人操人人射|男女骚视频在线观看免费视频在线观看免费视频在线
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
（进博故事）从“共用一张桌子”到“拥有60平方米的展位”
一线调研丨焦炉煤气→氢能 山西太原能源产业加速向“绿”转型
探访全球单体规模最大的碳纤维生产基地
2024粤港澳大湾区曲艺艺术周在江门开幕
京津冀河南山东等地有高温 江南华南等地有持续性较强降雨
2024年全国聋人篮球锦标赛（男子组）落幕
山西襄汾出土晋国贵族墓 陪葬器物折射诸侯国关系
冒充明星账号加好友，又以涉嫌侵权行敲诈！这一犯罪团伙被捣毁
2023年上海AEO企业进出口值占外贸总值超1/3
青海西宁：300名健身爱好者同场演绎“彩龙”翻飞
国产级在线观看
视频在线观看免费18
小鹿酱挑战30厘米尾巴视频
DeepSeek成人版在线观看
亚洲免费不卡毛片网
欲色AV毛片
A片视频不卡
日韩 欧美 人妻 制服
好男人在线社区WWW在线影院中文
色色色的网站
闽公网安备 35010302000113号