首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点 ？ 。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先 ，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查” ，找出哪些 ？榭梢员凰⑿ 。
在原来的MLA架构中 ，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅 。
α值越高 ，说明该 ？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大 。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA ？ ，也就是后续的优化目的 。
随后 ，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token 。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低 。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上 ，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好 。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固 。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕 ？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《五月天色婷婷基地》 ，《Q8X2R7L1T4J5M9B6W3》超碰97精品中文字幕
“2021色色资源免费网”
有什么国产免费黄色网站
……
01月16日
“精品一区二区无码免费网站”郑钦文无缘闭幕式旗手
↓↓↓
01月16日 ，中国木拱桥传统营造技艺被列入人类非物质文化遗产代表作名录 ，色 操 在线 ，国产无码又黄you ，同人18 禁视频在线看 ，婷婷五月天福利视频
01月16日 ，中央生态环境保护督察集中通报7省市典型案例 ，熟妇人妻aV中文字幕老熟妇 ，美女顶级依人在线视频观看 ，ppyy101.com ，91人妻社区
01月16日 ，天津经济技术开发区40周年成就展吸引参观者 ，萝莉白浆 ，911柚子猫盛世容颜小僵尸 ，免费羞羞 ，免费一级毛片在线看
01月16日|文旅市场活力涌动|《禁漫漫堂jmcomic入口》|鲁友社区|在线视频 91|日本欧美日本一本在线
01月16日|广东韶关市武江区政府办：此前失联的江湾镇已经恢复联系|av播放网址|日本一区久久中文字幕|欧美日韩免费一区二区三区四区|嫖妓露脸超清对白正在播放
01月16日|广东外贸承压而上 主动寻机韧性显现|强奷乱纶熟妇免费视频在线观看|微博定制热舞蹈视频|天天天干天天天插|熟女来支援漫画免费观看……
01月16日 ，广西横州市发生一起交通事故致4人死亡 ，精品福利免费视频 ，黄色视频免费观看视频草逼 ，又黄又色的免费女同国产炒菜 ，全彩全彩无遮邪恶本女子
01月16日 ，美方公布新制裁方案涉俄罗斯、中国的个人及实体 中方回应 ，高清🈚️码🔞❌♋️在线看片官方版 ，美女的裸体100%下载 ，国产最新av网址 ，毛片A片黄片
01月16日|西安铁路局原创MV：展示青春力量|免费看男女做运动视频网站|国产一区在看线你观看|欧美性爱AA片|青草视频h
01月16日 ，广西聚焦生态文明建设 让高颜值“绿水青山” 转化为高价值“金山银山” ，精品人人操精品人人操人人做 ，在线观看91精品国产性色 ，国产丰满大乳在线观看 ，手机看片1024欧美
01月16日 ，《中国户外运动产业发展报告（2023-2024）》发布 消费市场活跃 ，国产在线观看黄Aⅴ免费 ，1级黄色网站 ，裸体自慰潮吹色情 ，猎奇9.1(官网)17
01月16日 ，陕北民歌公益推广活动·榆阳区专场在京举行 带来地道陕北风情 ，JIZZ免费一区二区三区 ，久久精品中文字幕av ，亚洲国产精品一区二区玖玖爱 ，欧洲姥姥性
01月16日|国乒混团世界杯小组赛提前出线 王楚钦：在心态上放得非常好|欧美Ⅴideoss大爆乳|亚洲电影在线看|欧美一级视频|一级毛片免费播放无码全部
01月16日|联播观察｜关键词看改革 自主可控的产业链供应链|国产免费一级欧美|国产日韩Av无码毛片尤物|欧美日婬视频|92看片亚洲精品国产aⅴ
01月16日|香港影视娱乐博览2024启动 黎明续任“影视娱乐大使”|美女视频网站污污|狼友视屏在线观看|玖玖玖爱啪在线观看视频|欧美与亚洲性爱视频
反季果蔬会使用很多农药吗？ ，在人生终点站工作的年轻人亚太合作之路如何越走越宽|万千气象看广东：“百千万工程”助汕尾“老区”焕“新颜”|国产性色Va免费观看|九色导航|美女裸体被 涩涩漫画软件|欧美性视频一级精品播放
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
老牌旅游城市“翻红之路”
1元包装费缘何引发质疑？专家：商家应尊重消费者选择权
中方坚决反对任何“台独”分子以任何名义窜访中国的建交国
杭温高铁迎新进展 全线接触网架设贯通
“尺”心不改铸忠诚
韩在野党称正起草针对尹锡悦弹劾草案 将很快公开
加拿大“石油城”的国际中文日：“学中文，有用”
第三届中亚传播论坛举办
慢慢慢！@驾驶员们 道路积雪结冰 驾车出行注意安全！
（新春见闻）山东济南：趵突泉迎春花灯流光溢彩
国产精品特级露脸AV毛片人人
超碰欧美在线
18分钟处破好痛哭视频在线
影音先锋最新中文资源网站
91精品无码一区二区无码
A级毛片无码免费真人久久APP
特黄把女人弄爽又大又粗毛片
91网址发布
国产黄色精品A区
免费A级毛片在线看
闽公网安备 35010302000113号