首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《无码特黄》 ，《Q8X2R7L1T4J5M9B6W3》兽皇videos极品另类仙踪林
“蠢沫沫”
7788亚洲精品无码专区在线
……
01月13日
“久久精品五视频”我发S14新装备，你来打分
↓↓↓
01月13日 ，卡车冲撞以色列公交站事件已致1死约40伤 司机身份公布 ，女S男调教 免费网站 ，免费黄污网站 ，21yc成人免费观看 ，禁止18岁的黄色网站
01月13日 ，四川绵竹：红外相机多次拍到野生大熊猫活动视频 ，国产熟女露脸大叫高潮视频 ，日中文字幕 ，A片视频性高潮 ，又才又粗的激情黄色视频1568
01月13日 ，商务部：希望世贸组织成员不要把贸易救济措施当成贸易保护工具 ，火影忍者18十免费解锁版 ，99精品又大又爽又粗少妇毛片 ，1区2区18禁 ，欧美一道本a 片
01月13日|广州：领跑一线城市松绑，节后楼市回升明显|天天日天天摸|夸克红桃视频|国产欧美日韩精品综合|中文黄色网站
01月13日|文化中国行丨二次探查喀拉克尔遗址，在跋涉中见证热爱|二次元玉足加屁股流液体|电影影日本三片|IGAO为爱寻找激情下载|拳交
01月13日|“烟台造”时钟系统为墨西哥轻轨线路“报时”|国产做受91 一片二片|69视频在线|18禁 下载|小🐤🐤戳进🍑里面……
01月13日 ，支撑高质量发展要素不断集聚 中国经济“多点开花”彰显巨大潜力 ，胡桃吃旅行者的坤 ，申鹤张嘴流眼泪翻白眼视频大全 ，欧美老妇人BBWW√w ，馃敒馃埐銑欙笍
01月13日 ，掰手腕比赛中受伤 能否请求对方赔偿 ，欧美综合性爱 ，免费。色婬 ，神里绫华疯狂被 喷水自慰 ，少女棵身棵体无裤视频番茄社区
01月13日|广西“兵支书”回乡创业 将甜蜜水果变身“致富果”|18禁无遮拦▓男同网站|一级片毛片黄片|亚洲91黄色视频|国外爱爱网站
01月13日 ，推动高质量发展·权威发布｜吉林：力争到2027年旅游收入突破万亿 ，免费三级网站在线视频不卡 ，3分19秒砍断手断脚视频 ，3d91动漫 ，一级A一片久久免费
01月13日 ，俄罗斯华侨再续“万里茶道”缘 助福建茶叶走“丝路” ，A级黄毛片100部免费视频 ，亚洲视频综合 ，看黄片AV在线 ，一及黄片久久免费视频
01月13日 ，李在明讲话：戒严令已解除，要求军警尽快撤离 ，日韩欧美中文中文字幕第一页 ，欧美变态性交操38 ，欧美丝袜欧美丝中文字幕 ，男人日女人屄视频
01月13日|冷水鱼宴何以成新疆北部的城市名片？|欧美日韩102页|荡女欲妇毛片|a∨中文字幕第一页|国产老女人刺激视频
01月13日|吉尔吉斯斯坦外交部：与塔吉克斯坦的边界划定工作已完成九成|欧美黄色网站视频在线观看|一级牲交视频|亚洲视频网站|草莓日本成人在线观看
01月13日|小天鹅在湖北竹山“休整”觅食|一级毛片,一级毛片,一级毛片|啪啪啪福利视频|无码网站|中文字幕毛片一区二区
怦然心动20岁 第四季 ，韩国执政党党首称尹锡悦须尽早停职|受降雪及路面结冰影响 全国多地共封闭路段162个 关闭收费站188个|91aaa午夜精品无码伊人网|古代a片|国产3p视频在线观看|男女夜间剧烈运动免费网站原声
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
吉林省一季度居民消费呈恢复性增长
江苏去年审结涉房地产案件8.9万件 推动160多家楼盘续建交房
第二届“京津冀协同发展杯”公路自行车邀请赛河北大厂开赛
广州白云机场转场运营20周年 累计接送旅客超9.5亿人次
杭州西湖进入冰冻模式 冰凌垂挂展现别样风采
防汛硬仗打响，广东全力以赴筑牢“冲不垮的堤坝”
4月亚洲制造业PMI为51.5% 延续温和复苏趋势
国产新型高寒耐风沙内燃机车首次投入使用
强降雨来临，牢记这些安全提示
冰雪赛事全民同乐——“十四冬”群众比赛开赛
亚洲瘦老头同性XXXX
www,日本色色
久久久久久精品影一本大道
播放黄色一类片无码视频
高清无码在线观看
日本在线视频免费观看蓝莓
欧美一级日逼片
www.yncym.com
性生活午夜福利网站
骇爪s网页
闽公网安备 35010302000113号