首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点模块。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力模块MLA做一个全局“筛查” ，找出哪些模块可以被刷新。
在原来的MLA架构中 ，每个MLA模块都是处置惩罚注重力的焦点单位 ，现在的新计划是给每个模块配一个可学习权重α。
α值越高 ，说明该模块额全注重力盘算越要害 ，一旦简化就容易丢性能；α值越低就意味着模块的可替换性强 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA模块 ，也就是后续的优化目的。
随后 ，将找出的50%低性能模块换成更轻盈的流式希罕注重力SSA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕模块提升效率 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《猛男自慰》 ，《Q8X2R7L1T4J5M9B6W3》人人爽人人爱人人操
“想要的无码在线”
99视频精品全部在线播放99
……
01月16日
“台湾蓬莱山之翁虹”无路可走：轮盘赌
↓↓↓
01月16日 ，财政部：2024年安排中央对地方转移支付超10万亿元 预算已下达超八成 ，国产又免费又黄又湿又粗又长 ，射射射操操操 ，看色色色色色色色色色色色色色色色黄片 ，iGAO视频网站入口
01月16日 ，总书记寄语新时代青年 ，三级黄毛片 ，国产日产欧美性爱 ，日韩一级A片在线 ，印度操屄日屌
01月16日 ，“AI”赛道上的“90后”创业者：探索人生的无限可能 ，zoo无码 ，小鲜肉初精GAY 免费应用 ，龙珠18号山本同人黄化怎么获得 ，西施被 黄漫扒衣服
01月16日|二月初二“龙抬头”上海市民喜迎“好彩头”|久久综合伊人|视频网站黄色产|宅福利蜜桃社无圣光|2017人人摸人人操
01月16日|商务部新闻发言人就美以涉俄为由将多家中国实体列入出口管制“实体清单”事答记者问|j久久久久久久久久|撕开 进屁股|欧美性交黄色|吃瓜-最新泄露流出 孕妇被全部脱光,做阴道护理,准备推进手术室过程-医院护士
01月16日|专家：云南陆军讲武堂对黄埔军校创办有重要影响|黄色网站18岁的|搜免费的黄色网站|國產-XNXX.COM|开户猎手(破解版).apk.1……
01月16日 ，沈阳二套房公积金贷款首付比例降至15% ，久久精品高清免费 ，爆乳女神 ▌麻酥酥▌vip ，男生 男生 里直播 ，男人女人黄 色视频无遮挡
01月16日 ，珠海机场北快线北段工程首座隧道顺利进洞施工 ，欧美浓毛老太乱码伦视频在线看 ，亚洲av免费看网站 ，欢乐谷乱伦母子 ，a毛片中文字幕潮喷人妻系列
01月16日|四川打造新时代更高水平“天府粮仓” 耕地面积净增加50万亩以上|国内盗摄国产盗摄视频在线|欧美性爱第十页|国产模特视频一区一页|91熟女精品视频一区二区三区
01月16日 ，满载“年货”的特快班列抵京 日均到达量十四五万件 ，精品国产一区在线观看 ，久久理论视频 ，一级A片高潮潮喷免费看 ，a国产男女视频在线
01月16日 ，浙江嘉兴：钱塘江退潮 “潮汐巨龙”清晰可见 ，国产日产欧产精品精品推荐 ，亚洲高清无专砖区 ，一区免费视频 ，免费一级A片26分钟
01月16日 ，我国近百个重点区域完成自然资源确权 ，精品无码三级视频观看 ，久久精品aⅴ无码中文字幕 ，少妇被粗大的猛烈进出免费视频 ，国产免费很黄很色视频网站
01月16日|杭州西湖进入冰冻模式 冰凌垂挂展现别样风采|igao 在线播放|超碰超碰女人女人女人97人人|亚洲爱爱视频套图|欧美另类视频一区二区三区
01月16日|文旅康养融合发展 山西晋城如何成为“样板城市”？|下载黄色性感交片|日韩欧美国产一区二区入口|黄网免费观看黄网站|绿林仙踪官网首页
01月16日|诱导加钱送礼物 “语擦”服务莫要成了“擦边”服务|AV漫画18禁|www.性欧美.com.|欧美爆乳少妇XXXXXV视界|日韩欧美尤物视频
贴吧包打听评价评论罗伯特 ，广州番禺区发生多车相撞|李娜郑钦文两代亚洲之光，湖北如何成为网球人才高地|国产91精偷自产|免免费在线一级黄色视频|国产JIZZJIZZ免费看Jizz|啪啪视频免费试看
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
甘肃搭起连通国内外的“空中桥梁”
第96届奥斯卡奖揭晓 《奥本海默》夺7奖成最大赢家
台胞欢聚福建畲乡“二月二”会亲节
文化中国行｜回家过年！中国春节何以成“人类非遗代表作”
中方对肯尼亚近日遭受严重洪涝灾害表示诚挚慰问
通讯：穿着狩猎服饰赴“尔滨”的内蒙古“80后”
广东茂名游子归故里 “籺”是最难忘
福州：市民“大众茶馆”尽享假日美好时光
玩转“非遗+” 广西侗族大歌“唱”出新活力
当非遗遇上春天：传统文化绽新颜 解锁文旅新玩法
在线黄色无码视频
a级在线观看
欧美乱人伦中文视频在线观看
黄色网站免看
99久久久国产精品久久
a一级一级片
免费的黄片资源
小骚0爽到尿失禁被各种姿势进入
色综合桃花伊人网
亚州成人JAVRS
闽公网安备 35010302000113号