首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大 。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的 。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token 。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低 。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上 ，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好 。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固 。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《日本在线观看网址视频》 ，《Q8X2R7L1T4J5M9B6W3》自拍偷拍亚洲图片
“无码18禁黄动漫在线看漫画”
中国美女日b
……
01月16日
“同性乱伦视频免费播放”海地帮派团体被指已比国家更强大
↓↓↓
01月16日 ，实行红黄牌提示制度 教育部发文促就业 ，老熟女老肥女色惜视频免费观看 ，美女打扑克 ，琪琪电影网午夜理论片717 ，夏婉婉跳舞视频完整版
01月16日 ，低温雨雪冰冻灾害Ⅳ级应急响应范围扩至11省份 ，色多多性爱视频 ，又大又粗又爽又硬又色视频 ，无忧传媒剧国产剧情mv ，别告诉妈妈下载地址
01月16日 ，资金正在不断入场 ！存量房“收储”加速落地 ，AAAAA黄色网站 ，2021国产精品视频一区,2021国产精品偷窥盗摄,2021国产精品小视频... ，在线更新中文字幕视频 ，超碰在线分类日韩私拍
01月16日|多国暂停资助联合国援巴机构 中方代表：勿因个案对巴勒斯坦人民造成额外惩罚|精品国产专区91精品|亚洲精品国产综合久久一|少妇做爰XXXⅩ性高湖麻豆|欧洲亚洲一区、二区
01月16日|国家卫生健康委：南北互跨旅游火爆出圈 提醒游客注意健康防护|蒙古女人奶头大不戴套|2026最新黄色网|人人看人人爱人人摸人人干|女性啪啪喷水视频
01月16日|中老企业共聚老挝万象 以赛事为媒觅商机|无码aaa|免费在线观看AAAAAAAA片|国产亚洲 久一区二区|只有高品质的性爱视频……
01月16日 ，广西桂林市入选“自然城市”平台 ，欧美性交第六页另类 ，宝贝的逼逼好紧啊 ，张柏芝雁门照片高清电影观看 ，狠狠操狠狠干人人摸
01月16日 ，江苏盐城落地全省首单贝类海洋蓝碳贷 ，7BⅩ8CC ，c死骚宝宝H ，少妇爆乳一区二区三区中文无码 ，网红生物闵老师自慰白浆
01月16日|广东高院发布“促进新质生产力发展”知识产权保护典型案例|国产欧美一区二区精品性色|免费成人情趣视频|喜羊羊摸美羊羊包子|黄片免费下载a片
01月16日 ，张国华当选河北省政协主席 ，欢乐谷在线观看免费 ，www.色色色网站 ，天天摸天天碰天天爽天天弄 ，东北美女性高潮视频
01月16日 ，习近平给中国科学院院士、清华大学教授姚期智的回信 ，欧美性爱蜜臀 ，吻胸软件 ，欧美aaaav ，国产一级无码视频在线观看
01月16日 ，菲律宾华人企业家施恭旗获中国政府友谊奖 ，动漫 c 黄扒衣服蘑菇视频 ，无码毛片一级一级的潮喷 ，强行揉捏白丝大乔的双乳 ，辣+高H+浓肉+电车
01月16日|上海：骑手送货上门马不停蹄 寒潮下守护居民“菜篮子”|强插插爽射久久久爽在线观看|被❌到爽🔞流软国产|成年人黄视频|级aaaaa黄片,一级aaaa黄色视频,一级aaaa级毛片免费看,一级aaaa.
01月16日|2024北京国际铁人三项挑战赛将于9月在北京延庆举办|国产A片久久精品|视频专区欧美激情|cosplay被草到高潮|纲手h本子
01月16日|英国首相苏纳克加强与企业界联系|男生比坤大赛|性视频网站推荐一下|亚洲JIZZJIZZ妇女野外|日韩首页在线看片视频
曝《巫师4》将于2025年发售 ，情刺|抓住银发市场规模扩容重大机遇|在线观看污网址|成年人网站在线视频|a夜夜爽8888免费视频|在线看免费A√片
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
探访中国最早贵族墓地兆域 专家：比殷墟王陵早200多年
张颐武：全球化面临挑战，文明互鉴是当务之急
研究机构预测，“十五五”中国机器人产业规模达4000亿元左右
【地评线】中安时评：春运数据创新高，“流动中国”更加生机盎然
世界经济论坛2024年年会举行 专家：为推动世界经济复苏贡献中国力量
“永恒的爱”十九世纪欧洲经典艺术展在沪开展
深入推动长江经济带建设 “川—鄂—沪”长江班轮首航
财政部：持续抓好增发国债资金监管 确保将宝贵的资金用在刀刃上
云南镇雄突发山体滑坡47人失联 搜救工作紧张有序开展
敦煌冬季研学正当时 开专列花式“宠客”
日韩多人在线
福利小视频在线免费观看
pao 国产 在线观看免费视频
gey男男中国 k片
国产福利最新
山田凉被 吸乳羞羞A片
欧美性交电影网站
馃崙馃崒馃崙馃崒馃崙馃崒
国产91视频一区
α级毛片久久久免费无码
闽公网安备 35010302000113号