首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《男c男❌黄秘⭕B站安装包下载》，《Q8X2R7L1T4J5M9B6W3》欧美一区爽爽免费福利视频
“人人操人人色人人干人人舔”
天天国产视频亚洲区
……
01月16日
“欧美亚洲综合视频”游科鸣谢里提到了黑神话吧
↓↓↓
01月16日，聚焦融合发展 湘台青年企业家互学互鉴叙友谊，91国自精品，国产一级黄色视频美女托光毛片精品，偷拍一区二区三区视频，啪啪视频无码
01月16日，重庆南山植物园内千余株腊梅盛开 芳香四溢，激情文学在线，性❌❌❌无尽❌❌❌91，欧美5～12呦交在线观看，欧美一级欧美一级A片
01月16日，“难以想象的悲剧”！美国5岁男孩意外开枪打死自己，18馃埐馃崒馃崙，三级片国产色色色免费观看，芙宁娜被 到爽 高潮痉挛图片，毛片A片观看视频
01月16日|广西培养高素质自然资源人才 200多名选手同台竞技|美女脱 给男生摸|日韩欧美黄色一级片|免费三级视频|99思思
01月16日|头部电商平台相继支持“仅退款” 会成为标配吗？|伊人喷水视频|韩国三级无码电影在线网站|哟哟稀缺资源在线观看网站|自 拍 偷 拍 综 合91
01月16日|700余位影视界专家学者共话影视发展|微博定制热舞蹈视频|动漫自卫18禁|成人免费A片777888|www99riaⅤ4、net……
01月16日，五一国内旅游出游2.95亿人次 国内游客出游总花费1668.9亿元，欧美流行 在线播放，四川丰满肥嫩肥BBBBB，欧美人与牲交，少女十八
01月16日，【光明时评】赛事经济助力中国外贸跑出“加速度”，操爱激情不卡视频网站，国内偷拍与自拍，精品国产超碰久热综合，熟女50岁老熟女女人一级毛片
01月16日|2023年中国互联网企业完成互联网业务收入逾1.7万亿元|国产操老逼|忘川49秒生猴子视频最新版本更新内容|yz558视频在这里只只有精品久久|最新精品视频在线观看
01月16日，陕西华山“风起云涌”美不胜收，羞羞首页登录界面，91精品福利诱惑，无码黄片小视频，5555笔盒在线观看
01月16日，贝莉·塔蒂蓝湾大师赛创最好成绩夺冠 中国选手刘瑞欣排名第七，亚洲日韩精品A∨片无码加勒比，白丝 jk爆乳 91小鸡伸进，黄視頻美国无码，欧美一级性交,亚洲免费在线视频
01月16日，多国暂停资助联合国援巴机构 中方代表：勿因个案对巴勒斯坦人民造成额外惩罚，涩里藩，99riav在线，国产精品露脸国语对白，2021偷拍精品一区二区
01月16日|中方介绍挪威外交大臣艾德访华安排及期待|国外操逼网|国产黄小视频|馃惀馃崙|9.1成人免费版
01月16日|孙杨复出首秀，顺利晋级决赛！|欧美性生交在线观看|海洋之心涩涩视频|一级黄片免费观看视频在线观看|中文字幕乱伦视频
01月16日|奥数频繁换马甲，“黑竞赛”何以成“打不死小强”？|国产亚洲精品免费视频|淫bbwxxxxhd黑料|群交无码不卡|姚韵 悠然
新华社：欧盟对华汽车加税算错了账，说唱梦工厂|（聚焦中国高质量发展）希望田野飘出咖啡香 浙江乡村如何“永旺”|中文字幕日韩欧美在线|A∨天堂2020Av天堂|同性Gay 做受免费车|60丰满老熟女高潮农村
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
习近平主席拉美之行，这些看点值得关注
众星云集第十七届亚洲电影大奖颁奖典礼 张艺谋获“终身成就奖”
新疆阿克苏地区乌什县发生7.1级地震 23趟列车运行受影响
（经济观察）2024年开年中国楼市现四大趋势
“文明的足迹” 杨烨炘个展探讨中意文化碰撞下的艺术思考
焦点访谈：深改开新局 强化基层医疗 保障人民健康
天津邮轮口岸暑运以来累计查验出入境人员超10万人次
龙“马”精神 一路领“鲜” 青岛啤酒激情登场2024青岛马拉松
台湾建筑师扎根福建乡村 两岸携手古村落焕新颜
农业农村部：中国农产品进口额居世界第一位 成为世界农产品大市场
体育生洗澡互摸射精gay
国际黄片
熟女 欧美性爱
国产91夫妻自拍
视频亚洲免费
99r热只有精品免费视频6
女人被男生吸奶水60分钟
将老婆的眼睛蒙上换人
99久久精品国产网站
久久精品国产9久久综合
闽公网安备 35010302000113号