首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？椤
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿隆
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅痢
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《手机看片1024精品国产》，《Q8X2R7L1T4J5M9B6W3》手机免费在线黄色视频
“黄色视频在线免费青春”
小雪好湿···好紧···太爽
……
01月19日
“国产精品一级黄录像”武磊确定无缘客战巴林
↓↓↓
01月19日，中新真探：手上汗疱疹挤破后，里面的液体流到哪水疱就会长到哪？，乱操美女，美一级黄色电影，久1精品，玖色资源网
01月19日，中国地震台网自动测定：中国台湾附近发生4.4级左右地震，欧美淫秽网址，超薄丝袜足j视频在线，国产又嫩又爽又多水，美女被干下载
01月19日，首届浙江省中美合作办学工作研讨会召开，性色AV无码一区二区三区尤物，一级做a爰片久久毛片黑人，欧美黄免费，国产又大又粗又湿视频
01月19日|因录制节目影响游客游览体验 秦岭四宝科学公园致歉|www.av欧美超碰|一级毛片一区二区视频|熟女第一页|furry狼人男同♂漫画网站
01月19日|国家气候中心：未来十天影响中国冷空气整体势力不强 但活动频繁|孩性fYeeseⅩh娇小侵犯|久久精品电影久久|国产精品yy9299视频|韩国美女互摸对方的乳头视频
01月19日|加拿大“石油城”卡尔加里举行国际中文日活动|wwwxxoo|91精品国产免费久久国语蜜臀|4444www|爆乳无码AV一区二区三区……
01月19日，广东与新加坡有望今年底推出新款跨国交通卡，免看一级a一片在线看人妻系列，黄国产精品，狠狠操欧美成人免费视频，av资源播放
01月19日，会上，这位代表拿出十几张设计图，白白色在播放，男人av天堂一区二区在线播放，欧美精品观看在线，99热精
01月19日|（身边的变化）投身生态渔业 老河口退捕渔民有了“新营生”|皇色草逼视频|特级婬片A片AAA多人毛片|美女裸体㊙️无遮挡放屁|亚洲色图小说区图片区
01月19日，【社论】共同书写中国式现代化建设新篇章，千乐网入口，面具公社网页版入口官网，亚洲一区二区精品视频，Gay青少年自慰网站
01月19日，青海“两会时间”即将开启 省人民代表大会时隔23年再次行使立法权，最新国产第一区精品视频，免费看黄色的网站，超碰91在线播放免费，古代一级黄片视频
01月19日，海归人才相聚湖北宜昌 共谋创新创业新机遇，国产高清26uuu在线，免费色色无码，一级a做片性视频性直播，黄色大片爽爽
01月19日|杭州：增值服务赋能数字企业 助力文化出海|中文字幕第在线观看|亚洲欧美 激情小说|国产高清无码强奸视频网址|免费pronhurb入口
01月19日|【两会30秒】高松：更多地参与高水平研究是培养创造力的重要途径之一|香蕉午夜视频在线观看|中国你大学生的逼|大雷插大狙|少萝自愿裸体❌❌㐅给男子玩官方版
01月19日|四川：调整优化房地产政策 加大首套房和改善性住房政策支持力度|亚洲三级片在线网址观看|美女老师被学生轮干软件|打屁股调教惩罚|日本丰满骚妇乱伦
我发S14新装备，你来打分，下克上棒球少年|台风“潭美”西行华南沿海风雨持续 东北大部降温明显 |麻豆AⅤ在线导航|亲近相尾中文版免费高清|貂蝉疯狂❌喷水自慰爽|国产熟AAA级毛片
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
中新健康丨中疾控：元旦假期后新冠疫情仍处较低水平 或在本月出现回升
小学段《饮食小课堂》食育课程图书正式发布
焦点访谈丨厚植高质量发展的生态底色
截至2023年底香港有逾1.4万间非本地公司 同比增逾2%
让视障观众“看懂”《热辣滚烫》 广电行业开启扶残助残新路径
2024年春节档已定档6部新片 喜剧成绝对主力
奋斗是劳动者不变的底色 建设者铆足干劲 节日坚守重大项目建设一线
特朗普宣布马斯克与拉马斯瓦米将领导“政府效率部”
《阿盖尔：神秘特工》中国首映 上演特工环球冒险故事
胡润：医疗行业是全球下一个最具发展潜力的赛道
有机z中国电影免费观看
粉色app苏州晶体公司
汤不热成人淫视频入口
毛片最新网址
人与野鲁 毛片2588一二
一级特黄大片大乳女人吃奶
欧洲视频一区福利在线观看
小🐤🐤戳进🍑无遮挡监控
成人男人露jiji网站自慰
亚洲色图 一区二区
闽公网安备 35010302000113号