首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《www.hsly520.com/》，《Q8X2R7L1T4J5M9B6W3》www操
“日韩亚洲另类”
妇女高潮一区二区三区
……
01月18日
“一本大道久久人妻无码”少年白马醉春风
↓↓↓
01月18日，外交部：中国愿同联合国人权机制开展建设性交流与合作，国产黑色丝袜视频在线观看，成人毛片 兰花网站，向日葵草莓芭乐鸭脖，精品无码一区二区三区少妇97
01月18日，（文化中国行）天下三分明月夜 文脉活化看扬州，国产色A∨在线看免费，欧美激情最新福利网站，肉捧蜜桃臀娇喘喷水h，h片无码无遮挡在线观看
01月18日，（经济观察）从科技、人才、创新三个关键词看山东新质生产力，色玖玖精品视频，国产极品久久，精品影片秘 一区二区入口，18r网站
01月18日|河北以岭医院一项目入选2024世界传统医药大会标志性科技成果典型案例|欧美一级特大婬片|男仆撑开 让人玩弄动漫网站|卡戴珊视频门未删减21分钟在线观看|性欲社
01月18日|旅行社提前布局2025银发旅游市场 提升“银发族”出游体验|狼友网精品视频在线观看一级|小混混把校草c成乖乖受|中文字幕强奸一区|Asmr成人榨精利 在线播放
01月18日|京剧表演艺术家童祥苓去世 第六代“杨子荣”追忆先生|亚洲福利在线视频|乱伦视频卡一|人人看人人干人人看|超碰在线人……
01月18日，5家券商2023业绩“交卷”：投资收益支撑利润，四季度“拖累”全年，久久久久亚洲精品中文字幕天堂，操逼在线观看，欧美精品在线一区二区，飘花黄色一级影片
01月18日，福建平潭“蓝眼泪”爆款IP如何变“流量”为“存量”？，十八以下禁止观看的网站，女S男M调教 免费网站，久久免费国产，白丝女仆扒开粉嫩尿口让男人桶爽
01月18日|重庆披萨小店身藏闹市：通过做披萨结识外国友人|在线综合视频一区二区|三级黄片www|亚洲午夜福利AV一区二区无码|黄色A片大全
01月18日，琼州海峡54艘客滚船完成“体检” 即将投入春运运营，芙宁娜被c，三级片狗与性胶，激情美女同性恋又粗又大射精视频，人性与动交zzzzBBBB
01月18日，文化名人谈文化丨麦家：“解密”复杂人性，黄色网站A全，www.snftk.com，亚欧综合网，动漫COS双腿打开h
01月18日，为了明年憋大招儿？哈尔滨开始存冰啦！，精品成a人在线看片，日韩AAA一级毛片免费看，亚洲免费看视频，流萤裸体被 涩涩图片
01月18日|北京：2024亚洲运动用品与时尚展吸引民众|俄罗斯网红CUTIEKim|欧美人与动性行为视频www|大乔小乔喷了我一脸|无码黄片小视频
01月18日|今年前5月广西对RCEP其他成员国进出口同比增长24.9%|www.一级|精品日本三级A∨在线|黑人欧美性爱|国产亚洲AⅤ手机在线观看
01月18日|初步结果显示：马尔代夫总统所在政党赢得议会选举|福瑞动漫在线观看|久久99国产精品精品国产|久久久久久久精品国产免|扒开黑比
危险的她 第二季，小学生用播音腔骂大学生|广西侗乡：“指尖经济”助力乡村振兴|男男爱爱视频|国产1页|日日摸夜夜爽毛片免费视频|看了想让人尿尿的大胸美女赵很骚骚的舞。。
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
创新动能十足 康弘药业2024年上半年营收同比增长19.46%
美官员：美国和乌克兰将签署安全协议！
特朗普公布国务卿、司法部长拟任人选
港珠澳大桥海事局推出政务预约远程办理
山西太原：“云端上的公路”披彩衣
【趣解廿四时】立夏“斗蛋” 你童年的夏日游戏是什么？古巴宣布对持普通护照中国公民实施入境免签
微视频：互联互通 习近平推动共建“一带一路”高质量发展
李盈莹：这场比赛完全有机会战胜对手，结果有些可惜
吉林：企业开办时间由11天减至1天 最快20分钟办理完成
河南平顶山煤矿事故涉事煤矿党委书记、矿长被免职
jiujiuse在线观看
一级a国产毛片在线看
最新无码视频在线观看
A区黄色视频看
欧美精品交配影院视频
31想要叉叉
欧美性爱黑白配在线播放
三级视频黄色
欧美呦国产呦
精品视频网站,国产视频网
闽公网安备 35010302000113号