首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《亚洲无码 另类视频》，《Q8X2R7L1T4J5M9B6W3》亚洲电影一区
“污污污污黄色网站在线男操女免费网站在线观看网站免费在线观看网站免费在线”
欧美在线小电影
……
01月19日
“星穹铁道18漫画免费观看”春晚邮资纪念封首次发行
↓↓↓
01月19日，喜剧 “排忧”本领传千年，皮裤女教师淫荡抽动，4438AV网站，校花喂我乳还玩我 视频，色色色222
01月19日，外媒：俄罗斯总统普京将访问朝鲜，wwwIcav22com，粗口变态辱骂调教91，国产亚洲日韩欧美性，视频二区一区在线
01月19日，多方反对欧盟对华电动汽车加征关税 外交部：欧方应立即纠正错误做法，小南裸体被 免费羞羞视频，国外A片视频网址，狼人狠狠超碰精品青草，欧美幼女张婉莹黄色精品免费进入
01月19日|浙江绍兴考古发现东汉时期“山阴”地名遗物|97免费在线观看|欧美日韩一级理论片在线播放|国产91免费|国产性生活视频
01月19日|南水北调工程2023年度调水任务超额完成|绅士♥禁漫天堂18禁|男人和女人黄 色视频一级|99r只有精品视频在线播放|香香公主与爱犬直播
01月19日|2024中法人口老龄化国际会议在苏州举行|99riav4.com|99riAv一区二区三区|欧美三级日韩在线观看精品|国产无码视频对白刺激麻豆久久……
01月19日，（身边的变化）家庭医生炼成记：从追着居民跑到成为“医生朋友”，课代表让我吃他的小兔兔，久久精品视频没，荒野乱斗r18入口在哪，色先锋av资源
01月19日，云南龙陵小黑山：多种野生动物池塘戏水消暑，爱搞搞就搞搞我要干，99国产精品自在自在久久，国产久在线视频，一级亚洲A片在线观看
01月19日|黑龙江省齐齐哈尔市人大常委会原副主任刘锋被“双开”|日韩人成精品视频免费播放|久久99热这里只有精品一|男同污污|黄色视屏网站免费观看
01月19日，由“请保持书店本色”谈起，久久综合 人妻，人人人人人人操人人人人射，国产区视频网站，cosplay被草到高潮
01月19日，台湾花莲县海域发生4.5级地震 震源深度15千米，雏田18，AI明星换脸】AI-宋轶 寂寞的巨乳黑丝女教师,不仅会教书而且懂育人，无码,色,不卡,AAA，草操视频
01月19日，杭州淳安完成国家珍稀濒危植物象鼻兰移植，色七七中文无码，视频三区国产盗摄，疯狂婬荡的人妻HD中文，PH破解免费官方
01月19日|河北邯郸老年空竹队花样舞动“龙抬头”|国产a级黄色网站|女校 脱 给我揉 视频在线观看|一边洗澡一边啪啪高潮会怎么样|国产精品无码免费
01月19日|财政部拟发行2024年记账式贴现（四十四期）国债|亚洲第五十九页|欧美永久免费精品|亚洲熟妇无码色欲av|www.色就是色.com
01月19日|探访江苏盐城范公堤遗迹：曾经兴盐运，至今惠民生|国产精品爱视频福利广场|91久久免费视频|中文字幕AⅤ亚卅中日韩欧|A片人人人人A片人
伊朗将继续与科威特举行会谈，中国足协将举办首期青训总监培训班|2月上半月京津冀及周边区域空气质量以优良为主|娜美裸乳被爆 白浆的视频|欧美自拍另类综合专区|中文版Onlyfans破解版最新版下载|狠狠操天天干
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
第七届全球华语朗诵大赛浙江集结营开营
2024年全国台联第三十届台胞青年冬令营重庆分营开营
京剧演员蓝天追忆恩师童祥苓：我失去了一位崇拜的偶像
我国发明专利产业化率达39.6% 连续5年稳步提高
中国驻韩国大使馆举行“新春暖心包”发放仪式
澳大利亚举办《龙诞圣心》活动弘扬中华传统文化
维港两岸掀起“咏春热”
中新教育丨吴国生任中央财经大学党委书记
拉萨首届进口商品展览会开幕 600余名外籍客商齐聚拉萨
福建发现全球最大的恐爪龙类足迹
操淫逼网国产馆
欧美性色欧美A在线在线播放
A级毛片毛毛免费观看的人
毛片免费无码视频
刘嘉玲被扒开双腿猛烈进入小说
蜜桃视频动漫露出胸来。
26uuu日本欧美
男男黄色视频
欧美黄色网自拍
国精传煤
闽公网安备 35010302000113号