首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ唬衷诘男录苹歉扛瞿 ？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭Γ坏┘蚧腿菀锥阅 ；α值越低就意味着 ？榈目商婊恍郧浚幢慊怀筛崃康呐趟惴椒ǎ哉宓拿魅纺芰τ跋煲膊淮 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？椋簿褪呛笮挠呕康 。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口大 。慰课1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘剩踔潦逝涠嗄ＬＷ哟χ贸头３な悠怠⒊ね嘉哪谌 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产免费一级黄色网站》，《Q8X2R7L1T4J5M9B6W3》性色欲情免费网站
“91九色极品”
图片小说欧美亚洲日韩
……
01月16日
“强行扒开女人腿喷水视频”五一假期文旅消费成绩单
↓↓↓
01月16日，混团世界杯中国香港胜德国 黄镇廷：希望女儿看到我拼搏的样子，jiujiure最新，欧美a级免费高清视频，虫虫妖精漫画在线观看，奶咪的饺子皮
01月16日，法润彩云南 | 云南大理：打通法治乡村的“最后一公里”，日韩,欧美,国产黄色视频，色哟哟最新视频入口网站，宰杀女兵，国产精品日韩综合视频A
01月16日，2024世界智能产业博览会即将启幕 六大特点值得关注，日本啪啪视频，黄色网站三级片久久，黄色波多野吉衣，一级小一黄片www
01月16日|内蒙古奇乾现梦幻星空|91sm.live|Aⅴ片免费观看|yw国产在线视频在线观看|小毛片免费网址
01月16日|北京：银杏渐黄秋意浓|欧美~级AA片|欧美肥婆熟女同志|超碰在线个人最新网址|免费欧洲毛片A级视频无限量
01月16日|湖南多部门联动战冰雪 对铁路重点区域全时段打冰扫雪|在线视频网站导航|www.2298色片一区二区|美女黄18网站|美女脱 给男主捏 吃奶视频……
01月16日，德国创业者：中国是发展科研教育对口业务理想市场，在线免费观看黄色网视频，奇小满被操 视频，99熟妇，光溜溜的美女素材图片
01月16日，向“新”而行，央企“攥指成拳”加快发展新质生产力，3P视频国产，找小姐放黄片手机播放播放，黄视频美女写真，米塔🔞🍌进去里❌❌❌官方版
01月16日|在文明古国体验丝绸之路新生机|91九色国产精品|国产初高中精品网|莉莉艾被扒开腿做 同人|国产多人群p在线播放青
01月16日，中新教育丨马来亚大学：高度重视对华合作，国产视频91，灰原哀被c，尤物在线精品视频免费看，肉伦疯狂肉体⋯欧美
01月16日，云南西双版纳中老边境：跨境运输客货两旺，经典一级毛片完整全网视频，天堂网在线国产，91.76MB 209，男女猛烈无遮挡物视频免费
01月16日，中新教育丨吴国生任中央财经大学党委书记，亚洲毛片一区二区四区，西施的大雷，tiktok成人黄色版免费，jmcomic下载
01月16日|中国体操女队结束奥运选拔 邱祺缘全能头名|女人掰开尿口让男生捅到爽|www.huikounews.com|国产又黄又大又粗免费视频|欧美日韩精品视频一区在线看
01月16日|332名世界顶尖运动员汇聚上海 2024射箭世界杯上海站将开弓|干死你肏死你视频|下载范冰冰一级黄片|毛片可以打开的网站|华人在线永久免费视频
01月16日|1-4月中国晶硅光伏组件出口量同比增长20%|熟女|任我操在线视频免费观看|亚洲第一黄色视频在线观看|黑人黄片
种地吧2，樊振东奥运男单金牌|竹文化融入纺织面料 国际纺都加速绿色时尚转型|小婷香软软|蒂法被 18禁动漫|gs0431.com|一级黄片久久黄
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
湖北宜昌：珍稀夏候鸟数量明显增长
中法欧领导人三方会晤开始
硬拗“台湾不缺电”，究竟打了谁的脸？
From Chuandong Cave！贵州普定穿洞发布新出土文物双语海报
特朗普宣布：马斯克与拉马斯瓦米将领导“政府效率部”
浙江宁波外贸活力四射 2023年外贸进出口1.28万亿元
【巴黎奥运会】李越宏：眼泪代表着兴奋和对所有人的感谢
天津伦敦“双城互动” 上演“海河邂逅泰晤士”天津时尚秀
全球粮食安全专家警告：加沙地带北部可能面临饥荒
国防部长董军集体会见出席第二届几内亚湾安全形势专题研讨会的各国代表团团长
精动少妇
中文精品幕Av一区二区
国产污视
女人腿张开让男人桶爽视频下载
慢脚文化在线观看免费版app
XXⅩ欧美熟妇性交
欧美三级片AAA
影音你懂的
公和我做爽死我了A片
刘涛私生活黄片视频
闽公网安备 35010302000113号