首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的 。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《日韩特黄-区,二区,三区视频》，《Q8X2R7L1T4J5M9B6W3》黄瓜看片
“亚洲天天天天天堂”
中文乱码35页在线观看
……
01月15日
“国产视频美女大屁股黄群视频”百分百出品
↓↓↓
01月15日，广州市一轿车与行人和电动自行车发生碰撞致11伤 肇事司机已被控制，www,欧美精品视频,com，一边舌吻一边揉我的胸都没有感觉，国产日韩一级片免费在线观看，wwwwwxxxxxxx 因
01月15日，沉浸感受历史建筑“讲”故事 天津激活文旅新体验，亚洲欧美另类在线第一页，欧美在线精品一区二区三区，佐伊的兔子洞，欧美视频网址大全啊
01月15日，文脉华章｜跟着总书记探寻文化根魂，成人猫咪网址，海贼王黄化，用力⋯别停⋯受不了快高潮了，综合自拍第一页
01月15日|【在希望的田野上】各地多举措推进粮食稳产增产|国产精品国产精品国|亚州无码社区|全黄做爰100分钟视频|爱我有多深电影在线观看完整免费高清原声满天星
01月15日|微波生命探测仪、大型无人机……各式救援新装备支援山体滑坡救援|毛片视频网站|最近最新中文字幕1页|白白白免费视频观看爱|国产一级婬片A片视频在线观
01月15日|首届情系中华香港青少年作文暨朗诵大赛在港举行|欧美日韩国产另类专区|在线视频插|欧美成a人片在线观看视频|精品99re最新地址久久……
01月15日，中国LED显示市场规模不断扩大 产业集中度提升，国产一区二区亚洲欧美日韩，毛片不卡播放，sewww，美女跪下来吃J8的视频免费
01月15日，“线条与哲思重构的自由：吉狄马加的另一个世界”展在蓉开展，神里绫华疯狂被 喷水自慰，8 8 海外永久免费视频，久久91精品久久久久久清纯，国产怡红院亚洲
01月15日|国家防灾减灾救灾委员会办公室、应急管理部持续部署低温雨雪冰冻灾害防范应对工作|强奸国产无码激情|国产主播第2页|操爱激情不卡视频网站|国产精片自拍
01月15日，金庸诞辰百年：大侠与南开的缘分，午夜性生活视频60秒，无遮挡又激又爽污污网站，www.视频二区，五六十发熟好乱子伦
01月15日，和评理｜美欧保护主义政策终将反噬自身，黄色A片岛国视频网线，日本小电影在线播放，1级黄色毛片，A片一极片
01月15日，广东：为两批次房地产融资“白名单”项目授信约737亿元，欧美xxxx狂喷水，免费肏屄视频，超碰免在线，色欲天天媛色婬香视频综合网
01月15日|中新真探：加钙牙膏能为牙齿补钙？|欧洲一级毛卡片免费不卡|国产性生活视频免费看|外国性爱免费观看|国产一级特黄AAA片免费
01月15日|今晚第一场！看王楚钦孙颖莎奥运后混双首秀|怎么看无码黄片一级片|欧美熟妇另类视频在线播放|直接看黄网站|欧美女肏屄
01月15日|会说话就能造机器人？|人视频在线看免费|jk大雷搞鸡|锕锕锕铜|网址在线观看你懂的
广州天河宝马撞人案罪犯被执行死刑，S赛历届冠军排名实力分析|中国科学家首次实现光子的分数量子反常霍尔态|97色色黄色视频|黄色视频在线播放联合声明|国产精品新品厕所|黄色视频免费在线看中文字幕
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
羽毛球涨价，对制造商影响几何？
辽宁聚焦科技创新赋能国有企业高质量发展
中国驻美大使谢锋：让“看不见的手”和“看得见的手”各展其长、协同发力
美国奥运选手奈顿兴奋剂阳性案诸多疑点悬而未决，中国反兴奋剂中心发声
习近平两会到团组深入谈“新”
专家：2030年国内放射性药物市场规模将达260亿
广西来合铁路迎大规模清筛施工
重庆：网约车驾驶员“大比武” 促行业高质量发展
加拿大东西部港口停工 加政府要求对劳资双方实施强制仲裁
以军空袭拉法 至少16人死亡
国产免费AⅤ片在线播放
久久久久人妻一道无码AV
欧洲美女裸体不打码操逼
特级黄色强奸大片
周于希爆乳
国产熟妇毛片A片AAAAPp
可直接观看的黄色
国产精品男男视频一区二区三区
别c我了～C烂了～啊～轻一点
最新欧美精品免费A片在线播放
闽公网安备 35010302000113号