首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产欧美日韩综合》，《Q8X2R7L1T4J5M9B6W3》国产精品亚洲一区二区三区天天看
“女生 和男生”
图片 卡通 偷拍 欧美 视频
……
01月19日
“小樱吃鸣人打狙”林俊杰新书超越音符
↓↓↓
01月19日，“捏捏乐”让5岁孩子“上头” 是解压治愈还是情绪消费？，午夜毛片，O0鉂屸潓，欧美亚洲黄色片，色综合天天综合网色狠狠
01月19日，援柬中国中医医疗队赴柬埔寨7号公路项目部开展爱心义诊，精品欧美一区视频在线观看，亚洲色精品Aⅴ一区区三区，性生活一级黄片，男男CayCay男男ZoO
01月19日，三年之约雄狮归来 电影《雄狮少年2》官宣定档，永久免费 ,视频，欧美性视频一区二区，91sw自拍三级，日本小姐姐穿黑丝。被男生操。
01月19日|国家消防救援局：严禁在人员密集场所的门窗设置障碍物|黄色网站国产黄色网站|国产精品一区第20页|国产换妻|欧美黄色网站欧美
01月19日|上海宠物时装周：“它”经济助力行业发展|台湾婬片A片AAA毛片|黄色三级学生阴蒂性交美女|99re九九热久久精品re|二级AV网站
01月19日|锚定现代化 改革再深化丨浙江兰溪：加快形成“一港五区”水运格局|国产 高清秘 成人久久|爱情岛永久入口|www.jju国产激情视频|爱爱视频免费一级……
01月19日，人民论坛网评｜人才培育当多管齐下，欧美黄色大片，人人操网,黄色网站，桥本香菜自慰黄视频，欧美在线a欧美在线ab杂交
01月19日，黄埔一期曹渊孙女：祖父牺牲后周恩来叶挺照顾遗孤，日日干夜夜拍天天添天天日天天操，人人草人人摸人人插，91人人妻人人操，免费无码十八禁污污网站
01月19日|超50场马拉松同一天开跑，鞋厂争夺“上脚率”，背后是商业竞争的白热化|国产有色视频|爱唯侦察1025工厂最新消息|性生活亚洲视频无码区|无码小片
01月19日，中国新闻一周纵览（10月19日至25日），99九九免费精品，粉嫩在线，另类 综合 专区，男同飞机杯自慰 免费
01月19日，厦门绘就高素质高颜值现代化国际化城市画卷，欧洲黄色A片网站，久久国产色Av免费，国产小电影精品无码视频，成年免费漫画A
01月19日，解决不规范、过度检查等问题 司法部发布8件监督案例，搜索一下个黄色一级带，久久精品夫妻性生活视频一级影视，男女猛烈无遮挡的免费视频呢，717影视午夜理论片 爱恋天下
01月19日|亚洲电影大奖香港颁奖 陈建斌蒋勤勤许玮甯红毯“谈演技”|日本加勒比人人看人人爱人人操|欧美多人免费A|另类欧美日韩在线视频观看|在线观看免费无码黄
01月19日|中国祝阳传拓之乡暨乡村文化旅游节启动|色色综合专区|海角社区妈妈封神最经典十首歌曲|高清视频日韩|成年人拍拍视频网站
01月19日|吉林以旧换新政策促二手车交易量快速增长|黄色一二区 在线播放|人人操人人干高潮出水|一级做a爱片久久毛片潮喷|中文字幕在线更新资源站
黑神话八戒好可爱捏，鞠婧祎工作室回应署名争议|江苏盱眙小龙虾背后的三百亿级市场|精品福利视频第一页|在线看视频永久免费|小 深入麻豆|极品粉嫩小仙女小穴69XX
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
（文化中国行）守望潮起潮落与两岸变迁 “运河之眼”见证城河共生
上海博物馆东馆5月21日起暂停对外开放
8月份全国自然灾害风险形势发布：我国七大江河流域已全面进入主汛期
习近平总书记在第四次“一带一路”建设工作座谈会上的重要讲话引发与会人员热烈反响
祝贺！国羽女队第16次夺得尤伯杯冠军
外媒：为换取被扣押人员获释 以色列向哈马斯提出最长停火两月
亚洲柏林峰会CEO：在汽车领域我看到很多合作机会
港股十连涨
浙东运河第一部“百科全书”面世
中国正能量｜乐·活·人生
英语老师帮我打脚枪
操黄色视频
在线免费激情视频
美女尻屄直播极品大胸
欧美日本免费一级a一片
成年人视频福利站
小骚0爽到尖叫h男男
超碰在线国产
A片动态图真人一进一出
大鸡巴擦粉嫩小穴
闽公网安备 35010302000113号