首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？椤
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿隆
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅痢
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《特一级不卡黄片免费》，《Q8X2R7L1T4J5M9B6W3》在被cao到爽网站
“亚洲色图欧美色图中文字幕久久”
亚洲一区在
……
01月21日
“日本特别黄色视频网”沙地塌陷埋压2孩童众人刨沙施救
↓↓↓
01月21日，日照边检站全流程高效保障“一带一路”航运重器，欧熟国产一区，人人看人操人碰，又粗又硬又长的3p勉费视频，精品欧美一区二区在线观看欧美熟
01月21日，韩媒：尹锡悦接受国防部长辞呈 提名新防长，女生戳进去无遮挡，| lvk高潮失禁，色色资源站免费视频，69热在线观看线无码视频
01月21日，中国消费市场运行总体平稳 专家建言激发企业创新力，人人干人人摸人人操，国产美女主播精品一级黄色录像在线观看，男人和女人黄 色视频一级，看老女人操逼视频
01月21日|我们的先辈｜焦裕禄：人民公仆|网红/福利姬 - 微密猫|九九精品视频无码专区免费东京热|全彩h漫|一级黄区
01月21日|辽宁辽阳兰河河道塌陷面积约500平方米 未造成人员伤亡|欧美A级特黄高清免费大视频|久久精品免费A片|淫视频欧美巨屌|日韩欧美 a级
01月21日|晋中“破题”山西中部城市群建设 与太原上演“双城记”|啊啊啊太粗了插我操我受不了了我要群p|黄蓉大乱婬交|日韩在线欧美在线|成年人毛片网站……
01月21日，内蒙古呼伦贝尔：当“村超”遇上那达慕，欧美性爱蜜臀，美女视频黄a美女大全免费看，又大又粗性av无码天堂免费，国产91精品免费视频
01月21日，瓜子二手车大数据：二手极氪001“准新车”抢手，价格最高省一半，一区一级精品毛片在线观看网站，18 少萝羞羞开腿白丝，人人爽人人澡人人添人人人人，海贼王罗宾的婬奴生活
01月21日|格鲁吉亚举行新一届议会选举|人人草人人爱人人操|www.MADOUav.com|www三级片|免费观看黃色A片一级视频一
01月21日，台湾青年观摩中国航展：备受震撼 成为歼−20模型拥趸，欧美A、级片视频，欧美成年在线免费观看，亚洲三级综合视频，黄色网站免费看视频一区
01月21日，【两会30秒】黄强：四川把人工智能作为全省1号创新工程，最新黄色视频在线观看网站，国产精品一区二区久久宅男宅女，好爽好紧好大别拔出来视频，美女又爽 又黄 脱脱内内视频
01月21日，日本本州岛东部近海发生4.3级地震 多地有震感，啪啪啪视频，光子影库，打屁屁黄片应用，国产在线无码视频天天看
01月21日|62年来首次 政府被议会推翻 法国总理5日将递交辞呈|拏子弹药网app下载官网最新版本|葫芦娃app汅api免费网址|亚洲欧美日韩一级黄色片|一区在线观看视频
01月21日|丹江小三峡特大桥开始主跨钢箱梁施工|四川女人乱子视频|91久久久久就去色色精品|国产欧美午夜|性爱尤物黄色视频
01月21日|中方：菲方应立即停止冲闯中国南沙群岛和黄岩岛邻近海域|特级太黄A片高潮视频|美女扒开腿秘 让男人打进球作文|精品国产人成亚洲区偷窥|宁荣荣吃巴雷特
如何看待IVE新歌涉嫌抄袭中国文化，哈哈哈哈哈 第四季|新机遇频现，蓝海还是蓝海(开放谈)|情趣阁视频|porenport720hd|国产精品免费精品一区|免费黄色网站入口
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
【世界说】美学者刊文揭美国的“自恋型人格障碍”
认真学习的样子太帅！台湾大学生“穿越”历史，爱上北京中轴线
同心故事丨边陲朝鲜族民俗村的蝶变
厚植为民情怀，千方百计解决群众的烦心事
2024年全国青少年棒球联赛总决赛收官
瑞银资产管理报告：中国股市的投资机遇乐观
中方批驳加拿大有关报告：所谓“中国干涉内政”是彻头彻尾的政治谎言
中国外交部和阿盟秘书处发表关于巴以冲突的联合声明
贵州从江苗寨民众齐聚“赛芦笙” 欢度芦笙节
百余名设计师创意“龙”形展亮相天津
三亚孕游催眠眼镜适合孕妇吗
国产一级a免费无码视频软件
一级黄色网一级黄色网站
日本体内she精2╳╳╳
不带套C一天的视频
538视频在线播放
亚洲国产精品一区二区美利坚
啪啪视频免费看黄
扒开老师❌狂揉❌难受3d
狼友视在线观看
闽公网安备 35010302000113号