首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查” ，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该 ？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA ？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕 ？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《▇▇▇▇▇▇的英文怎么写》 ，《Q8X2R7L1T4J5M9B6W3》99色
“黄网址在线播放免费无码”
男生全裸无遮挡Gay秘
……
01月19日
“97热久久免费频精品无码”“五一”假期开启“韵味”旅游季
↓↓↓
01月19日 ，中新教育丨贵州推出“冬季研学大礼包” 让“研学游”实现“研学优” ，搞毛片毛片播放 ，人人操人人操人人摸 ，亚洲成Aⅴ人片久久青草影院 ，亚洲日韩中文字幕一区二区
01月19日 ，“第二十条”被唤醒！行使正当防卫权利时应注意什么时政快讯丨十四届全国人大二次会议举行闭幕会 习近平等党和国家领导人出席 ，女人19水真多毛片学生 ，爱情岛 vip永久入口17c ，欧美 色图 亚洲 ，91东北老熟口味重
01月19日 ，交通运输部：7月29日—8月4日全国货运物流有序运行 ，亚洲jiZZjiZZ中文在线播放 ，iGAO视频网站入口 ，妲己被爆 吸乳羞羞 ，啪啪啪无码不卡
01月19日|主动承接产业转移 贵州加快建设大数据电子信息产业集聚区|国产精品免费视频色拍拍APP|二狸翻白眼流口水流眼泪图片|最新日本黄色视频|台湾女人自慰动态图
01月19日|国家民委党组《求是》刊文：以铸牢中华民族共同体意识为主线加强和改进党的民族工作 |看久久久黄色A片|老司机精品视频一思思、热99re热在线视频|狠狠ⅴ日韩v欧美v天堂肥臀|人人摸97
01月19日|兰州老街上演西域风演绎：丝路驼队伴西域舞姬“穿越”楼兰|色人人操色人人干|福利姬91|日本AAAAAAA片一级|女士穿紧身裸体开裆光滑皮裤……
01月19日 ，俄罗斯女商人逐梦厦门：金砖合作开启无限商机 ，一级毛片二级毛片二级毛片 ，永久名域18勿入永久名域 ，一边操逼一边打电话,操她 ，猛男GayGay 自慰免费网站
01月19日 ，台湾多地降雪 民众兴奋追雪留影 ，亚洲一区无码视频 ，巨胸喷奶水视频www免费动漫 ，又大又硬视频 ，亚洲综合天堂无码AV香港
01月19日|第十一届广州塔国际登高赛面向全球启动报名|黄色网搜黄色片在线播放|日韩AV在线黄色|吴艳妮裸体 自慰网站|国产91黑人哈尔滨老熟女
01月19日 ，从中国两会看全过程人民民主—— 以广泛商量回应人民诉求的良政善治 ，99re视频在 ，日韩一级欧美一级视频在线看 ，av久草天堂免费在线 ，扒掉乳罩秘 露出奶头视软件
01月19日 ，山东荣成：海潮景观吸引游客 ，欧美性爱电影一区二区 ，女生视频黄色网址 ，91精品啪 ，无遮挡欧美网站免费观看
01月19日 ，央广财评 | 连续11年全球最大工业机器人市场 中国新质生产力产业正成长 ，97人人操操 ，爱操屄 ，女人被操的黄色视频不用登录 ，100%裸体爆乳露双奶头无遮挡A片
01月19日|菲律宾11月通胀率升至2.5% 连续两月上涨|黄色视频大片网站|被 下部 羞羞学生|人人摸人人干人人玩|97超碰人人人人人人少妇
01月19日|中国“银发族”追逐老年潮生活|欧美色😍|国风按摩院|中国男GayGays 免费视频|馃崒馃崙馃敒馃敒馃敒
01月19日|波音客机又出事故！空中急降 乘客撞机舱顶致50伤|欧美性爱综合网站|欧美精品视频在线播放|蓝莓网|九久九久视频免费看
黑神话M站玩家评分降至8.3 ，2023年游戏出圈事件|利好政策成强辅助 北京车展收官|全国免费黄色网站大全|寡妇裸体一级毛片|美女裸体18禁 游戏模拟器|天堂av网影音先锋
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
2024世界传统医药大会在北京召开
南非第三季度失业率出炉 今年以来首次下降
张文杰任温州市市长
努力把人民海军全面建成世界一流海军
电子劳动合同储存期限是多久？一图看懂
浙江杭州：初冬西湖“披彩妆”
“桂中粮仓”风吹稻浪美如画卷
澳区广东省政协委员刘良：建议促进粤澳中成药互认互用
奥运冠军宣布退役，新身份明确
日本靖国神社举行春季大祭 岸田文雄供奉祭品
扣自己的币
国产精品国产三级国快看网址
亚欧无码网站视频二区
很爽很硬很舒服很大的黄色91视频99riAv
女性打乳钉秘 秘 秘 视频
wwwww网站
亚洲黄色aⅴ
小蝌蚪幸福宝导航
国产aaaass级黄色视频
免费一级毛 片
闽公网安备 35010302000113号