首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《宁荣荣 爆乳 无遮挡》，《Q8X2R7L1T4J5M9B6W3》海角披风少年 妈妈视频
“日韩不卡毛片午夜在线看片,”
媚黑网站
……
01月19日
“免费观看做的爱A片高清”村支书系爱马仕皮带坐豪车慰问贫困户
↓↓↓
01月19日，中国女排U17世锦赛夺冠 现场观赛侨胞: 未来可期，激情 国产 另类 图片，美女不穿衣服直播，穿越火线灵狐3D同人，国产一区二区视频网站
01月19日，塞尔维亚交通部长“演唱”中文歌曲《今生缘》 神情沉醉，美国的一级黄片，美女曰逼黄色网站，又黄又刺激的一级毛片视频，前列腺高潮合集Video
01月19日，蚂蚁森林超9成树种在“三北”攻坚战核心区，再捐1亿元支持甘肃种树治沙，嫩小模特喷白，久久久久久精品免费免费Weⅰ，久久久久久性高潮精品，欧美淫荡网在线
01月19日|中国傩戏学研究会2024年年会在京召开|中国少妇XXXRree少妇|精品72久久久久久久中文字幕|a片免费观看30秒|国产一级婬片A片AAAAA视频
01月19日|【澜湄印象】开通运营三年 中老铁路累计发送旅客超4300万人次|国产精品勾搭农村老头|进入|日本巨大波霸乳裸交孕妇|黄色网站AA级
01月19日|2024张家界武陵源马拉松举行 万名跑友峰林竞速|玖玖色导航|国产一级毛片激情视频|开户猎手(破解版).apk.1|qypjb_aff:bKEDC……
01月19日，教育部部署做好2025届全国普通高校毕业生就业创业工作，国在线观看产福利91啪，91性爱自拍，激情偷乱人小说视频，玖玖爱视频精品
01月19日，韩媒：韩军计划2025年初引进100多架纸板无人机，8x8ⅹcom永久免费视频，小辣椒福利污污午夜导航，女警察被 到爽 流尿，国产尤物在线视频
01月19日|推进数实融合 提供澎湃动力|色多多成视频人黄在线观看|人善交欧美老妇交在线|久久99con|兰陵王抓住小乔的胸襟
01月19日，美国批准对台出售19.88亿美元武器 中方将予以坚决反制，AV在线一区不卡网址强奸老师，大肉大榛一出一进免费，男子把自己的私密部位插进女生的菊花部位视频，柳智敏ai换脸
01月19日，全国大部气温波动回升 南方明起雨水再增多 ，35pao 18岁禁，黄片高潮喷水视频，国产精品哟哟视频一区二区，影音先锋xfplay色资源网站
01月19日，中央广播电视总台蛇年春晚吉祥物“巳升升”亮相，A片在线一区，性欧美巨大xXxX，精品资源在线，高清乱码 免费菠萝视频
01月19日|福建海警上演厨艺大比拼：“厨神”展多种技法|邱淑贞被 好深好湿|我肏|免费看裸体美女淫乱变态视频|www.yw***网站
01月19日|一架飞往日本的客机发生袭击事件 飞机紧急着陆|天堂网在线无码|亚洲国产91精品|美女黄网站视频免费视频性色|日韩电影久久久久久精品
01月19日|数据图解丨中国造船业三大指标连续14年全球第一！|国产成a人片在线观看网站|精品视看在线观看|图片亚洲综合区|啊啊啊啊啊啊高潮了18
乡政府回应田地内发现一具被焚尸体，倪夏莲直播|财政部：不断建立健全符合国际规则的政府采购政策体系|www.91在线|亚洲人毛多水多|91 久久|中国一级久久免费视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
孙杨亮相2024年全国夏季游泳锦标赛
菲和平、暴力和恐怖主义研究所所长接受《环球时报》专访：我为菲律宾倒向美国而难过
“网红城市”持续上新 如何将流量转化“留量”
西藏昌都森林消防在澜沧江开展防汛实战演练
住建部回应！保交房大消息：396万套被锁定年底前交付！
以解决问题为导向 促进广州经济社会高质量发展
【风起黄埔】黄埔二十二期彭永：黄埔军校属于中华民族
乡村产业发展“缺地”？浙江探索“点土生金”
中新真探：油柑是“窜稀神器”吗？
去年访港旅客约3400万人次 内地成最大访港旅客市场
黑土吃大狙
亚洲精选视频
男生和女生怼怼怼
久久无码av高潮av喷吹捆绑
可直接观看的无码AV毛片
黄色电影禁止18国产
班长被 到爽 流小说
美女被cao的免费网站直播
日韩无码天堂
在线看a的网站
闽公网安备 35010302000113号