首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《s一级在线观看》，《Q8X2R7L1T4J5M9B6W3》欧美一级视频真人视频
“国产小视频在线看”
性生大片免费观看视频网站一
……
01月15日
“男女性接交无遮挡免费看视频”虎扑女神大赛16强名单
↓↓↓
01月15日，哈乌阿三国元首就绿色能源开发和传输签署战略合作协议，国产欧美日韩第一区，色综合久久中文，毛片a片一级片，日本中文字幕三级网址
01月15日，习近平主席特别代表、全国人大常委会副委员长郑建邦出席伊斯兰合作组织第15届首脑会议，美女和男人一起自慰，鸥美曰本一级片，99只有这里有精品，寡妇在遗照前猛肉狂翻
01月15日，甘肃临夏乡村：老人3元钱吃“暖心饭” 天然气入户告别呛人煤烟味，操操操com，男女无套视频，免费国产黄色无码视频，91精品视频第一页
01月15日|国防部回应美对台军售：将持续加强练兵备战 坚决挫败“台独”分裂图谋|人人操精品超碰|毛片?|午夜A片观看|免费观看A级片
01月15日|“中国新疆的历史与未来”国际论坛发言集萃|女生怎么奖励高清素材动漫|金卡戴珊性猛交XXXⅩA片|原神神子失去尊严图|59pao.com
01月15日|WTT新加坡大满贯：王楚钦、孙颖莎晋级 林高远止步首轮|神乐桃果在线|手机在线看片91|台湾女人自慰动态图|色综合久久久久无码专区……
01月15日，促进两岸经济文化交流合作部际协调机制工作会议在北京举行，要操逼网，黄 色 网 站 一 区二区，A级黄色网站免费看，纲手雏田掰开屁股让鸣人桶爽
01月15日，河南平顶山煤矿事故已致13人遇难 3人失联，99久久一级毛片，老熟妇无码，日本eww，黄片在线免费观看一区二区三区
01月15日|跟着总书记学党史·红色足迹 以“赶考”的清醒和坚定答好新时代的答卷|插进来视频在线观看|坐在学霸的棍子上背单词|99er热视频在线观看免费精品|欧美少妇高潮视频
01月15日，海外华媒探秘“东方魔稻”：一粒种子“稻香全球”，色色色色网站，天天摸天天碰天天爽天天弄，五月天六月婷婷中文天堂，国产 无码 自拍
01月15日，500余家体育用品企业参展山东“体博会”，二次元人物桶二次元人物免费网站观看，约尔同人18 AV黄漫，国产WWWWWW在线视频，欧美交性一级视频免费
01月15日，故宫博物院首部儿童音乐剧《甪端》驻演北京欢乐谷华侨城大剧院，国产一区二区在线导航，亚洲第一黄色在线观看，欧美韩一区二区三高清，奇优手机最新版本
01月15日|新春走基层｜不能回家过年的他们，守护了通往千家万户的团圆路|精品黄色网站|1313午夜精品理论|吃瓜爆料偷拍|一级A片刺激高潮视频在线观看
01月15日|市场监管总局：截至5月底，我国实有民营经济主体总量18045万户|禁止看的黄片视频|91麻豆精品福利在线观看|538在线视频观看|九九视频精品十
01月15日|山西持续加强全科医生队伍建设|99久久看视频|欧美激情办公室A片在线观看|天天摸天天透|久久精品专区免费观看
C罗腿部肌肉撕裂，余华 最会写死亡的作家之一|用光影记录中国万千景象，他们是中巴友谊的见证者|天天视频黄片|性无码视频网站|杨幂被两个黑人玩到哭|92国产在线二区
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
刘浩：中国国歌在巴黎奥运会奏响一刻最难忘
黑龙江三天迎客超800万人次 “尔滨”依旧人气旺
《繁花》要维权，宝总泡饭还能不能卖？清华及时清退违规留学生 让“一视同仁”落到实处
广西龙胜：侗族民众学舞吊龙迎新春
构建“三讲一演”矩阵 浙江庆元推动统战宣讲走“新”入心
亚洲电影大奖香港颁奖 陈建斌蒋勤勤许玮甯红毯“谈演技”
广西柳州：“小东北虎”欢跳竹竿舞 品味广西水果盛宴
2023年海口海关侦办离岛免税“套代购”走私案值超6亿元
中新健康丨南京高校团队研发出精准识别血栓的纳米递药机器
在广州，读懂中国的改革决心
7932 >> www.zheaz.loan 陌陌成人版不来后悔一輀
抖阴国际版
三级在线观看网站
亚洲系列中文字幕第一页
小马拉大车妈妈儿子
哦美日韩淫乱视频大全
亚洲一区二区偷拍
糖心vdif
黑兽
欧美一级一区
闽公网安备 35010302000113号