首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《手机在线免费观看的AV黄色网站》，《Q8X2R7L1T4J5M9B6W3》金卡戴珊裸秘 网站
“999久久久国产精免费观看”
国产一级性爱A片。
……
01月15日
“超碰福利Av第一导航”二十一天
↓↓↓
01月15日，香港广西总商会秘书长：将“壮族三月三”打造成广西文化品牌推向世界，亚洲欧洲一区二区，国产男女无套 观看91社区聊骚，ass极品裸体女兵picc，色色色射网色射射射
01月15日，安罗高速黄河特大桥即将建成 攻克系列建设难题，机机对机机30分钟视频，亚洲九九视频，黄片、毛片，性爱丝袜视频
01月15日，画好最大同心圆 共谱壮美新华章，欧美精品视频免费在线观看，最新麻豆精品视频，三级黄毛片，高清无码性爱动图
01月15日|湖南长乐甜酒古法酿造助产业焕新 富民增收|操操操综合|期|插干操|黄色观看在线
01月15日|美国中学生故宫初探访：中国研学之旅很美好 一定会再回来|日本黄页|女生脱衣服干逼网站免费播放|黄色视频,三级片|毛片A片免费看
01月15日|农业农村部：着重保障粮食和重要农产品稳定安全供给|欧美全黄色一级片|找免费黄色网站|飘花黄色一级影片|天天天天干……
01月15日，探访太原新发现北魏石窟：孤独隐匿山间近1500年，国产成年无码久久久久久久久毛片黑人，美女视频黄a美女大全免费看，加勒比中文字幕一区综合在线，www.黄色毛片
01月15日，鱼肥虾美蟹满黄 新疆沙漠“海鲜”上新了，国产黄色视频在线播放，大雷擦狙官网入口免费，毛片基地老址，人成网站a视频在线观看
01月15日|杭州西湖进入冰冻模式 冰凌垂挂展现别样风采|久久亚洲毛片中文字幕|操B小视频|中文无码精品视频在线看|在线视频一区二区三区亚太欧美
01月15日，（神州写真）中国冰雪文旅迎奇景 吉林雾凇解锁“流量密码”，国产老人P0rn，在线观看视频国产小视频，海角社区我的长腿丝袜，女生扒开屁股让男生操的软件
01月15日，四川：调整优化房地产政策 加大首套房和改善性住房政策支持力度，软萌兔兔酱又喷奶了，免费av毛片在线观看，精品国产 国产没封，国产片婬乱一级毛片视频高清网站
01月15日，【图解】3组数据看住房和城乡建设成就，都是激情国产在线，Av近腾郁美，黄网站18，zO0O与人XXXB
01月15日|《报告》显示 我国5G工业应用已深入生产核心控制环节|a亚洲色噜噜网站在线观看|午夜豆瓣达达兔视频|久涩涩综合|国产一级A片在线视频免费观看
01月15日|湖北检察机关依法对刘捍东涉嫌受贿、滥用职权、非法倒卖土地使用权案提起公诉|欧美激|www.aaa4a.com|a片黄片黄片大黄片黄片|www.色影院
01月15日|我们的先辈｜焦裕禄：人民公仆|男男十八禁 啪啪免费软件|亚洲天堂AV在线WWW|美女嫩嫩泌久久|欧美干干干
淘宝确认免单不是bug，国足战巴林26人名单确定|2023年我国发明专利产业化率为39.6%！连续五年稳步提高|久久老肥熟|国产免费黃色视频|哈尼克孜烧毛过程视频截图|亚洲一级二级一区二区
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
“龙虾之都”盱眙小龙虾集中开捕展“富民画卷”
冬季藏阳，有没有适用的食疗方？| 时令节气与健康
在大城寻小虫 爱好者上演沪版“昆虫总动员”
赛季第三冠！郑钦文获得WTA东京站冠军
新闻周刊丨高效办成一件事 各地推出便民利企新举措→
【小新的Vlog】逛东北早春花市：感受火热的“繁花经济”
外交部：对于韩国内政不予评论
中国慰安妇受害者子女首次在国内起诉日本政府
（身边的变化）山西高平：盘活民众“生活圈” 托起民生“幸福梦”
阅读点亮高墙内外希望之光
色黄美好乱码网站
国内精品久久久久久电影网
国产四区aa
孕育的卵巢之卵下载
国产一级按摩精油
体育生GayGays 免费
爱做视频欧美一区
色综合久久久久久久久性
制服丝袜AV麻豆免费影视在线
欧美日韩男人在线视频
闽公网安备 35010302000113号