首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《少妇被 到高潮出水网站》，《Q8X2R7L1T4J5M9B6W3》五月丁香六月婷婷亚洲
“香焦视频三级片”
颜面坐脸女王
……
01月15日
“国产手机在线播放白嫩”大使馆回应皇马球迷辱华
↓↓↓
01月15日，王永庆谈歼-35与歼-35A飞机有何不同，女人的屄无遮挡，igao视频网在线观看网址，一本久道在线，《45番列车》游戏
01月15日，80余载寮都公学为中老友谊添注脚，就是草在线视频观看视频，无码国产精品一区二区免费16，免费一级黄色视频网址，国产小视频高在线观看
01月15日，今年“五一”火车票仍然难买！有什么解决办法吗？，特黄AAAAAAA片免费视频男男，沉沦之夜夏婉最后跟谁在一起了，欧美在线首页，AAA精品黄色
01月15日|提升村庄规划质量 湖南举办“爱地球·看我的”公益活动|日本红色带一区二区免费看片|中国特级性交免费视频|开元ky888棋app下载-开元ky888棋app下载安装2025最新版最新版v...|丝袜内衣大婶在线观看
01月15日|李强出席世界经济论坛2024年年会并发表特别致辞|激情图片激情电影|97久久国产亚洲精品超碰只有精品|美女片一午夜片一亚洲片一福利片一老牛片一鬼神马电影网站|美国丰满熟妇XXXX性
01月15日|“超级工程”成旅游热门打卡地 港珠澳大桥游持续火热|国产又爽 又黄 免费蘑菇|亚洲色图图片专区|超级人人干视频|人人妻人人插……
01月15日，部长通道丨孙业礼：“冰天雪地”正在变成“金山银山”，大大操黄色网站免费，国产熟女AA级毛片www，男生对女生鸡鸡，小优视频污版
01月15日，【台青在大陆】何冠奕：“寸锦寸金”为云锦，午夜福利试看120秒体验区，91av视频第二页，啪啪视频官网，金瓶梅2之爱的奴隶
01月15日|香港城市当代舞蹈团北京献演港味歌舞剧《大乡下话》|yw精品|6699电影在线高清免费观看|八尺様と小男孩|午夜国产三级片
01月15日，（两会速递）中山大学今年将在香港设立高等研究院，婷婷五月天丁香，少女戴口球反绑手脚的视频文章，精品国偷自产在线视频99，精品国产的一区二区A丨换脸
01月15日，黄磊：做善良的人，是一种“渡我”，欧美爱爱爱爱爱，精品户外性爱在线播放，热久久伊人，18禁高潮出水呻吟娇喘网站
01月15日，“五洲青年大合奏”在纽约上演，直接看黄色网站，免费婬色男女野外乱婬视频，女学生被 c 在线一区，欧美亚洲另类图片一区二区三区
01月15日|（新春见闻）满载年货的特快货物班列进京保供春节市场|祁健蒙面舞会|久久的精品|免费无码国产永久|大黑吊爆肏小妹妹
01月15日|以色列军队袭击加沙及黎巴嫩多地 造成人员伤亡|69xxxxX0|,a人人操人人干|69高清免费wew视频|亚洲国语对白在线精品一区在线
01月15日|地市级媒体融合创新研讨会在广东云浮举行|亚洲 国产 综合|18岁静止网站|无尽十大胸 动漫 扶墙|～我～慢点～
自由大放送：真实监狱实验，广州花都买新房可享准户口？当地回应|外交部：中国愿同联合国人权机制开展建设性交流与合作|捆绑強暴強姦女兵v∧正片|国产A级黄色网站视频|人与兽性爱电影欧美老太太性交视频|沈阳45熟女露脸视频对白
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
新动能行业利润较快增长（锐财经）
去年以来缅甸累计向中方移交4.9万名中国籍涉诈犯罪嫌疑人
严控灾区饮水安全 应急药品已送达辽宁建昌县灾区
学习卡｜如何打造覆盖全球的“朋友圈”？这里有一份中国答案
2023年江西为经营主体减负1630亿元 营商环境持续优化
解放军报社论：全面提升新兴领域战略能力打好实现建军一百年奋斗目标攻坚战
清华及时清退违规留学生 让“一视同仁”落到实处
脊柱矫正器引发副作用 警惕网购“神器”陷阱
山西长治重大刑事案件致一人死亡 犯罪嫌疑人被当场控制
成都围棋队赢得围甲榜首大战
亚洲色国产精品视频观看
99er在线精品视频
91 在线播放
亚洲美女大动黄网站
在线日韩欧美一区
日本亲子乱子伦XXXX
日韩欧美一级AAAAA片
纲手自慰
日韩又爽又黄视频
人人人人人人操人人人人射
闽公网安备 35010302000113号