首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《狼友在搜》，《Q8X2R7L1T4J5M9B6W3》黄色视频国产四川
“国产一级无码精品视频”
永久免费A级毛片高清视频
……
01月19日
“18 小视频”装腔启示录
↓↓↓
01月19日，云南消防已搜寻出10名昭通镇雄山体滑坡失联人员，久久精品电影，在线免费免费观观看看的黄色视频，激情图片网站，二品黄片
01月19日，上海财神庙启用一级微型消防站，好黄好硬好爽，北海道黄色网站在线观看，观看免费的A片视频片，99热都是精品久久久
01月19日，黑河口岸夏季航行运输正式开启，貂蝉奖励自己核心提示，官网人人爱人人摸人人操，羞羞.cOM，人人操人人鲁操肉肉
01月19日|（新春走基层）湖南长沙推龙年“新春游” 激发假日文旅消费潜力|wwww,xxxx|宝贝～腿打开一点我轻一点视频|欧美ZOZOBBXX|5社区在线最新视频
01月19日|山西忻州求新谋变 城乡融合绘高质量发展新画卷|胸走光看奶|亚洲图片综合|久久久久久久久精品久久久久久|18馃埐ph
01月19日|习近平在法国媒体发表署名文章|3级特黄操逼污视频网址|安卓小黄油 合集|成欢阁官网入口最新版本更新内容是|苍月.中国韩国财阀……
01月19日，电动自行车交通安全事故频发 专家建议提供共享头盔，欧美在线色播，把jiji❌进女班长屁屁里视频，欧美一区二区视频播放，女人免费A片视频
01月19日，印尼勒沃托比火山一天内多次喷发，人人摞人人摸人人草，欧美激情另类其他，亚洲性爱aV网，色哟哟在线免费观看
01月19日|珠江流域应急响应级别提升至Ⅱ级 俯瞰北江景象 |八重神子被 吸乳羞羞本子|男男做冰块+扩张失禁play|麻豆精品免费视频在线观看|潘甜甜三部曲在线观看网址免费播放
01月19日，大天鹅也有“方言”？听听鸟类专家的分析，一区二区三区四区乱伦，国产youjizz，18 视频 免费，12孩岁女裸体秘 拔萝卜电影
01月19日，受双台风影响，东部及南部海域将迎来较强风雨，国产精品主播在线，日本三级A片，AAAAAAAA片免费观看，琪琪电影电脑在线观看
01月19日，青海省举办侨界2024甲辰新年音乐会，黑人无码av无码专区，星野大战光头男在线观看，直接观看的黄网站免费视频，91精品在线观看视频
01月19日|新能源汽车出海步伐加快（产经观察·走近“新三样”）|免费 无码 国产在线观看91|免费国产va在线观看视频|亚洲h成年小说在线观看网站|性交小视频免费看
01月19日|国家统计局：中国房地产市场出现积极变化 构建新发展模式潜力巨大|最新精品在线|成人 免费视频A片视频QQ群|国产一区二区三区免费观看在线|91sss
01月19日|湖北与东盟合作潜力加快释放|ovcfcy_11922...|韩国女主播18 朴妮曼|国模无码导航|日韩女人一级毛片日韩女人一级
神十九准备就绪，罗䁐锡的滋啦滋啦|【台青在大陆】何冠奕：用“古老”形容云锦 只对一半|小舞吃唐三钢筋|欧美日韩AⅤ淙合另类色|性爱网站免费看|自拍偷拍专区
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
（乡村行·看振兴）一“泼”十年，浙南山区清水何以“泼”出人气与财富？
国务院任免国家工作人员
航拍南京农业大学菊花基地 多彩世界引人入胜
重庆警方破获特大制售假冒伪劣电热毯案 涉案总金额2000余万元
印尼今年第二季度经济同比增长5.05%
海南发布地质灾害气象风险预警 这些地区要注意
全红婵巴黎奥运会女子单人10米跳台决赛夺金 陈芋汐摘银
广东下雪了！粤北清远市已启动防冻IV级应急响应
麦当劳中国科研总部落户江苏南京
青年台商初访汽车大省吉林 看市场寻合作
人人人人操人人人
九九爱在线视频精品
www18
Japanpornfuckfreevideo
国产欧美日产综合第一页
电脑看黄的网站网址
岛国一级片
99无码高清不卡
知更鸟泳装照
一级一级一级毛片免费网站
闽公网安备 35010302000113号