首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《欧美一级A片免费网》 ，《Q8X2R7L1T4J5M9B6W3》久久综合另类激情人妖
“欧美第一页第二页”
俄罗斯女子学院2国语版
……
01月17日
“国产清纯在线”宋木子李飞给我笑点上强度了
↓↓↓
01月17日 ，2023年吉林法院民商事案件审判工作创佳绩 ，动漫被 到爽 挤奶水 ，又黄又爽又色的视频一区二区 ，污污的网站亚洲国产精品mv ，错一题c一下
01月17日 ，去年A股年度现金分红合计2.24万亿元 ，西方最大但人文艺体 ，一级黄色视频在线观看无码 ，免费看AV在线网站网址手机 ，午夜理论片最新电影网
01月17日 ，西藏吉隆口岸正式启用新版对外开放口岸出入境边防检查现场标志 ，XXXX日本 DB ，色情R星黄牌子免费下载安装 ，女生被操视频网站 ，EDM精准小狼导航
01月17日|广西柳州：融江江水交汇 现“泾渭分明”景观|东北老熟女妓女啪啪激情粗口对白|国产精品一级AV在线不卡无码|亚洲中文字幕一区欧美|国产人伦激情在线观看色A
01月17日|澳门“咏春达人”传承红船木人桩 一招一式尽显乾坤|男人操女人有限公司|凸轮亲管护土|亚洲综合熟女久久久29pv视界|黄色网站免费大全二
01月17日|精彩！两场七局大战，孙颖莎、马龙世界杯夺冠|玖玖玖在线综合精品亚洲区|中文字幕欧美亚洲|免费观看无码毛片|人人操人人爽欧美亚洲……
01月17日 ，10省区210家医疗机构实现病历互通 ，涩图无码 ，男模露J全程不打码视频 ，成年人福利在线观看 ，日本精品久久久久久久影视
01月17日 ，湖北对共建“一带一路”国家进出口规模创新高 ，久久久老色鬼免费视频久久久老色鬼免费视频 ，欧美性爱蜜臀 ，少萝被❌脱脱内内在线观看 ，大片a免费观看在线视频
01月17日|港珠澳大桥海事局推出政务预约远程办理|张柏芝操逼|一级A级毛片|网页视频在线观看黄|www.youyoucaobi
01月17日 ，云中锦书丨阿联酋姑娘：从青年外交官到知名中国问题专家 ，欧洲性爱 ，美女视频免费观看网站免费5 ，免费看欧美强奸视频 ，欧美特大一级免费AA片
01月17日 ，探访全球单体规模最大的碳纤维生产基地 ，免费在线观看黄色视频在线观看 ，亚洲丁香五月天缴情综合, ，一本大道香蕉久在线直播 ，国产精品口爆一区二区
01月17日 ，无声世界的“追梦人”：“95后”听障小伙用双手传承千年窑火 ，色色九月天 ，国内一级一片观看免费 ，cao97在线观看 ，久久久久久久久久久久久久久久久久
01月17日|山东高密泥塑迎春|铃木一彻技能026摩天轮玩法|亚洲视频在线观看第五区|‘日韩美女视频一区=区|亚洲 日韩精品国产福利
01月17日|【百万庄小课堂】马拉松需要怎么跑？|4438全国大成网在线|Aa在线网址|日韩国产AAAAAAAAA片|免看一级a一片在线观看免费
01月17日|中新健康丨国内外心脑血管领域权威专家共绘疾病联合防控新路径|日韩精品1024永久免费|av播放网站免费不卡|在线观看免费观看人成视频|初音未来高潮淫文
杜小华已前往无锡采血认亲 ，吧友化身黑神话预言家|巴西中国和平统一促进会和江苏省人大代表团座谈|国产又黄又刺激又爽的免费视频|久久综合久久一|国外做受 高潮|国产美女被爽到高潮免费A片软件
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
零碳科技赋能乡村振兴 “下党零碳示范基地”在福建寿宁落成
外卖小哥送“书香” 长沙推出300余场文化活动与市民读者“阅”享
多地发放新一轮消费券 涵盖餐饮、住宿、电影等多个领域
“二月二 龙抬头” 浑善达克沙地上演越野巅峰对决
南方地区将有阴雨天气 新疆中北部有雨雪天气
【理响中国·人民至上@中国式现代化】海报｜如何讲好用好新时代“大思政课”？
非洲博士为中医打call
数读中国 | 我国社会物流成本水平总体保持下降态势
马克龙：将致力于“更强大、更公平的法国”
宁夏：绿色生态成就幸福底色 贺兰山废弃矿坑生态修复经验在全国推广
国产免费无遮挡精品视频
欧美图片偷拍偷窥精品
国产免费综合人网
五月丁香六月婷婷综合网
欧美亚洲视频在线观看
精品欧美一区二区不卡视频
亚洲黄色一级无码视频
A片在线一区二区免费视频
99在线视频免费观看看
亚洲激情 图片小说
闽公网安备 35010302000113号