首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大 。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的 。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token 。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低 。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上 ，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好 。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固 。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《男操女的黄色视频》 ，《Q8X2R7L1T4J5M9B6W3》美女扒开腿让男人桶高潮
“51吃瓜黑料精品秘 入口”
不知火舞捆绑被 到高潮
……
01月15日
“采花社官方网站登录”张拿铁人设崩塌
↓↓↓
01月15日 ，中新健康丨中疾控称新冠疫情或在本月回升 ，日韩一级片免费 ，中文三 级 黄 色 片 ，91国语精品 ，国产激情自拍啪啪啪
01月15日 ，新疆将淖铁路正式开通运营 ，国产美女自慰视频免费阅读 ，男人的 伸到 涩涩91成人 ，3d动漫H福利在线观看 ，成人版兔子洞
01月15日 ，婺州窑传承人陈新华：欣慰更多人将假期“分给”瓷器 ，旧版丝瓜视频污污视频免费下载十八禁 ，国产手机视频在线观看你懂的 ，小劫家园 ，一级免费在线网站
01月15日|冰雪覆盖路面 京港澳高速韶关段交通管制线延长|99热这里只有的精品2|❌❌❌美女祼体隐私视频|18 男晨勃露露j|国产igao为爱激情
01月15日|必须把推进中国式现代化作为最大的政治|图书馆的女朋友动漫全集免费观看在线观看完整版樱花动漫|91在线无码精品秘 co|日本免费在线观看视频|男女被 到爽 流水电影
01月15日|凤凰卫视香港台4月22日起正式在香港TVB免费电视85频道开播|欧美 色图 亚洲|iGAO视频网站入口|什么网站看毛片|章子怡秘 被男人桶到爽……
01月15日 ，得物App获多项表彰，以高品质保障促进新质生产力发展 ，国产精品国产三级欧美 ，在线视频网站导航 ，口爆视频 ，亚洲无码一二三区
01月15日 ，开锁换锁五花八门收费惹争议 ，免费婬色男女乱婬视频膜卷包装 ，真人毛片 ，久久深夜 ，中文黄色网址
01月15日|遇见福建：千年古寺雪景迷人|国产乱了bbw|无线乱码a区b区c区|日本体内射精汇编20|外网speaking实践真打视频
01月15日 ，吉林珲春：男子为满足口腹之欲捕杀野生獐野生狍获刑 ，90国产精品久久99精品 ，狼友视频——首页入口 ，校花 扒腿让我吸奶图片 ，在线看羞羞视频
01月15日 ，巴厘岛静居日：从“怪兽”狂欢到“静默”新年 ，久久手机视频国产 ，1日韩一级黄色网站 ，羞羞视屏网站 ，蜜桃导航
01月15日 ，习近平将抵达巴黎 ，樱花 视频无 码一区 ，日韩操操网 ，giligili安装包2025 ，久久人碰人视频
01月15日|山东省侨办恭贺2024新春|91叫床高潮娇喘嗯啊在线观看|骚妇自卫动漫小说|直接观看的黄网站免费视频|黄色性爱网址
01月15日|【高质量发展调研行】滇池东岸卧龙古渔村焕新生 游客“Country Walk”松弛感拉满|日韩a黄色级视频|欧美人牲交全过程|欧美另类性虐|刘亦菲 喷水明星
01月15日|第一观察 | 纪念邓小平同志，习近平总书记这样强调|中文字幕丰满乱孑伦无码专区|日韩美黄色网|日韩中文字幕在线资源视频|欧美成年人在线免费观看视频
以色列多个城镇拉响防空警报 ，大叔的内裤穿什么都行！|“东北很冷 喜剧很暖”|欧美一级a视频免费|免费播放黄色视频|黄色网站v国产|黄色视频在线观看网址不卡顿
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
极氪领克整合：手握三大优势储备 剑指百万新能源集团
抢票“林俊杰”付款变“林子祥”？
北京IPv6综合发展指数全国第一 推进技术创新应用
新党主席吴成典：统一是出路 “台独”是绝路
预计12月冷空气活动频繁 我国大部地区冷暖起伏大
呼吁行业多些耐心 中国科技精英共话AI如何转化为新质生产力
江山如画｜闽东之光 在海之上
王毅：真朋友就是在关键时刻相互支持
图览丨秘鲁流行语与中国有关？太平洋彼岸的这个港口不一般
2024年“徽动全球”行动已签订意向订单逾30亿元
一级网站片在线播放
超碰免费在线
黄色视频xxxx8
欧美熟妇精品一级A片视色
性丰满的岳㑄BBw
在线视频亚洲
小蝌蚪视频www
亚洲黄色特级视频
欲慢社
人善与videos欧美3D
闽公网安备 35010302000113号