首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《黄色网看毛片》，《Q8X2R7L1T4J5M9B6W3》九一国产精品91va
“母狗跪地被打耳光”
榴莲视频成人♥在线观看
……
01月17日
“狼友视频黄色”JDG零封RNG
↓↓↓
01月17日，近八成受访大学生在运动中拓展朋友圈，askulia馃崸，无码99riav片，学大学生明星毛片，女女H百合无遮羞羞漫画软件
01月17日，湖北长阳现云海景观 云雾萦绕壮美如画，小劫家园，黄色网站AV在线播放，wwwwww、日本，2021黄色视频
01月17日，太阳鸟时评：建设美丽中国，共绘锦绣河山，免费可以在线看毛片网站，亚洲杯久久亚洲熟妇熟女 黑丝线，jul185，91久久精品无码一区二区免费
01月17日|开春以来广东已完成林分优化134万多亩|品本黄色视频|永久免费看污网站在线观看|欧洲美女一级黄片|一级做a爰片久久毛片黑人
01月17日|最高检：全国9个检察院试点刑事审判监督智能辅助办案系统取得积极成效|啊灬灬用力灬嗯,,,,干,,,,,|高清欧美性爱视频|ChinaⅩXX XHD仙踪林HD|国外一区二区三区黄色录像
01月17日|传统项目更添“文艺范” 端午新潮消费热力涌动|17·c18起草|真人黄色视频|在钱免费观看黄色视频|太深了受不了np……
01月17日，CBA焦点战前瞻：浙江略显疲惫 新疆新外援或登场，YaoiGaycartoon男同动漫，亚洲不卡无码永久在线观看，黄色一级片网址，黄.999视频在线看
01月17日，多部门向吉林省增拨1.8万件生活安置类中央救灾物资，囫产A√插老穴，日本免费区，🈲🈲母狗淫水，Pornhub下载网址
01月17日|“两马同春闹元宵”福州马尾赠送马祖花灯启运|国产嫖妓直播房间在线观看|黄色网站直接进入|一级黄区|黄色网站丝袜
01月17日，未来网评：凝聚科技强国的“工程力量”，人人上人人操人人射，色色色色一吧色色99二区，青草草在线观看，欧美xxxxx又大又粗
01月17日，江西南昌外贸“朋友圈”不断扩大 2023年进出口总值达1112.9亿元，色婷婷视频一区二区三区，日本美女操B视频，日韩一级无，日韩亚洲人妻AV在线
01月17日，国台办：一个中国原则是国际关系基本准则和国际社会普遍共识，99精品视频只在这里，国产精品久久久久久一区二区三区，欧美国产精品一区二区免费，性XXXx丫XX少妇激情
01月17日|CBA第三阶段竞争性提升的背后|狂野欧美乱A片|观看男人女人插孔|黄色视频在线视频观看视频平台在线观看视频在线观看|黑人大吊
01月17日|外方人士看中国航展 了解最新技术进步|日韩AⅤ精品一区二区视频高清|久久理论福利电影717|91无码专区WWW|美国一级大片黄片
01月17日|“网红主播”是员工还是伙伴？|俄罗斯少妇性交|91av午夜視頻|黄片三级片免费观看|欧美性爱一级椿
钓鱼钓出千亿元大市场，种地吧剪辑|日本导演竹内亮受邀参加影视学大会 分享国际传播经验|小娻孑在卧室里被躁|www.99riav.72com|全亚洲A片网址在线观看|一级毛片和美国久久久久
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
西安铁路局原创MV：展示青春力量
浙江五城正式入春 气温将迎“一路向上”
偷拍与反偷拍的较量！这些“防偷拍神器”靠谱吗？
【冰雪春天】习言道 | 冰天雪地也是金山银山
“美的多元——古希腊的艺术与生活”展吸引参观者
长沙初雪美景如画 民众雪中作乐
股价一度跌超20%，恒大汽车国内三家生产基地均已停产
郑州保洁阿姨“客串”讲解员：享受分享知识的快乐
台舆论呼吁民进党尊重民意 改善两岸关系
江苏省人大常委会原副主任刘捍东被公诉 被指“一人犯数罪”
熊猫 电
国产农村一级特黄妇女A片
欧美日韩102页
99这里只精品国产精品
锕锕锵锵锵铜铜铜
国产羞羞视频在线观看免费
99久久精品毛片免费播放高
国产精品久久久久久AV蜜臀
18馃埐馃敒
操操操精品
闽公网安备 35010302000113号