首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍 ；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平 ；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产真实luanlun》 ，《Q8X2R7L1T4J5M9B6W3》黑人巨鞭躁女学生
“chinese猛男深夜爆c国产”
妹妹恋人手游免费下载
……
01月16日
“c欧美视频”小米14 Ultra可能要涨价了
↓↓↓
01月16日 ，2023年山西产煤13.78亿吨 先进产能占比超80% ，思思久而久视频 ，黄色毛片一级片 ，激情五月卡通动漫 ，观看免费的A片视频片
01月16日 ，李子璇：大湾区春晚让我由“I人”变“E人” ，永久免费a∨视频播放器 ，99riAV国产欧美 ，白白色免费在线视频 ，亚洲欧美国产啊啊
01月16日 ，南水北调“穿黄而过” 南来的江水如何“喝”“存”“补”？ ，欧美性XXXX禁忌 ，千仞雪裸体被叫爽视频 ，人人摸人人揉人人操人人 ，666黄色视频
01月16日|专家：深海考古需依托深海科技推进|直接进入能免费看黄色视屏的网站|一级黄色片在线观看视频|国产做爰高潮呻吟视频|亚洲成人7777网站
01月16日|站上7.1万美元 谁在助推比特币的“疯狂”|r猸愶笍|欧美人妻一级|国产一级免费毛A片|欧美黄片一区二区在线观看
01月16日|以军军事情报局局长辞职|精品福利视频黄色|黑丝袜黄色视频黄色电影|国产69精品久久久久9999按摩|经典国产怕怕在线观看……
01月16日 ，下基层解决“急难愁盼” 他们争当“群众贴心人” ，渡我被身子r18黃色 ，国产精品爽爽va在线播放 ，少妇 HD善交 ，无套直入18
01月16日 ，山东德州强化“四轮”驱动 推动惠企政策落地 ，日人妻超碰 ，黄片免费欢看 ，madouav ，福利精品一区
01月16日|2024中国舞蹈“荷花奖”巡演走进沈阳|免费观看黄色网站入口|欧美国产日本日韩在线黄|中文字幕 精品一区|日本WWW羞羞视频网站
01月16日 ，中国驻澳大使：合作共赢是中澳应对全球挑战的正确选择 ，手机亚洲第一页 ，91成人 在线观看喷潮红桃 ，别人做爱细节视频 ，中文字幕你懂的
01月16日 ，马丁·雅克：我不赞同西方在民族议题上对中国的指责 ，三个人一起弄进去就软了 ，踪合久久 ，国产模特视频一区一页 ，精品久久久久久无码三级
01月16日 ，前三季度我国黄金消费量741.732吨 同比下降11.18% ，网站黄色片进入口 ，AA黄网视频 ，美女光身黄频大全a污黄香蕉视频裸黄 ，老师洗澡一级毛片
01月16日|中央财政创新方法支持部分城市开展城市更新示范工作|外国科普节目做爱片段|欧美超级操B|18岁黄片免费视频动漫|免费观看cao
01月16日|“五一”假期中老铁路磨憨口岸出入境旅客同比增长101%|亚洲,欧美一级黄片|91欧美大乳美女无衣棵体在线网址|xx国产|A片免费视频在线观看高清
01月16日|文化名人谈文化丨麦家：“解密”复杂人性|影院黄色视频在线|美女qV中出|李丽珍演过三年级的电影免费观看全集|又黄又大视频在线看91
抛开主角视角看纳兰嫣然错了吗？ ，美国一票否决巴勒斯坦入联申请|中亚“伙伴”畅谈对川合作：期望开通直航拉近距离|717理伦片午影院无码|18号被|免费的成年人网站大全|啪啪啪色综合网
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
巴黎奥运会中国队首金获得者盛李豪等被记大功
超130款新闻资讯鸿蒙原生应用搭载AI技术、意图框架、服务卡片等能力 完成上架
“五一”假期海南离岛免税购物金额5.47亿元
第一观察｜友谊·合作·初心——展望习近平主席秘鲁之行
中外游客“五一”假期游玩多样三亚
后半程发力，全国夏季游泳锦标赛孙杨夺复出首冠
2023年公安部投入帮扶资金5834万元 采购和销售农副产品价值2.5亿元
【台青在大陆】何冠奕：用“古老”形容云锦 只对一半
法资企业在北京经开区多领域加速布局
日本能登地震海啸浸水面积达190公顷 修复时间长
自拍偷拍30www.
欧美精品视频免费观看
亚洲男人a在天堂线久久
陈美娇视频在线观看
最近最新中文字幕大全视频
久久精品国产亚洲A∨麻豆色欲
240日韩一级黄片AV
亚洲你XX我XX网站
欧美精品一区二区五区
米塔涩涩
闽公网安备 35010302000113号