首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍 ；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平 ；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《欧洲AV一级在线观看》 ，《Q8X2R7L1T4J5M9B6W3》超级超级黄色片
“《天体营4》纪录片免费观看”
国产色色色色色
……
01月14日
“国产手机在线播放白嫩”周鸿祎回应“没驾照”
↓↓↓
01月14日 ，美日韩暴跌，人民币大涨 ，中文字幕36页 ，久久无码精品国产老色鬼永久网站 ，欧美日韩国产综合在线一区 ，欧美综合精品视频一区二区
01月14日 ，【好评中国·追光青年】让爱国主义精神在青少年心中牢牢扎根 ，脱 让摸 ，久久久久小视频 ，91在线午夜福利精品 ，色欲香色综合视频在线观看
01月14日 ，纪检监察机关推动深化治理餐饮浪费 纠歪风树新风 ，国产一区二区精品黄色 ，黄色视频美国 ，www. 五月天.com ，91猎奇性视
01月14日|世界看两会丨国际人士：中国两会分享理念共享机遇 期待更多合作|亚洲毛片手机在线看网站|2023国产免费观看黄A片又黄又硬软件|17.c起草红桃视频入口|变态调教羞辱贱奴奶头视频网站
01月14日|200余位业界专家汇聚齐鲁 推动构建中国新闻传播自主知识体系|欧美综合激情|国产视屏第一页|欧美国产地址|18禁小网站
01月14日|众行致远｜听总书记说“构建人类命运共同体”|废柴视频网fccw93最新版|大乳巨大乳J奶HD|国产精品久久人人做人人玩|超碰2015……
01月14日 ，青海省数据局揭牌成立 护航数字经济“发展与安全” ，性毛片美亚洲美美 ，中文字幕无码片丝袜美腿 ，国产区在线看 ，国产 www免费观看
01月14日 ，中国俄罗斯书法美术作品展在莫斯科举行 ，youjixx国产 ，一级A片免费费录像 ，人人操色 ，欧美日韩丝袜中文字幕在线
01月14日|广西壮族自治区国有资产监督管理委员会党委副书记、主任潘世庆被查|美毛片大鸡|一本到码高清无线字幕观看|男坤坤怒怼女老师|免费av在线
01月14日 ，进球被取消 亚洲杯国足首战0:0战平塔吉克斯坦队 ，性裸交 特级小蜜桃 ，中文日本黄色视频 ，一级A片黄色片国产 ，国产丝袜人妖CD潼潼
01月14日 ，重庆建工集团原党委书记、董事长魏福生接受审查调查 ，男男 人狗生子 大肚 尿 失禁 ，亚洲精品视频免费 ，婷婷色预约 ，黄色视频免费观看福利
01月14日 ，北京丰台聘任56名“法治副村长” 为基层治理注入新动能 ，三级毛片视频网站 ，色色色校园 ，综合欧美一区 ，欧美性爱欧美激情
01月14日|鱼跃天山 游向全球|久久精品一二三美女|免费直接看黄jk网站|欧美日韩国产在线mv|999高潮
01月14日|“五一”假期北京接待游客创历史同期新高|奸app|国产800av视频在线观看|人人操,人人爽|亚洲综合在
01月14日|闽南语歌后陈飞：闽南语歌曲是一种流动的乡愁|欧美一级A片在线播放器|扒灰儿媳妇最经典十句话|青青艹青艹视频免费在线|在线毛片国产网址
女子韩国旅游未看清币种被扣6万余元 ，孙杨教练一开始只盼他能达标|最高检：检察公益诉讼能够协同多元主体发挥激活、补漏、兜底作用|馃悿馃崙|最新网站毛片|被主人各种姿势c哭|疯狂作爱xxxx国产
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
今日全国铁路预计发送旅客1220万人次
中国成功发射千帆极轨01组卫星
香港明星足球队4月开启浙江行 黄日华等港星同场竞技
2024年1—9月我国规模以上工业企业实现利润超5万亿元
云南文蒙铁路进入实质性施工阶段
2024粤港澳大湾区曲艺艺术周在江门开幕
贵州省黔西南州政协副主席梁龙甫接受审查调查
活力古镇 古籍焕新……春天里的文化中国“生机勃勃”
美国华裔青少年的万里“归”途
拉萨首届进口商品展览会开幕 600余名外籍客商齐聚拉萨
殴美乱伦操
一级黄片看美女肏逼毛片
国产精品无码AV永久在线蜜臂
银龙王的婬奴生活1～15
灌满白浆往外冒图片
中文字幕亚洲一区二区三区
表妺的小嫩嫩好紧好爽
金智秀ai换脸
妓女户外深喉
国产主播 在线
闽公网安备 35010302000113号