首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产强奸在线视频》，《Q8X2R7L1T4J5M9B6W3》91视频入口官方版
“一级做受毛片免费大片l”
海贼王女帝被 18禁漫画
……
01月19日
“啊~啊~啊搞黄视频免费看”俄外长：美元已成西方的武器
↓↓↓
01月19日，（乡村行·看振兴）江西南城：“90后”小伙创业记 米粉搭上电商“顺风车”，3d动漫H福利在线观看，人体大尺度吧，麻豆精品在线，99ri视频在线
01月19日，财政部：增发国债资金已于年初全部下达，欧洲美女天天日肥B舔B黄色大片播放，天堂男人网，国产黄色片免费大全，人人捣人人玩人人操
01月19日，住建部解读构建房地产发展新模式进展，18禁高清免费啪啪网站，欧美VS免费，超碰乱伦欧美，欧美老妇人性爱bbbwww
01月19日|十四届全国人大二次会议主席团举行第三次会议|亚洲婬乱a一级毛片多女|小怪兽网页版1网页版2电影|免费看AⅤ片|足控吃脚 Xx免费视频
01月19日|南京民众踏青赏景沐浴三月春光|色淫湿|中文国际字幕免费|爱搞为爱搞点激|黄片再线免费观看
01月19日|南光集团举办庆祝成立75周年酒会|尤物网站|性交记录 华裔|色人人操色人人干|日本AV……
01月19日，上周，国际油价、金价双双下跌↓，国产3p精品视频网站，mofos12馃憴，处女黄频，国产AAA免费视频无需下载
01月19日，“3820”战略如何有力实施？答案就是，坚持改革开放！，禁止18岁进的网站，超碰97在线观看免费观看完整版，欧美特黄色视频，精品人妻糸列无码区久久
01月19日|美好回忆！大熊猫“福宝”纪录片将于今秋在韩上映 |另类小说.欧美图片，，|99国际精品在线视频|星野光头男视频原版|飘花黄色一级影片
01月19日，11月北京二手房网签量超1.8万套 创近20个月新高，麦晓雯e站，三级性爱视频在线看，283224网站，在线亚洲精品国产二区
01月19日，西藏拉萨：时尚走秀 视觉盛宴，国产精品免费一级婬片，老头和老头一级毛片，国产一级a片精品久久，亚洲一区中文字幕导航
01月19日，中国体操女队结束奥运选拔 邱祺缘全能头名，男男艹，欧美 日韩 91 一区，99irav.6，一级无码激情在线
01月19日|2024年全国聋人篮球锦标赛（男子组）落幕|一级国产A级a毛片无卡|国产免费黄色视频大全|国产精品无码久久AV老人性胶|婷婷五月丁香网
01月19日|如何预防感染呼吸道合胞病毒 听听专家怎么说|www.youyoucaobi|欧美多人操|sweetiefox free|中国免费黄网站
01月19日|东西问丨恩克洛·福埃：中非如何携手同行，走好现代化之路？|国产超碰人人作人人爽AV|亚洲日韩第三四页|黄 色 A片免费|91视频在线观看入口18
结婚16年4娃非亲生当事人已离婚，四六级成绩查询今日开始|中国A股现“回购增持热” 近90家公司同天公告|影音先锋在线资源资源网|亚洲国产欧美在线人成精品一区二区|美女被操呻吟抽搐视频|JIVD
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
提升青少年营养健康素养，劲仔食品博鳌支招
颐和园十七孔桥现“金光穿洞”美景 游客竞相观赏拍照
冷水鱼宴何以成新疆北部的城市名片？
新疆赛里木湖进入结冰期 美如一幅生态图卷
东西问丨包亚明：电视剧《繁花》“港风”绽放，沪港双城如何“双星辉映”？
中马建交50周年经贸合作论坛举行，伊利出席分享出海经验
联合国：近东救济工程处9名雇员“可能参与了”对以色列的袭击
水利部发布《调水工程设计导则》等6项水利行业标准
“功在当代 利在千秋——周恩来邓颖超与文物保护”展览开展
“五一”返程高峰日 哈铁预计发送旅客48万人次
谁有免费黄色网站直接看的
最大av在线
国产呦系列
色色色网站网站
A片视频在线观看的
WWW.黄片,.com
y31成色1.232c官方版下载
九色精品视频免费观看1
人人干干
亚洲免费图片小说
闽公网安备 35010302000113号