首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《无尽 裸体 吸乳歪歪漫画》，《Q8X2R7L1T4J5M9B6W3》自拍网站在线观看
“鸥美大片”
在线国产小黄片
……
01月21日
“天堂影片网m3u8”韩国大学控诉中国留学生肉吃太多
↓↓↓
01月21日，北京推动设备更新 将在42个细分领域实施贷款贴息支持，国产 日韩 欧美 精品 另类，精品在线观看地址，姬小满疯狂奖励，欧洲免费视频一区
01月21日，浙江下汤遗址发现40年 揭开万年前原始村落神秘面纱，周于希蕾丝猫，好色精灵探访记在线观看，子夜涩涩网，www.无码隐私 在线
01月21日，中新健康丨中国多中心研究新成果：“国产创新免疫药+化疗”为更多肺癌患者带来生机，A級黄色视频，免費一級毛片，欧洲美女一级黄片，gl做爱视频或漫画
01月21日|为“聪明车”建“智慧路” 江苏无锡另辟蹊径开启“智驾”之路|h肉动漫3d无码|一道本视频无码|欧美黄片大|久久经典黄色视频
01月21日|【两会30秒】全国人大代表王旭：尊重差异、相信孩子，才能鼓舞孩子的梦想|亚洲电影在线免费观看|安卓小黄油 合集|在线观看网站你懂|欧美一级做a爱片特黄在线观看
01月21日|孙悟空与蓝精灵再度“相逢” “中比动漫文化周”拉开帷幕|精品午夜福利在线观看|婷婷久久艹|日日让入肉|992KP快乐……
01月21日，“中国经济拥有光明前景”(两会·读懂中国)在团结奋斗中不断实现人民对美好生活的向往，日韩国产大片网站，扒开 让我 蓝莓，学生妹淫荡视频免费看网站，一边摸下面一边吃奶快点好难受
01月21日，中国传统服饰鉴赏会在澳大利亚悉尼成功举办，日韩特黄特色一级视频，周宁茉儿，日韩欧美乱码高清久久69，日韩一区黄色小视频
01月21日|探访太原新发现北魏石窟：孤独隐匿山间近1500年|黄色性爱一级视频|女性脱 给我揉 网站|人人摸人人干人人操人人|中文字幕公司入口
01月21日，浙江嘉兴：钱塘江退潮 “潮汐巨龙”清晰可见，欧美性爱免费在线观看一级片不卡，殴洲黄色毛片频道，妹子黄色片，httpswww黄在线地
01月21日，“文旅中国探索计划第二季”活动开启 中国星双旗舰正式上市，欧美一级a片网站视频，欧美性爱视频小说图片，欧美午夜精品理论片A，欧美一区二区情欲片在线观看
01月21日，兰州榆中2000余平方米多彩墙画绘美丽乡村，动漫美女大胸秘 视频网站大视频在线看免费版完整，www.狠狠狠色.com，all刘枭腰疼，黄色视频欧美大片A片
01月21日|事关网络直播规范 江苏发布实施省级地方标准|欧洲熟妇老熟女Av|国产日韩欧美草bav在线播放|老司机日女人皮视频男人天堂|羞羞无遮挡漫画
01月21日|《云南省国土空间生态修复规划》印发 部署12个生态修复重点工程|欧美做受 高潮69蘑菇|一级毛片免费播放无码全部|av的网站|最近2019年中文色字幕高清视频
01月21日|香港M+博物馆将推出展览“山鸣水应” 展出近130件作品|适合晚上看的黄色电影网站|激情图区在线视频|欧洲免费视频在线观看|爱搞 网站
EDG更换首发上单，春花焰|国家级非遗咏春拳：智慧武学打通中外 哲学意境耐深思|里番ACG★里番本子全彩h|亚洲精品无码自拍偷拍|亚洲欧美日韩性爱|国内免费的黄色视频在线观看
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
便携复古相机成网红 变身年轻人的“电子茅台”
河北怀来样边长城：就地取材打造的明长城“样板间”
（乡村行·看振兴）江西乐安：“金果”迎丰收 增收“油”盼头
河南省政府原党组成员、秘书长郭洪昌接受纪律审查和监察调查
道路因雪崩阻断，喀纳斯景区1月20日前暂停开放
《习近平关于中国式现代化论述摘编》法文版出版发行
直击第三届阿拉木图美食节
众行致远｜如何“读懂中国”？习近平主席这样阐释
北京：银杏渐黄秋意浓
应对小儿常见问题中医外治有好办法
一级a一级a爰片免费免免丿∴一
永久AⅤ视频在线播放
人人干人人费
欧美亚洲日本
欧美黄色网站分享
芒果一级毛片视频
狂野欧美一区二区
媚黑漫画
国产精品免费视频色拍拍软件
找国产激情毛片毛片
闽公网安备 35010302000113号