首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《全网很黄免费黄色网址》，《Q8X2R7L1T4J5M9B6W3》又大又粗又爽的A片欧美视频
“嗯～啊～快点 死我一起草”
亚洲图片在线
……
01月19日
“欧美乱伦免费A片”吉祥物Luce已现身天主教堂
↓↓↓
01月19日，特朗普威胁将向金砖国家征收关税 中方回应，超碰插插，国产老女人乱子视频在线播放，人成免费视频网站，偷拍不卡
01月19日，燃千年窑火 山西朔州以“瓷”为媒邀海内外客商投资兴业，国产女AV黄色网站，在线日韩网址，黄片大全在线免费观看，天天插天天干天天操
01月19日，伊朗称将对以袭击作出回应 埃及提出加沙停火新提议，性夜黄a爽爽免费视频扩大器，免费婬色男女乱婬视频现，亚洲精品黄色中国，第九色影院
01月19日|文旅市集应避免“千集一面”|A片精品视频免费观看破爱网|AAA免费毛片|白虎少女白浆白腿射|东云美玲最经典十部短剧视频
01月19日|北京海关缉私局连破两起走私烟草案|免费特大黄片|国产高清做a爰在线观看|免费网站v片在线18禁无码|双女主炒菜视频高清
01月19日|中国驻卢森堡使馆驳斥美国驻卢使馆对中卢关系无理指责|男女裸体啪带声音香蕉视频|又爽又黄无遮挡不卡网站免费|把jiji❌进女班长屁屁里视频|“www.久久99.com”……
01月19日，（新春走基层）探访重庆新建规模最大高铁站：金属屋面施工忙，国产乱人妻精品秘 入口ktv，欧美在线精品视频一区二区，免费一级毛片免费网站，k200tv视频
01月19日，数智赋能对外贸易 浙江创新技术性贸易措施体系，欧美能看的一级片，高清国产最爽的乱婬视频a，日本高清在线专区DVD，亚洲第一精品玖玖爱在线观看
01月19日|首位中国音乐家登上古巴国际爵士音乐节献上多首唢呐经典|丝袜插入国产一区av|免费观看毛片|www.ok201.com|4444色
01月19日，医美行业套路深，这些坑你别踩，周于希视频，少妇的牲交视频，2097年精品黄片，亚洲欧美日韩久久一区二区三区
01月19日，《繁花》要维权，宝总泡饭还能不能卖？，别告诉妈妈官方网站下载，欧美乱伦图片网，黄网站免费，亚洲色黄a大片激情亚洲
01月19日，新西兰总理为该国护理机构虐待丑闻道歉，国产精品外在线播放，最新精品视频在线观看，免费观看huangse视频，日本一区二区久久人妻
01月19日|广西横州市发生一起交通事故致4人死亡|八尺様と小男孩|国产高91亚洲精品福利在线播放|18岁黄网站|www.taoseav
01月19日|五四青春歌会唱响广州永庆坊手工书、皮影、凸版印刷 多国青年学子体验“书趣”|原神八重神子18禁色情|亚州激情中文字幕|黄色小说电影图片av|人妻精品久久无码专区涩色
01月19日|两万跑者齐聚湖北孝感 脚步丈量孝文化名城|亚洲视频热热|亚洲色图 小说|馃惀馃崙|亚洲性交在线
余华 最会写死亡的作家之一，涉谷来接你了|生态环境部：防范汛期水环境质量恶化及重大水污染事件|又粗又长又硬又黄的免费视频|黄页视频网址在线|99视频国产精品|久久久久久免费精品久久久
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
福建古村落再现传承800余年南宋“游灯笼”
冷空气影响中国 北方局地降温超10℃
辽宁大连：3名渔民大风浪中遇险 救助船舶紧急出动成功救助
“塞中务实合作不断拓展”
最高检依法对西藏自治区政协原党组成员、副主席姜杰决定逮捕
海南国际商业航天发射中心一号发射工位启动模拟箭吊装训练
谎称白宫着火！虚假报警电话引发消防紧急反应
2009年以来冬季最强雨雪冰冻来袭 多部门多地方积极部署应对
杭州警方通报“四季青火情”：犯罪嫌疑人经抢救无效死亡
中老企业共聚老挝万象 以赛事为媒觅商机
淫色交换
av
阿布夏树主演的电影在线观看
国产一级a爱做片视频
国产AV毛片网
青色大脑官方正版安装
久色五月天
午夜淫荡视频
久久人妻AV中文系列
精品优选黄色视频大全网址
闽公网安备 35010302000113号