首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《欧美性爱视频网站。》，《Q8X2R7L1T4J5M9B6W3》一区二区看美女视频。
“干逼射精视频欧美”
高清无人区六区在线看
……
01月16日
“视频18”一天内215枚火箭弹射向以色列
↓↓↓
01月16日，长三角示范区发布新一轮三年行动计划 华为研发中心今年6月投用，小 戳进去无遮挡动，裸体雏田，日本黄动漫3D免费香蕉，xxxx23欧美性
01月16日，月子中心，省心还是闹心？，人人操人人插人人爱人人色人人尻，日韩在线视频中文一区二区视频综合，和平精英不良网站app最新版，37.18馃埐
01月16日，中国人寿保险股份有限公司召开2024年工作会议，精品 区二区三区MV，抖阴旅行射在线观看，亚洲成人7777网站，慈芳、仁昌、慈芬
01月16日|系列丛书“百年文学中的北京”新书座谈会举办|国内精品91久久久久|a福利影院|成片免费的禁V影片|亚热美女性激情 视频
01月16日|习近平致电祝贺马茂当选连任基里巴斯总统|谢小蒽|妺妺的荫蒂让我添|欧美一级人片|看美国一级黄片儿
01月16日|习近平主席特别代表、全国人大常委会副委员长郑建邦出席伊斯兰合作组织第15届首脑会议|高清码 免费蓝莓视频|人人草人人操人人草|日韩黄色性爱视频|j久久久久久久久久……
01月16日，PRX战队获电子竞技无畏契约亚洲邀请赛冠军，日本⭕⭕⭕⭕XXxX人，黄色视频三级片网站，91vo.cc自取，刘玥A片
01月16日，俄罗斯海军舰艇编队将停靠古巴 美国部署军舰追踪！，超碰在线免费国产，性裸交❌❌❌❌❌蘑菇视频，成人抽成秀成人18进羞羞成人漫，性情视频在线播放
01月16日|中越第37次北部湾联合巡逻圆满结束|www.高清一级|性XXXXXXXXX18欧美人牲|嗯～好紧好硬高潮猛喷视频|帅哥与美女做运动视频网站
01月16日，“最佳跨境金融创新银行”，建行又获殊荣！，人人干人人擦，欧美操老女人视频，久久99视频免费，看一级二级黄片
01月16日，中国残奥乒乓球队、中国残奥赛艇队进行适应性训练，星空麻豆传媒官网，黄色.网站免费在线，卡通动漫自拍偷拍，mm91在线精品一区
01月16日，张向泉就任泰国青年企业家协会新理事长，欧美色色色区，八重神子精夜狂飙游戏漫画宁波摄影，ri鈥唄an鈥哸v，欧美506070老妇乱子伦
01月16日|理解山西丨长城一号公路串起的不止古建文物，还有一种坚持“双十一”宁夏实现网络零售额23.1亿元|www,黄|91次元污污版|十八禁爆乳裸女网站|十八禁软件
01月16日|黎真主党宣布第一阶段对以袭击取得成功 发射320余枚火箭弹|别告诉妈妈mama成品人视频|国产男男Gay 体育生白袜|全黄色视频在线观看|一级a一级a爰片免费免免欧美
01月16日|“五一”假期中老铁路磨憨口岸出入境旅客同比增长101%|免费看在线播放毛片|少妇玖玖爱在线精品视频|高潮黄网站色在线观看免费|女被粗大 巴进进出出捣出白浆
BLG战胜TES晋级S14，李小龙模仿者喊话向佐公开道歉|海南推动国际旅游消费提档升级|女被狂揉下部 羞羞视频|女人男人天堂网站|人妖肉光 xxx|99亚洲国产精品二产精品
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
中国南方多地高温天气持续 各地多措并举确保粮食稳产
广西柳州夜市人流如织 美食令人垂涎
美国华裔青少年的万里“归”途
以解决问题为导向 促进广州经济社会高质量发展
“全国模范检察官”潘非琼：公诉席上的忠诚卫士
广西首次发现大面积珍稀濒危植物贵州山核桃群落
自卖价格翻几倍 景区限制游客带食品进入合法吗？
湖南农产品加速出海：蔬菜、活猪等俏销 臭豆腐冷链预制菜首出口
近2000名选手贵州梵净山竞速迎春登山赛：赛道极具挑战 颜值“拉满”
画框中的二十四节气——大雪
色秀视频在线观看88
麻豆国产久精A级视频
欧洲熟妇色XXXX
欧美一级免费视频
精品亚洲黄色网站在线免费
3D婬乱爆乳八尺夫人
涩漫下载
hentai绅士漫画
368776、229053
美女色色18动漫
闽公网安备 35010302000113号