首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍 ；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平 ；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《日本三级吃奶头添泬无码百度云盘》 ，《Q8X2R7L1T4J5M9B6W3》欧美操日操
“美女打开双腿 蓝莓视频”
狠狠色色欲
……
01月16日
“717三级理论电影在线播放”Uzi和Ming老头杯合体
↓↓↓
01月16日 ，（乡村行·看振兴）从田间爬上餐桌 江西彭泽小龙虾“链”成大产业 ，免费观看黄色视频一区 ，亚洲图片在线综合 ，国产在线视频看片 ，人操人操人操人操人操人操人操人
01月16日 ，地产低迷拖累产业链，东方雨虹员工持股亏损超6成 ，欧美激情黑白配 ，3Dmax无尽动漫在线观看 ，又粗又硬又大又爽免费A片 ，向日葵视频 7 318禁止勿看
01月16日 ，【小新的Vlog】次元壁破了！“歪果仁”在青海玉树过起了游牧生活 ，让岳怀孕一区二区三区电影 ，麻豆一级a片 ，调教小男娃的小嫩茎 ，欧美性爱操B
01月16日|北美票房：《毒液：最后一舞》助北美周末票房止跌回升|迪丽热巴裸体|AAAAA黄色网站|18禁动漫黄片|人妻javaparser人妻
01月16日|体育生受雇背娃爬泰山，网友在担忧什么？|亚洲黄色国产|殴美做爱xxX|国产一区免费在线观看|www,操操操
01月16日|中核钛白实控人王泽龙被罚没1.33亿元，中信证券、海通证券也被罚 |91东北老熟口味重|亚洲国产精品九九九九婷婷|超碰在线97人人|伊人超碰完整版一区二区……
01月16日 ，重庆高速公路、水运建设迎“开门红” ，黄片一片在线免费观看 ，自慰的时候一下子好爽然后身子软 ，欧美性爱不卡 ，亚洲中文av无码制服丝袜
01月16日 ，2023年江西GDP增长4.1% “新三样”出口持续走俏 ，色综合另类小说图片区, ，足控吃脚 Xx免费视频 ，国产AV丝袜秘书午间服务 ，林书辞6部视频完整版
01月16日|韩媒：所涉案件调查尚未结束 韩国前防长便出国履新|国产亚洲第一区|男女又爽 又黄 免费怀孕软件|网站黄色视频免费|成年人拍拍视频
01月16日 ，新疆机场集团首条定期国际货运航线通航 ，黄色网站视频啊啊啊64 ，中文字幕在线播放第二页 ，91精品人妻综合导航 ，久久无码黄片视频
01月16日 ，中蒙跨境自驾游“万里茶道”蓝色之旅启动 ，亚洲WWW在线播放 ，巨型怪物粗暴H贯穿3D ，AAA插欧美强奸电影 ，香蕉视频日本a
01月16日 ，道中华丨工艺美术大师刘冠英：匠心传承技艺 泥塑百态人生 ，妓女play妓女视频欧美一区二区 ，色哟哟在线观看免费高清大全软件 ，亚洲色狼无码视频 ，欧美色交网站
01月16日|“交行福利季”多措并举惠民生、促消费|国产精品一二三四五|淫色图片一本色道|狠狠干人人操超碰|国产 在线 com
01月16日|南非大选登记选民超2700万|呦呦综合在线|国产不卡久久精品影院尤物|扒开雏田 狂揉 3DXXXvideo|黄色的一片操逼
01月16日|中方谈中东局势：近期发生的一系列事件再次表明停火止战的紧迫性|色中色无吗AⅤ|超碰国产人人做人人爽|肛交自由管|久久99视频网
披荆斩棘的大小姐 ，阿勒泰雪崩千人滞留：直升机救援|将现金藏在电饭煲中寄出才能领取“刷单返利”？警惕诈骗新套路|久久 这里都是精品|欧美黄色视频影院|免费真人一级特一黄一片|人人干干人人操操
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
刚果（金）一船只倾覆致5死 35人仍失踪
英国首相会见罗马尼亚总理 双方讨论加强防务合作
天舟七号货物上新！航天员的龙年盲盒即将配送
中新健康｜专家：进入靶免治疗时代 肿瘤治疗机遇与挑战并存
人大代表建议与公益诉讼检察建议双向衔接
人民至上
故宫博物院68幅古书画临摹作品在京展出
湖北文物赴美“出差” 向海外展现荆楚文化
伊朗和巴基斯坦商定两国大使本周内返岗
努力永不晚 重庆小伙靠抹灰夺得世界技能大赛金牌
操操操操操操黄片免费看
欧欧欧美一级视频
“【红球汉化】[Kumayaki(Luwei)]Alcohol Party 酒 精派对”
色综合色欲色综合色综合色乛
99re30
久久精品国产99国产国精 www.inchbyinchchina.com
91香蕉在线精品一区在线观看
色综合久久88
黄片链
中文字幕在线视频在线永久视频2019
闽公网安备 35010302000113号