首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ唬衷诘男录苹歉扛瞿？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭Γ坏┘蚧腿菀锥阅；α值越低就意味着？榈目商婊恍郧浚幢慊怀筛崃康呐趟惴椒ǎ哉宓拿魅纺芰τ跋煲膊淮。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？椋簿褪呛笮挠呕康。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口大。慰课1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘剩踔潦逝涠嗄ＬＷ哟χ贸头３な悠怠⒊ね嘉哪谌。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《美女喜欢做九九九的黄片视频》，《Q8X2R7L1T4J5M9B6W3》日本欧美最新在线一区二区色
“国产精品免费久久久久”
手机在线久草
……
01月17日
“91综合免费久久久久”老干妈回应被辛巴称为是预制菜
↓↓↓
01月17日，13年来首次！土耳其总统罕见访问伊拉克首都巴格达，不知火舞 爆奶水摇舌头，欧美一级色视频，日韩 欧美 国产二区，精品国产三级Aⅴ
01月17日，石排代表团建议：做好做强做大潮玩产业，国产乱操视频，www.玖玖玖，变态网站在线观看，欧美精品/8精品
01月17日，柬埔寨证券公司CEO：柬资本市场将迎来“黄金十年”，精品国产sm最大网站免费麻豆，激情性爱亚洲性爱，亚洲人妻一区二区，在线观看国内精品
01月17日|3比0战胜日本队 恭喜中国队挺进尤伯杯决赛|女人高潮一级A片一区二区|国产黄色片免费大全|老帅让我吃她胸摸她奶|欧美日韩在线社区
01月17日|元素周期表何时上新119号？中外科学家在合成赛道上比肩冲刺|亚洲精品限制第一页屁屁影院|色哟哟与色哟哟|24小时日韩无码一区二区免费|催眠性指导
01月17日|建立健全老旧小区改造长效管理机制|Q嘿咻嘿咻免费无码专区在线观看|欧美性情一区二区三区百|精选av网站免费|wwwbbbb……
01月17日，漫评美所谓“国家安全”之一：“留学生也不放过”，国产亚洲成AⅤ人片在线，操b校园高清无码，两个小伙专约熟女拍视频，国产成a人亚洲精v品无码动漫
01月17日，贵州兴仁经济开发区党工委副书记陈品炽接受审查调查，欧美日韩三区，轮奸视频网，五星视频58星币，国产精品久久二区二区
01月17日|16家海外华文媒体代表组团感受机遇中国下的“非长”精彩|范冰冰HD|成人导航|欧美黄色男人插女人视频|国产免费久久精品99久久
01月17日，中国法院今年一季度判处未成年人罪犯1.2万人，国产免码va在线观看免费，扒开粉嫩的泬的A片红桃视频，精品中文少妇Av无码毛片免费，番里H肉3D动漫在线观看
01月17日，上周末美国多州发生枪击 至少6人死亡，操日日，国模少妇一区二区三区三区，视频肏国产大屁股老骚女人的屄，女人被黑人躁得好爽免费视频
01月17日，“中国在推动地区发展中发挥着重要作用”，强奷乱码中文字幕无码，AV黄色网，18岁禁止国产视频观看在线观看，欧美午夜精品理论片A
01月17日|这所学校，习主席说“见证了两国一段特殊交往史”|大国外交·习主席的文化交流足迹|毛片基地老址|嗯～啊～好猛～进去～A片|gay尿尿pissing|国产精品艹
01月17日|外媒：孟加拉国总理谢赫·哈西娜辞职|九妖胸照|小天⋯受不了⋯快进来小天风|日韩一级片片|一区精品二区国产
01月17日|新能源车市呈现“三国杀”格局，传统车企、新势力与“手机帮”角逐市场|白色一级片|亚洲视频免费|3.15欲梦走光10秒视频uc|18禁止观看黄片
黑神话八戒好可爱捏，林俊杰变林子祥？网友质疑平台跳票|（两会速递）海关总署：上半年中国外贸可保持增长|性爱视频的网站|丰裕纵满的护士|激情欧美老妇视频|m131无码
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
为筹善款连续下棋超60小时！尼日利亚选手创世界纪录
清华珠三角研究院未来设计创新中心广州揭牌
新疆图木舒克：成群灰鹤栖息越冬 场面壮观
二月二“龙抬头” 杭州民间龙舟队开桨
河北衡水湖监测到20多年间极少现身的大鸨
（新春走基层）重庆綦江：非遗农民版画拓印“龙腾盛世”
马来西亚将进一步优化中国游客入境程序
近观枫桥｜新时代“枫桥经验”推动彩礼良性发展
2023年青海省PM2.5平均浓度同比下降5%
北京今年拟完成20项市级疏堵工程和10个重要节点治理
fill研究免费入口中文版免费试看
A级网站免费视频
露出精品视频在线网站
亚洲成人色婷婷
王霞的婬乱生活第二部
黄色视频在线无码
国语熟女精彩对白视频
精品毛片乱码1区2区3区
AAAAA级黄色片
国产精品无码婬片
闽公网安备 35010302000113号