首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产福利无码一区在线导航》 ，《Q8X2R7L1T4J5M9B6W3》聪的宝藏库
“色黄乱婬伦的网站”
免费A级毛片无码的看久久
……
01月17日
“天堂男人在线视频”汪苏泷官宣650团综
↓↓↓
01月17日 ，山西襄垣：新“鸡”遇唱响“致富曲” ，日韩一线一区 ，先锋资源在线 ，免费黄片的洗澡 ，大陆欧美性爱第一页
01月17日 ，特朗普拟提名戴维·珀杜担任美国新任驻华大使 ，尤物视频网站在线观看 ，精品少妇嫩草无码Av ，亚洲色图五月天 ，亚洲色哟哟在线电影
01月17日 ，文化中国行 | 海南非遗加强活态传承、文旅融合、创新发展——焕发新活力 非遗正青春 ，午夜网站在线 ，色色综合网络 ，91丨九色丨蝌蚪 ，白丝美女滋味出水软件
01月17日|民进会员共议长三角绿色发展如何谋“新”|天天日天天操天天插|芙宁娜被 到爽 高潮痉挛图片|中文字幕在线无码免费看|精品丝袜国产自在线拍婷婷五月
01月17日|放弃当“空姐” 追梦做“茶艺师”|女教师用 夹我的 作文|国模私拍国内精品国内av|影音先锋小说资源|97免费在线观看
01月17日|贵州扎实推进数字经济发展创新区建设|开户小能手下载|欧美娇喘潮喷抽搐高潮视频|久久精品一品道久久精品色圈|很色的影院……
01月17日 ，中欧班列（成渝）已连续3年开行超5000列 ，a黄色网站a ，五月天香蕉狼人精品八戒视频 ，亚洲廋老头ⅩXXX ，动漫女生被肏
01月17日 ，5月3日全社会跨区域人员流动量完成26965.2万人次 ，日韩精品欧美在线 ，欧美性电影网 ，米塔🔞🍌进去里❌❌❌官方版 ，肉欲xmxx Gay hotpecs
01月17日|沉睡3000多年，小古城遗址还有哪些未解之谜？|女xx网|黄页视频免费看在线观看|國產-XNXX.COM|国产cao
01月17日 ，CEPA实施20年 探香港内地电影合作新机遇 ，av免费人人干 ，被情趣店老板c到求饶 ，最近更新 - iGAO视频网_为爱搞点激情!!! ，三级全黄的视频在线观看软件
01月17日 ，丁俊晖：从低谷中奋起前行 ，黃片AAA ，国产精品情侣久久婷婷文字 ，免费性爱视频婷婷 ，日本大片视频网站免费25分钟
01月17日 ，马克龙：将致力于“更强大、更公平的法国” ，亚洲av自拍 ，日韩巨乳性xxx ，干女人黄色网站 ，性爱视频二区三区
01月17日|航拍宁夏｜探秘红寺堡|原神丝柯克失去尊严的图片|黄页网站一区二区免费|日韩精品操逼片|350234去看吧孩子们
01月17日|香港逾200名政商界人士探讨企业ESG策略|婷婷久久综合爱桃花|AA色色|把女仆吊起来双腿扒开调教|女帝 路飞18禁同人图片
01月17日|让世界共享人工智能发展红利(和音)|泡在我家的辣妹|91久久久无码国产一区二区蜜臀|亚洲黄色免费在线|清漪同人 AV黄漫
周鸿祎建议刘德华转行当网红 ，哈里斯确认竞选搭档|自主研制 最大直径 海太长江隧道“江海号”盾构机重要模块进场|精品视频在线看黄|成人🔞高潮片免费网站小玩具|體育生爽擼大雞吧黃片gv|偷拍 综合
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
北京政协委员建言营商环境提升 助力民营企业发展
“五一”假期广东激发消费潜力 为广大群众和游客提供“文旅大餐”
国际锐评｜亚太一路走来，“合”才是主流
国产大飞机C919商业首航重庆
收到陌生快递还能扫码领钱？别信！已有多人被骗
中消协舆情报告点名直播电商“低俗”“虚假比价”等问题
教育部：2025届高校毕业生预计规模1222万人
读懂老年人“埋”在短视频里的情感需求
“稳”的基础更牢固、“进”的动力更强劲 数说中国经济发展成色足
湖北“山间信使”29年坚守铺就爱心送邮路
嗯啊无码视频在线观看免费
WWW.偷窥偷拍.c0m
一级片在线视频播放免费网站
亚洲娇小与黑人巨大交
大奉打更人星辰影视免费播放
黑客破解农村新婚夫妇的最新进展
又大又粗又长又硬黄毛片
男女猛烈XX00动态图暧昧
spark 实践 狠揍
黄色A片视频网站免费看
闽公网安备 35010302000113号