首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《国产小伙嫖妓在线播放》，《Q8X2R7L1T4J5M9B6W3》XXXXX性视频播放
“天堂网精品无码A√在线”
中国艳妇裸体欣尝
……
01月13日
“欧洲性爱网址”菲尔普斯：无端指责潘展乐是错误的
↓↓↓
01月13日，印尼建筑设计师壮乡创业：“修旧如旧”以设计寻根，国产粗口刺激对白AV在线Hd，色色搞鸡双男漫画下载，Pornhub观看入口，a级毛片在线观看
01月13日，辽宁省贸促会经贸代表团出访马来西亚、印度尼西亚助力打造对外开放新前沿，精品久久久久久中文字幕无码四季，深夜免费在线观看网站，采儿黄化人物图片，xxhd中国版性
01月13日，广西柳州：“小东北虎”欢跳竹竿舞 品味广西水果盛宴，98免费人妻无码视频，欧美级婬片A片免费播放口r老头，亚洲视频免费在线，免费观看日本h性爱
01月13日|兴业银行落地股份行首笔“中小微企业资金流信用信息共享平台”融资业务|阿娇一夜被躁高潮3次|国产黄色av性爱大片|日日摸日日碰人人澡|桃子移植100款黄油游
01月13日|哈尔滨机场开启绿色通道为新疆地震灾区运输取暖设备|日韩一级特大婬片亚洲高清|性生一级录像网站免费大全|69视频,一级黄色视频|卡通动漫第一页
01月13日|北京朝阳区市场监管局对“实况厨房”“京门楼”立案调查|欧美熟妇激情性爱影院|校花被日出水来免费看|重口味专区|секс少妇видео日本……
01月13日，呼和浩特市举行体育嘉年华 将体育运动带进百姓身边，一群和尚和婬妮h，最新夫妻精品自拍网站，AAAA级毛片免费视频，国产精品你懂得
01月13日，关注红海局势：美英再次空袭也门胡塞武装目标，cosplay女孩掰开让我入，A级毛片毛片免费观的看久TV，亚洲全黄无码级网站激情视频，亚洲国产精品小说久久久
01月13日|国际最新研究：一种新方法制作智能纤维 可用于可穿戴电子设备|抽插硬湿紧大|馃尶馃崙馃惢馃惀|成年看的视频网站|久久伊人操
01月13日，习近平同法国总统马克龙、欧盟委员会主席冯德莱恩举行中法欧领导人三方会晤，A片久久99久久99久久综合，免费轮奸视频，狠狠干天天插，欧美不卡视频黑人
01月13日，香港天文台发出红色暴雨警告信号，日本高清在线网站，黄色A片视频网站免费看，国产主播 国内精品 在线，熟女爱大吊
01月13日，各民族福建福鼎欢度“二月二”：我们都是一家人，米塔自慰，操女生网站免费，中国x站官方版下载，福瑞裸体 羞羞图
01月13日|厄尔尼诺现象致菲律宾农业损失超12亿比索|舞蹈生妹妹玉腿张开h|簧色网站|三上悠亚火影Cospplay|色九月色色色色
01月13日|德国索林根市持刀袭击案：一名嫌疑人向警方自首|日本漫画爆乳|,,,,,,www在线高清|人人人妻免费公开视频|国产另类调教一区二区
01月13日|习近平寄语新时代青年强调 奋力书写为中国式现代化挺膺担当的青春篇章 向全国广大青年致以节日祝贺和诚挚问候|肏小穴视频|天堂久久|2020超碰97久久国产精品网页|看h片的网址
西园寺小姐不做家务，2023年末中国男比女多3097万人|广东梅大高速茶阳路段塌方灾害首位伤员出院|小马拉大车9.1免费版安装教程|和平精英女角色光腚|成年人水中免费激情视频|500部大龄熟胖乱视频
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
外交部就美国批准向中国台湾地区出售19.88亿美元武器答问
预测：2023年日本GDP或跌至全球第四 被德国反超
致公党“声”入人心：发挥侨海特色 集侨智侨力深化改革
沉浸式戏剧《9号秘事》北京限定版登台
自然资源部：加强规划土地政策支持 配合做好老旧小区改造
尼日利亚一载有至少100名乘客的船只倾覆
上海金融服务业“第三极”将添新地标
有钱请不到人？台媒称台湾“大缺工时代”来临
（澳门回归25周年）中葡论坛常设秘书处秘书长季先峥：发挥好澳门的葡语国家“超级联系人”作用
马伊琍：王家卫拍出了我最美的样子
色哟哟在线观看无码专区
解开乳罩胸又大又软的吃奶漫画
色七七亚洲另类
蜜臀av在线
3 级A片网站
18 无码 高潮 91
色婬视频激情视频
柳神被操
久久精品免費精品视频
999视频在线观看播放
闽公网安备 35010302000113号