首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《亚洲精品无码精品mv在线观看》，《Q8X2R7L1T4J5M9B6W3》黄色一级Av毛片
“《好好疼爱里面》漫画免费观看”
97综合人人澡,人人干
……
01月21日
“本地毛片”2024LPL春决 BLG vs TES
↓↓↓
01月21日，长春推出系列优惠政策吸引高校毕业生等青年群体，男生的困困放在女生的困困里小说，麻豆精品A片在线观看，国产黄色视频野外，亚洲国产高清无码视频
01月21日，中核钛白实控人王泽龙被罚没1.33亿元，中信证券、海通证券也被罚 ，2021年日本三级片，狼友网站国产，白丝少萝疯狂 喷水自慰，a视频在线观看免费一区
01月21日，推动高质量发展·权威发布｜广西：加快建设桂林世界级旅游城市，www.weishuoba.com，一级黄色网站一级片，淫秽视频网站在线免费，日本黄色视频播放,韩国老女人黄色录像播放
01月21日|《习近平关于健康中国论述摘编》出版发行|吹潮视频在线观看|全网Av|大陆精品偷拍二区|白白发布在线视频精品
01月21日|第十三届郑仙诞文化旅游周在广州白云山启动|亚洲中文字幕永久在线2020黄色|涩会涩不卡视频|男人被躁到高潮嗷嗷叫是什么病|国产91一区二区三区
01月21日|湖北首份中国—厄瓜多尔自贸协定原产地证书签发|夜夜视频网|成人码秘网站|男人吃奶揉捏奶视频|日本淫岁视频……
01月21日，外汇市场、外资来华投资“锦上添花” 我国经济回升向好态势不断巩固增强，一本大道香蕉久中文在线播，最黄欧美性爱黄图，国产精品综合久久激情高潮，吴绮珊被躁75分钟无删减
01月21日，山西：鹳雀楼迎2024年首场降雪，国产性交在线视频，香港之色鬼强奸女交警，99精品热视频只有精品20，亚洲欧美卡通综合自拍
01月21日|（新春走基层）逛“车厢集市”赏非遗演出：秦巴深处采购年货迎来新方式|欧美一A一片一级一片|啊〜用力〜嗯〜轻一点苏新皓|日韩美女精品一级视频|色噜噜噜噜噜
01月21日，深港两地深化职业教育合作，春古美雨女友作品，别告诉妈妈免费观看电视剧下载，精品久久久中文无码午夜福利，xxnxhd18
01月21日，围甲联赛常规赛收官 成都队夺冠，三级性爱视频在线看，老师掀起内衣喂我奶头的漫画，啊！～哈！好大！快要高潮了！免费观影，亚洲av免费看网站
01月21日，南非举行接任G20轮值主席国启动仪式，老师洗澡喂我吃奶的视频，最近最新的中文字幕2019，欧美在线a欧美在线ab杂交，国产山东熟女48嗷嗷叫
01月21日|宁夏出现大雾天气 最小能见度34米|妹子黄色片|农村乱人伦一区二区|爱爱视频亚洲一区|国内大量揄拍人妻精品視頻
01月21日|中国“Z世代”青睐“特种兵式旅游”： 单日骑行两千里|自慰喷水在线|美女漏100%身体无挡软件|偷窥直播综合网|免费看国产精品啪啪视频
01月21日|（身边的变化）北大姑娘进村“上班” 浙江水乡古村重燃青春“窑火”|亚洲影院|桥本香菜在线观看|视频黄色美女|成人 高潮片挤奶
伍六七之记忆碎片，中国女游客坠亡峡谷下方是硫酸湖|“五一”假期浙江水路发送旅客超130万人次|欧美先锋|欧美伦禁片在线播放|粉嫩Av一区二区三区四区免费|香蕉视颏在线观禁亚州欧美在线看
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
1死2伤！美国芝加哥又发枪案 3名学生光天化日遭枪击
中国正能量｜薪火相传，弦歌不辍
抓住银发市场规模扩容重大机遇
低价买法拍房转手赚差价？ 男子被“熟人”骗了70万元
7600车级汽车滚装新造船在上海崇明口岸顺利交付
苏轼真迹《新岁展庆帖》《人来得书帖》合卷在海南展出
中共中央政治局召开会议 审议《关于二十届中央第三轮巡视情况的综合报告》 中共中央总书记习近平主持会议
HICOOL 2024全球创业者峰会举办 外国参展商点赞中国营商环境
财政部拟发行2024年记账式贴现（四十四期）国债
中英/北爱教育合作论坛举行 中国驻英大使发表演讲
成人㊙️免费网www黄
欧美性愛A片
我跟老师做游戏乳头漫画
鸣人 玖辛奈18禁污污
爽爽爽午夜福利试看
麻豆wwww
图片区亚洲视频区
在线黄网观看
大众浴池2023最新款
日韩AV毛片精品簧片无码
闽公网安备 35010302000113号