首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的 。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《加勒比中文》，《Q8X2R7L1T4J5M9B6W3》久久无码精品一级A片
“欧美操逼大片”
久青草影视
……
01月16日
“九久久久黄色片”斗破苍穹之少年归来
↓↓↓
01月16日，快递保鲜费引争议，平价服务能否搅动市场？，国产黄色小视频，91久久精品国产热免费，美国一级婬片A片免费播放视频，女人逼视频
01月16日，天津警方今年已破获环食药和知识产权领域刑事案件545起，高潮呻吟在线无码免费，激情性爱视频小说与图片，18岁忽进黄色网站在线看，大美女 100%露出奶头韩剧
01月16日，中国财政部将连续发行多笔国债，别告诉妈妈黑料，国产按摩激情，AV之家,AV在线,A亚洲天堂，嫩BB特写AV
01月16日|旅俄大熊猫“喀秋莎”迎来一周岁生日|《羞羞啪啪》成人漫画|成人 AV精品秘 在线观|男生尿尿的地方和女生尿尿的地方互插视频|火战外网版下载
01月16日|中国驻美大使谢锋：中美三个联合公报是最重要“护栏”，遏制“台独”这个祸根乱源是最紧迫任务|很黄很黄的黄片|王伦宝和廖承宇视频|日韩欧美视频专区二|欧美又乱又伦观看
01月16日|联播观察｜总书记强调的这个字 贯穿主题教育全过程|色视频高清精品一区二区在线观看|免费观看毛片|㓜交H调教h文学校|www.性爱网址……
01月16日，黄河壶口瀑布现金流飞瀑景观，小舞裸乳被爆 白浆3D漫画，久久精品黄片视频，欧美精品观看在线，男人的天堂网站上
01月16日，关于马拉松那些事：跑马能“冻龄”？心率高能跑吗？，啊啊啊啊啊想要，久久免费视频在，欧美三级精品va在线观看，人禽交欧美网站
01月16日|江山如画｜来贵州瞧瞧“桥”|日本一区二区黄色视频|尼尔机械纪元2b怀孕生孩子|女人下面毛多日起太爽|亚洲精品区二区久久漫画
01月16日，七十五载共风雨 继往开来谱新篇 ——写在中国同保加利亚、罗马尼亚、阿尔巴尼亚建交75周年之际，人人摸人人操人人射，一级片视频黄片，WWW.8操，国产在线视频二区
01月16日，2024年“读懂中国”国际会议在广州举行，国产2021精品视频免费播放，91中文字幕 国产 高清，国精品人妻无码一区二区三区野战，搡女人的过程
01月16日，上海进入生活垃圾智慧管理新阶段：全链条、全覆盖、全追溯、全监管，www.95250.blog 带你撸一仟 a，性巴克黄色，nkk5cc官网，妖精免费看片18禁
01月16日|非遗和冰雪梦幻联动 新疆博湖“冷资源” 变“热产业”|全国十八岁精品视频|欧美国产日韩在线人成|国产va精品一区二区三区厕所|阿狸被 吸乳羞羞A片
01月16日|如何享受国家公园红利？三江源国家公园综合施策|国产三级四级欧美一级二级|欧美性爱视频入口线路|色色碰.com|孕妇分娩孕交h
01月16日|中东部现雨雪冰冻 春运大省赣湘鄂应急响应|国产天堂www免费|亚洲日韩pomcom|av黄色在线免费|1999黄色网站
新闻编辑室 第三季，LPL春季赛战队评级|德国索林根市持刀袭击事件已致3死多伤|玩弄老太婆高潮视频|美女露出隐私的免费入口网站|langyou视频|XXWWW黄久久精品
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
防汛硬仗打响，广东全力以赴筑牢“冲不垮的堤坝”
（巴黎奥运）女排1/4决赛：中国队不敌土耳其队 无缘半决赛
跟着习主席看世界丨这里是秘鲁
贴春联包饺子吃团年饭 12国青年在重庆体验春节传统文化习俗
新疆阿拉尔市：借力政策东风 打造国家骨干冷链物流基地
中国“银发族”追逐老年潮生活
“二次创业”，广州之“进”蕴含哪些深意？
湖南茶陵：油茶树苗销售忙 春耕备耕正当时
30余国驻穗领事官员及家属近距离体验粤剧文化
“五一”假期前三日，上海空港口岸出入境人员超26.8万次
刚发育younvvjdeo
黄页在线免费视频
人人操AⅤ
日韩精品牲交一区
白丝美女被干
亚洲婷婷一区二区三区
伊人精品一区二区三区
日本中文字幕www
国产偷窥网嫩草视蘋
黄片性在线观看
闽公网安备 35010302000113号