首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《xxxgay》，《Q8X2R7L1T4J5M9B6W3》一级黄色性交
“国产强 暴 疼 哭 处 电影”
女人18一特级黄片
……
01月18日
“精品国产资源”梁靖崑0比3遭杜达横扫
↓↓↓
01月18日，擦亮质量名片 “中国制造”构筑经济新优势，黄色激情五月天，女人的奶头视频免费，855,CC，欧美邪恶三级片黄片
01月18日，让人才安心省心暖心 江西吉水打造人才发展新高地，超碰最新在线，在线观看视频毛片，狼友视频大全首页，潜行吧冰块放到执法的括号里
01月18日，中国历代绘画大系亮相意大利威尼斯双年展，馃埐銑欙笍馃敒，羞羞视频在线亚洲，阿~宝宝快C死我，九一精品操逼
01月18日|陕西聚力提供“不断线”就业服务 助力青年群体就业创业|免费 无码 精品 国产87在线|天堂av天天干|在线观看十八禁|国产熟女高潮精品视频没
01月18日|上海·悉尼中澳企业家经贸交流会在悉尼举行|欧美真实强奸一级a人成在线观看|欧美小罗莉69式XXXⅩ|免费高清无码黄色视频|亚洲精品人人狠狠操
01月18日|南方多地开启暴雪模式，湖南贵州启动应急响应|免费观看欧美在线A片|欧美精品黑人性XXXX|www亚洲无码污情人|日本黄页……
01月18日，文化中国行 | 2024“新疆是个好地方”对口援疆非遗展在库尔勒开幕，换娶妻3免费中文电影国语版，欧美强奸在线观看，午夜三级全黄，亚洲三级在线视频
01月18日，一批00后舰载战斗机飞行学员成功完成单飞训练，JavapHDonline，永久免费A∨无码网站喷水，九九爱草，老熟妇BBXXX视频
01月18日|江苏实施十大行动帮促高校毕业生就业创业|张紫妍的三门齐开的含义|久久精品视频16|影音先锋下载资源在线观看|男人把
01月18日，冷水鱼宴何以成新疆北部的城市名片？，超碰碰射射，人人插人人摸人人鲁A片，日韩在线亚洲一区，www.bjbokan.com
01月18日，广州中山纪念堂第三届木棉花文化节开幕舞龙“剃龙头” 13国青年在重庆感知中国传统“龙抬头”文化，一 级 黄 色 片www，国产精品视频一级香蕉AAA，免费无码三级片，yp污网站在线观看
01月18日，西藏拉萨市墨竹工卡县发生3.2级地震 震源深度10千米，高潮喷水抽搐娇喘无码，5setv改哪里了，偷拍福利导航，玉浦园电影免费
01月18日|浙江小伙在荷兰开火锅连锁店：让“中国味”走向世界|91玉足脚交白嫩脚丫|久久精品无码一级A片0|A片在线一区|欧美女操插综合
01月18日|晋祠庙会：传统与现代交融 老庙会焕发新生机|公交车上肏逼|舒淇被黑人狂躁120分钟|未来影院午夜理论片717|久久乐亚洲日韩
01月18日|自然课堂探索生物奥秘迈向物流强国的路上，如何做到“一个也不能少”？|看黄的免费网站|r34荒野乱斗|黄色18🈲网站|欧美精品一级C片久久久
TikTok动员用户拨打国会电话，沙地塌陷埋压2孩童众人刨沙施救|多家央企公告一季度“开门红”，战略性新兴产业投资加速|班杰明外网的片子网页|黄页网站av毛片在线观看免费|绝区零AKT视频|台湾农村寡妇特级A毛片
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
港澳居民“北上”+内地居民出境游 深圳各口岸迎来暑期客流高峰
科威特南部火灾事故死亡人数升至49人
解锁复兴号智能动车组更多体验
【我们共芳华——党外人士话复兴】中国国家话剧院院长田沁鑫：我是个“i人”，但一排戏就变得犀利
纪念程砚秋120周年诞辰 程派新秀翟谦个人专场在京连演两场
（国际观察）自民党众院选举惨败，石破政权还能走多远？
CBA焦点战前瞻：浙江略显疲惫 新疆新外援或登场
APEC中国工商理事会香港论坛开幕
新疆兵团社区居家养老水平提升
明年大中小学普遍开展人工智能应用
歪歪内透
一级性爱网
男女又爽 又黄 免费蘑菇
亚洲黄色网站网址视频
逼特逼怎么进
免费在线日本
3DA片区
厨房挺进同学熟妇的身体漫画
黄片大全视频,国产
福利毛毛在线
闽公网安备 35010302000113号