猫眼影戏
 |
|
猫眼影戏
李宁平
手机审查
猫眼影戏记者 姜锋 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的 。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：程潇裸乳被 白浆
??01月15日,杭州一村民家中闯进200多斤的“大家伙”，民警当场击毙！ ,
许多人站立不稳，即便相隔很远，也遭受了攻击，口中吐血，横飞了起来 。
,女人和拘做受全过程 。??01月15日,江西全省开展违规收送茅台酒等高档烟酒专项整治,
1、提高冬训活力，首先是内容上要把“增智”与“铸魂”相连系 。冬训有别于一样平常意义的培训，要坚持把党性教育作为主要的、永恒的主题，高举旌旗，铸“党魂”，获得各级党组织的认可和重视;同时，冬训要始终紧贴中心，锁定生长实践的阵势，关注干部头脑的疑心与诉求，议大事、明偏向、强信心、鼓劲造势、凝心聚力，让干部感应实时、解渴、管用 。今年冬训，我们确定了四个重点专题，希望各支部凭证冬训重点组织开展好本单位的冬训事情 。要通过集中培训，使全局宽大干部进一步相识目今我局的目的使命，将头脑与行动统一到中央和市、县和我局的决议安排上来;使宽大干部精神面目有新气象，头脑看法有新转变，政策水平有新提高，生长能力有新提升，事情业绩有新作为;要通过开展冬训，鼎力大举为民办实事、办妥事，切实维护人民群众的基础利益;要通过开展冬训，一直增强和刷新下层党组织建设，打造顽强的向导焦点，推进全局各项事情在新的起点实现新突破 。
,日本黄色aqq,女女黄片,西瓜内透v11直装 。??时势2：狠狠亚洲婷婷综合色五月
??01月15日,藏医白淑军：破解藏医药传承“密码”,
(五)启动市区“一项攻坚、三项整治”行动 。“一项攻坚”，就是要在市区开展违章修建拆除攻坚行动 。今年要围绕打造一批无瑕疵的精品街区这一事情重点，列出拆迁重点，把使命交到甘州区，甘州区要把使命细化落实到人 。“三项整治”就是要开展以情形卫生为重点的市容整治、以退路还市为重点的市场整治、以亮化美化为重点的风貌整治 。市容整治方面，要推行以环卫部分治理和专业步队准时定点清扫保洁、沿街门店单位和市民门前“三包”(包卫生、包美化、包秩序)落实、公益性援助岗位及都会低保职员起劲加入的都会情形卫生治理新机制，形成都会治理的强盛协力 。市场整治方面，要围绕退市还路，优先妄想建设一批小市场，让谋划者有市可进 。风貌整治方面，要把都会亮化纳入妄想治理，把亮化效果作为完工验收的一项主要指标，打造流光溢彩的都会夜景 。“一项攻坚、三项整治”行动由副市长余锋牵头，甘州区政府详细落实，春节前形成，年后付诸实验 。
,国产偷久久久精品专区,精品亚洲视频,su4.com 。??01月15日,“中国龙虾之都”江苏盱眙民俗巡游文化味浓,
大学始终是莘莘学子心驰向往的圣洁殿堂，更是我们塑造高尚品质的缤纷天地 。作为学生组织，我们要在落实院团委各项事情的基础上，起劲富厚同砚们的精神生涯 。
,姬小满疯狂奖励,欧美日韩视频在线一区二区三区,嫩草影院在线观看 沈那那 。??时势3：久草久在线视频
??01月15日,（乡村行·看振兴）江西乐安：“金果”迎丰收 增收“油”盼头,
砰！
,888www毛片,久久精品国产99国产精人妖,黄色网站激情视频 。??01月15日,【央视快评】功成不必在我 功成必定有我,
近年来，我市各级党委办公室切实增强自身建设，取得了一些效果，也积累了不少履历，今天讲话的四个单位就是代表 。但随着形势的生长和事情使命的加重，办公室系统在自身素质、水平、要领和作风等方面，尚有一些不顺应的地方，亟待切实加以提高和刷新 。今年，凭证省委的统一安排，全市正在深入开展以“五个建设”为主要内容的“迎创”活动，这是增强自身建设的极好时机 。党委办公室系统要捉住这一契机，普遍开展创先争优活动，进一步提高党委办公室的整体水平，起劲建设一支政治坚定、作风严谨、锐意开拓、甘于贡献、优质高效、勤政清廉的步队 。这里强调三点：
,在线 蓝莓免费,七色色亚洲,97精品在线 。??时势4：sejjzzcom
??01月15日,大学生社会实践：树大情怀、作深思考、干踏实事,
??01月15日,河北兴隆：冰雪温泉旅游系列活动上演,
我校是九年一直制公立学校，在办学上有得天独厚的优势 。
,欧美国产宗合,www.喷水,槯名新春在线播放 。责编：林志娟
审核：沙织
责编：黄金福
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
