猫眼影戏
 |
|
猫眼影戏
格罗斯
手机审查
猫眼影戏记者 裴晓兰 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：国产福利无码一区在线导航
??01月21日,商务部：不愿看到中欧贸易摩擦升级,
二、在上学的路上和下学的途中万万不要下水游泳，由于这时代脱离了先生和家长，清静就得不到包管 。
,大胆欧美熟妇XXXXXXX 。??01月21日,国台办：赖清德当局裹挟台民众当“炮灰” “台独”与台海和平水火不容,
(三)周全推进绿化亮化，大幅度提升都会整体品位，起劲把嘉荫建设成为情形优美的宜居都会 。要充分使用绿化的有利时节，全心组织，加速实验，周全落实好园林绿化各项事情使命 。一是抓好好蹊径绿化香化建设和治理 。鼎力大举实验沿街蹊径绿化工程，进一步把绿化作为提升品位、彰显特色的重中之重，高条理建设绿带、绿地、绿景，重点实验好、治理挚友谊街、昌盛街、临江街、山河路、向阳路等城区主干道绿化，起劲实现主次干道一起一景、一街一品绿化景观 。二是抓好休闲广场、游园绿化和治理 。把广场游园绿化作为工程项目来妄想建设，一直提升江畔公园、俄罗斯风情园、中心公园、知青园等大型景观绿地的层次和品位 。特殊是要抓好沿江景物带绿化建设，要认真组织实验，打造都会亮点，展示嘉荫县边境江城的奇异魅力 。三是抓好小区庭院绿化和治理 。在建、新建小区要严酷凭证划定举行绿化，由妄想、绿化部分举行统一验收，达不到绿化标准的，必需整改到位，不然不得投入使用 。四是抓好展现都会形象的西出口绿化景观工程 。继续推行西出口恐龙草雕和“嘉荫接待您”草雕字形建设，对恐龙草雕钢骨架造型及草雕图案举行整形，使恐龙景观越发形象逼真 。同时，要增设适合的景观灯，增添景观灯照度，提高景观效果，现在这些工程已完成，以后要在搞好治理事情的基础上，逐年完善，凸显出口景观效果 。五是抓好景观雕塑建设，在县城收支口及在重点部位，适时增设反应龙江文化、恐龙文化的小品雕塑，建设具有标记性的园林精品，提升都会绿化的整体品味和层次 。
,美女跳舞大胸蹭大狙,男同互相导管视频,裸体自慰口交高潮内射18禁 。??时势2：肏屄日肏
??01月21日,气温下降 脑卒中风险加大 如何科学应对？一文了解→,
日复一日，小不点无论起风下雨，历来没有中止过一天，现在已经七岁多了 。
,私人黄色视频在线,男女靠逼软件,撕开 吸奶头 进屁软件 。??01月21日,孟加拉国青年看中国年：不一样的民俗一样的和美,
“速战速决，不管他是不是，照旧赶忙擒杀为好 。”
,亚洲熟妇久久国内精品亲戚,常德冰箱厂家用小鲤营销导航,国产桃色无码视频在线观看 。??时势3：性爱视屏免费网址
??01月21日,“全球南方”谱写团结自强新篇章（环球热点）,
隐约间，他知道了，山中有至强的保存正在清场，山宝真的要出生了！
,无码在线第一页,国家产久视频,欧美a片视频网址在线观看 。??01月21日,记者调查发现二手交易市场检测混乱“水分大”,
一、准确熟悉村干部培训的意义
,亚洲精品无码一级毛片乌克兰,亲近相尾中妈妈本人照片,91网友自拍 。??时势4：激情 欧美
??01月21日,8月5日“农产品批发价格200指数”比上周五上升1.69个点,
同砚们，为了使你们在高中三年学有所成，高昂上进，特向你们提出几点希望：
,正在播放国产一区二区中文,国产成a人片在线观看中文,av在线啊 。??01月21日,“文明的足迹” 杨烨炘个展探讨中意文化碰撞下的艺术思考,
教育生长是权衡一个国家生长水平和生长潜力的主要指标，刷新开放了三十年，中国教育生长取得了重大的前进 。三十年前的老一辈们，他们坐在低矮的课堂里学习，炎天没有电扇，冬天没有暖气，一支粉笔，一块黑板，一本课本是三十年前先生的三大教具 。那时的课堂教育就是听先生一人在讲，课上的死板乏味，课后先生还会安排一大堆作业，让学生自己去消化 。十一届三中全会的召开让一种全新的教育手段和教育理念取代了已往的一言堂式教育，教育焕发出勃勃生气 。
,中国黄色片在线观看,狼友网精品视频在线观看一级,在线黄av 。责编：魏旸艳
审核：佟爱明
责编：冯潮作
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
