猫眼影戏
 |
|
猫眼影戏
王熙
手机审查
猫眼影戏记者 宋如华 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：美女被操到高潮视频
??01月19日,毛里求斯新总理拉姆古兰宣布就职,
一是理论基础获得夯实 。通过政治理论专题的学习，使我们进一步加深了对xx大、科学发观和党的农村政策的熟悉和明确，升华了同志们的政治理论和头脑熟悉 。在这次培训班上，通过系统学习，填补了平时缺乏周全、系统学习理论知识的缺憾，进一步提高了理论素质 。特殊是通过连系我区现实，学习墟落经济理论后，对我区目今以致以后一段时期的农村政策及解决“三农”问题，实现农民增收有了新的看法 。
,一龙二凤双飞尼姑的作者是谁 。??01月19日,卖挂历已有40多年 皇城根儿78岁“挂历金大爷”想找“继承人”,
近年来，随着电子商务的快速生长，京东白条作为一种便捷的消耗信贷方法，受到了越来越多消耗者的青睐 。然而，随之而来的逾期问题也引起了普遍关注 。许多人都在疑惑，京东白条逾期两个月会上门走访吗？本文将围绕这一问题睁开探讨，并对京东白条逾期一个月的处置惩罚方法以及逾期协商还款方法举行先容 。 一、京东白条逾期两个...
??时势2：丝袜无码专区
??01月19日,福建一公司操作无人机到金门散发传单 国台办：大陆网民自发行为,
最终，小不点上路，单人独骑，奔跑向大地的止境，带着一股激情，要只身去灭那一股强盛的凶寇 。
,国产精品视频黄,国产在线播放三级视频,邪恶道无翼鸟 。??01月19日,山西临汾将同时开通直飞深圳、乌鲁木齐包机航线,
向导干部是人民的公仆，顺应民意、化解民忧、为民投契是自己的天职 。这就要求我们必需紧跟时代生长的程序，与时俱进，开拓立异，把主要精神用在经济生长和社会稳固上，以求实的作风，始终把人民群众的利益挂在心上，把人民群众的事情抓在手上，要深怀爱民之心，恪守为民之责，善谋富民之策，多办利民之事 。以人民群众最体贴的热门、难点问题为重点，实着实在为群众解难题，恳切至心为群众投契益 。作为村级干部无论职位崎岖、权力巨细，就是要忠诚地推行职责，用忠实守信的言行赢得组织和群众的信任，真正做到“可靠、有本事” 。
,ZZZ8XXXX,亚洲网站在线观看,玖玖国产在线观看 。??时势3：人人插人人摸人人插
??01月19日,他们的青春 我们的青春,
众人哗然，任何一个富家，最名贵的工具一定是镇族宝术，是他们生涯与崛起的基础所在 。
,日韩AⅤ在线,美女黄频网,91大屁股在线 。??01月19日,国道219发生追尾事故 边境民警施援,
“真是一个可爱的孩子，誓言能比狻猊宝体稀珍吗，比得上远古遗种的赤红宝角吗？”狈村一其中年人冷笑 。
,舌乚子伦熟妇αv高清大图,网站网站黄色网站一级一级,99精品视频在线三级片 。??时势4：欧美第一大片在线视频播放
??01月19日,内蒙古居延海湿地：候鸟翔集绘生态画卷,
爆发火灾时，若是被大火困绕，就拨打119报警电话，在报警中，要讲清晰爆发火灾的所在、报警人的名字和火势的巨细 。随后，期待救援 。若是火势小，就用湿毛巾、湿毛毯披在身上冲出去，逃出去时 。要逆风而行，并弯腰爬出去，用湿毛巾捂住口鼻，以免中毒 。
,瑞士家庭乱伦图片成视频,日本夜夜爽视频,鲁鲁免费视频在线观看精品 。??01月19日,俄外交部：俄罗斯不会用核武器威胁任何人,
不久后，他们通体发凉，一阵悚然 。
,老师 狂揉下部,99偷拍视频系列5,久久不卡网日本婷婷 。【国务院批复同意中老边境勐满公路口岸对外开放】
责编：郑锦阳
审核：张治中
责编：刘诗强
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
