猫眼影戏
 |
|
猫眼影戏
格雷格史密斯
手机审查
猫眼影戏记者 徐飞鹏 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：91中文字幕永久在线
??01月17日,2024年注册会计师全国统一考试举行,
尊重的家长、学校向导、先生，亲爱的同砚们：
,成人国产精品秘 鲁鲁3D 。??01月17日,四川眉山出现奇特辐射雾“云海”景观,
另一片山脉中，海氏父子一直在关注外界的时势，这些日子以来心中波涛升沉，难以清静 。
,久久久久国产精品嫩草app,www.bbixx8.com,被玩坏的严格高冷老师在线观看 。??时势2：足控红绿灯控制压榨寸指安全吗
??01月17日,多国政要读懂中国：中国式现代化惠及世界，经验值得借鉴 |世界观,
今年是实验“”妄想的开局之年、起步之年，做好城镇化各项事情具有十分主要的意义 。今年我县城镇化事情的总体思绪是：以邓小平理论和三个代表主要头脑为指导，以建设“水城、绿城、棉纺织名城”为目的，以生长为主线，以制度刷新和体制立异为动力，坚持妄想、建设、谋划、治理“四位一体”，县城、重点镇、小集镇、中心村良性互动，立异谋划理念，完善城镇系统，强化基础设施建设，扩大城镇规模，加速推动农业劳动力向非农工业转移，农村生齿向城镇转移，实现城镇化一连、快速、康健生长 。详细事情中，要着力抓好以下五个方面的事情：
,欧美亚洲国产精品第一页,国产一级精品精品A片,免费的黄色视频入口 。??01月17日,以高质量教育体系奠基民族复兴｜教育时评,
3、要抓好目今防火事情，确保森林资源清静 。
,在线视频激情,日韩黄色网站。,ericool调教 。??时势3：亚洲色欲天天天堂色欲网91
??01月17日,一站一景、站城融合 集大原高铁三座车站落成,
小不点摸了摸，此后直接带在了自己的手腕上 。见到这一幕，狈村的人全都惊怒不已，这可是一族的至宝，就这么被这个小不点给黑起来了 。
,久久久久人妻精品视频,中文字幕一精品亚洲无线一区,性福利影院 。??01月17日,首届“城市安全智慧应急论坛”在北京举办,
列位(向导)同志们：
,健身教练漫画免费观看,鸣潮3D同人,超级97人妻免费视频 。??时势4：99riav.6
??01月17日,2024年全国台联第三十届台胞青年冬令营河北分营开营,
二是开发力度一直加大，城镇建设亮点日益闪现 。市县乡三级注重学习先进找差别，围绕特色建新城，泛起了竞相生长的好势头 。实验新区建设新步伐，通过行政中心搬家发动新区开发;县通过行政新区、城南新区、凤凰新城等开发建设，泛起了转动生长态势，县城规模急剧膨胀，县城建设形成了“一心、两翼、多点”三位一体的都会一体化名堂;县鼎力大举实验小潢河沿岸二、三期治理，总投资亿元，打造宜人的都会景观带和一连的亲水空间;县刷新城区洼地，变害为利，化腐败为神奇，独具匠心，自出机杼 。各地都一直加大对城镇建设的资金投入，树立谋划都会理念，运用市场经济手段，盘活城镇资产，形成了多渠道的筹融资系统 。县起劲探索土地谋划的新路子，在“四权拍卖”基础上，探索出了署理制、开发主体多元制等谋划模式，近几年累计实现土地资产收益亿元，有力地增进了城建开发 。县起劲筹集城建资金，从年至今，城镇基础设施共投入资金达亿元，其中今年完成城建投资亿元，创历史新高 。县年以来，旧城刷新建设面积抵达平方公里，总投资达亿元 。县东城新区基础设施和配套设施建设，以及在建项目总投资已经凌驾亿元 。县今年—月份仅城镇以上牢靠资产投资完成亿元，增添 。另外，一些明星镇建设也取得了不斐的效果 。镇是国家级小城镇试点和我省四大重点镇之一，该镇妄想面积平方公里，现建成面积平方公里，城区生齿万人 。近年来，该镇加大了对都会基础设施建设的投入力度，镇区七纵八横蹊径骨架基本形成 。镇以灵山景物胜景为依托，强力推进重点镇建设，近两年来，共引进项目个，投资余万元 。镇城镇建成区面积扩大到平方公里，城镇生齿达万，城镇化率达 。黎集镇生齿万人，集镇生齿万人，城镇化率 。镇生齿万人，集镇生齿万人，城镇化率，被授予“天下建设文明村镇事情先进镇”称呼 。
,99久久精品福利久久久久久,又粗又大又黄的国产大片,一级性欧美视频 。??01月17日,【小新的vlog】多国商品齐聚高原 小新带你“云”逛2024拉萨进口商品展,
小不点手忙脚乱，总算给捂住了，然而龙尾竟然剖析，化成五头小龙，每一头都有指肚那么大，要脱离逃窜 。
,日韩污视频在线观看,JIZZJIZZ JIZZJIZZ日本视频,资质证书 。责编：龚金秋
审核：张黎勇
责编：欧阳慧
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
