猫眼影戏
 |
|
猫眼影戏
吴力之
手机审查
猫眼影戏记者 曹艳芳 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？椤
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿隆
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅痢
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：www.2ie2com
??01月21日,东西问丨方朝晖：孔夫子与柏拉图为何都注重“德性”？,
二是深入调研 ，周全掌握宽大、村民代表的头脑动态。深入群众 ，普遍听取宽大、村民代表对现届支部和现职支委事情情形的真实意见、建议 ，以及对新一届支委的希望、要求 ，有利于掌握换届选举事情的动向。我们在原来村级班子剖析排摸的基础上 ，举行深入座谈。我们统一明确了四种必谈工具 ，即历届离任村支书老干部必谈、村民小组长必谈、在群众中有一定影响力和威信的和村民代表必谈、在职村三委会成员必谈。同时 ，要求座谈率抵达50%以上 ，新村及情形重大村要求抵达80%以上 ，并要谴责体农村事情指导员战胜年尾刚刚完成村级班子排摸 ，年头又要座谈考察而滋生怕烦和麻木头脑 ，一律接纳个体座谈方法 ，周全掌握群众的真实意愿。在座谈考察的基础上 ，逐村酝酿各村支委配备数和新一届支委起源人选 ，对在换届选举历程中可能泛起的情形举行了展望和剖析 ，并确定x月26日至28日为全镇集中选举期 ，以点为单位凭证先易后难原则确定各村选举日。
,星野鱼哥免费。??01月21日,五一档电影总票房破15亿元,
团学干部的一项主要职责就是凭证院(系)党团组织的和所在班级的现真相形 ，起劲自动的组织开展能代表宽大同砚进取要求的、切合青年学生特点的、富厚多彩康健向上的种种学习活动、文体活动、科技活动、自愿者活动、社会实践活动等。关于这些活动 ，学生干部虽然要站在第一线 ，从活动的策划到职员、物质条件的落实 ，都要去逐一组织和安排 ，还要对活动的历程举行监视。以是 ，若是脱离学生干部的组织向导作用 ，学生事情就难以有用的举行。
,在线一级A片视频免费播放,爱搞网在线观看,爱搞igao视频在线。??时势2：欧美日韩91在线看
??01月21日,陕西省水利厅启动全省干旱防御Ⅳ级应急响应,
凶狈已死 ，与这宝具彻底没有了联系 ，小不点越发用的驾轻就熟 ，如臂使指 ，晶莹绚烂的兽牙串无坚不摧 ，攻击力极大。
,亚洲日韩精品一区二区三区动漫,国产亚洲一级看黄无码毛片,国产日韩欧美一级视频在线观看。??01月21日,（新春走基层）打年糕、百家饭、“猢狲包”……杭州孩童寻祖辈乡村年味,
“那就打一场 ，生死对决 ，你敢吗？”蛟鹏口吻很是冲 ，眼中射冷电 ，真跟一只远古金鹏幼崽般凌厉。
,a一级爰做片免费观看,A片看女人的麻屁图片,超碰在线92在线精品。??时势3：99riAV在线播视频
??01月21日,湖北省政协十三届二次会议闭幕,
4、西席要以备课组为单位选择训练题 ，要给学生适当的家庭作业 ，尤其是双休日的家庭作业要做到内容充分 ，形式多样 ，题量适当 ，以备学生使用双休日在家预习和温习;要强化检查环节 ，周一早要对周作业完成情形举行检查 ，检查后再举行有针对性讲评。西席要指导学生从最基础的事做起 ，上好每一节课 ，考好每一单位 ，让学生有一个厚实的学科基础 ，让“差生”有获得乐成的可能。
,日本黄色插逼播放,欧美a∨欧美a免费入口直接进入,伊甸园永久在线最新地址。??01月21日,贵州从江一民船侧翻 致8人遇难,
在上古年间 ，重瞳者为圣、为神明 ，曾泛起的那几人 ，都是震天动地、震惊天下的盖众人物。
,台湾A川毛片一区二区免费,国产女人高潮抽搐喷水视频免费,国产最新精品视频。??时势4：超碰人人揉
??01月21日,老挝华裔新生代游学普洱 感受中华文化,
有数米长的花纹山猫 ，头上长着犄角 ，强劲有力 ，每一次都能撕开一头巨兽的躯体 ，浴血而狂 ，它的双爪也是锋锐无匹 ，冷光闪过 ，必有血液溅起。
,欧美视频1区,人人上人人操人人,日韩免费色视。??01月21日,古巴因外部网络攻击推迟燃油调整计划,
党的xx届三中全会以后 ，天下各地区、各行业都已进入了加速生长的要害时期 ，机缘和挑战并存。加速生长成为解决生长历程中矛盾和问题的基础出路。解放头脑、加速生长已成为全社会的共识 ，医疗卫生事情者要增强加速生长的责任感和紧迫感 ，爱岗敬业 ，团结拼搏 ，为提高医疗卫生效劳质量 ，知足人民需求 ，提高全县人民康健水平 ，为率先实现小康社会和县域经济社会的加速生长施展起劲作用。
,国产嫖妓风韵犹存对白,18午夜,多毛熟妇。责编：巴托丽
审核：李长轩
责编：卞立新
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
鲁ICP备09023866号-1 鲁公网安备 37010202000111号
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
