猫眼影戏
 |
|
猫眼影戏
陈殿魁
手机审查
猫眼影戏记者 章海安 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大 。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的 。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token 。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低 。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍 ；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上 ，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平 ；处置惩罚长文本使命时 ，体现反而更好 。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固 。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：黄色视频免费播放网站
??01月16日,粤港澳大湾区重要水源地安全保障达标评估启动,
第五 ，掌握清静手艺 。每位学生要牢靠掌握现代社会中的清静生涯和清静生产的基本手艺 ，如报警电话的拨打、灭火器的使用 ，公共场合遇险的准确逃生 ，事故爆发时的应急要领和手艺 。
,打扑不该盖被子 。??01月16日,南方电网原纪检监察组组长龙飞被逮捕,
不知理科的同砚是否还深思在“将马铃薯去皮切块 ，加水煮沸一准时间……”（今年高考理科综合题） ，文科同砚是否还执念于“美国在开国初 ，由于国力弱小 ，加之受华盛顿‘中立政策’的影响……”（今年高考文科综合题） ；不知是否有人穿梭于文理中 ，想着中美商业争端中的美国农产品 ，似乎是棉花、大豆没有马铃薯呀！但我相信同砚们一定记得“男儿屈穷心不穷 ，枯荣不等嗔天公 。”（今年高评语文试题中李贺的诗） ，一小我私家虽屈抑困厄 ，但志向犹在！这正是一中在培育你们时 ，期望你们拥有的精神品质！
,一级婬片AAAAAA,999久久久女人视频,99久久一区二区免费视频 。??时势2：脱 让摸 亲嘴日本
??01月16日,春运高峰遇2009年来最强雨雪冰冻考验 全国道路安全出行天气地图助你平安回家,
靠质量树名
,a毛片全部免费视频高清,骚奶好大呀要喷水了,男生日女生骚B视频 。??01月16日,国台办：希望有关国家认清大势，尽快纠正错误,
“记着 ，只有二十天的时间 ，不然你们等着灭族吧！”一个头领喝道 ，此后用力抽了一鞭 。
,绿帽社下载,久久综合毛片,r34friskchara-chara18 。??时势3：嫩草精品国内一区二区双飞
??01月16日,海峡两岸青少年棒球邀请赛挥棒开赛 两岸“棒球小子”同场竞逐, 携程数据显示 ，今年一季度 ，可免签入境中国的新加坡游客同比增添10倍 ，马来西亚游客同比增添9倍 ，法国、西班牙、泰国游客均同比增添约4倍 。 端午小长假时代 ，平台入境游订单量同比增添115% 。来自美国、英国、澳大利亚、韩国和马来西亚的游客最多 。,直接的黄色视频,女王止寸倒计时控精网站,800AV最新地址 。
??01月16日,天津警方今年已破获环食药和知识产权领域刑事案件545起,
7月5日下等 ，我们闪电小队的7名同砚到安阳市公安局交警支队旅行 。
,欧美性生活视频AAAAAA,国产在线播精品第三,鉂屸潓16 。??时势4：日本香蕉三级久草在线
??01月16日,泉州宝藏 | “世界伊斯兰教的第三圣墓”为何在这儿,
党的纪律检查机关是担负维护党的纪律、实验党内监视重任的专门机关 。在这次换届中 ，我们也要选好县纪委向导班子 ，还要就以后5年的纪律检查事情作出总体安排 ，这关于增强我县党风廉政建设和反糜烂事情 ，确保一方风清气正 ，关于增强监视检查全县各级贯彻落实科学生长观 ，增进经济社会既快又好生长 ，关于抓好下层作风建设 ，维护群众利益 ，都有重大而深远的意义 。
,碰碰碰天天碰日日碰碰碰碰,18馃埐馃崒馃崙,99riav63 。??01月16日,上海侨界专业人士沙龙举行 共话数字经济新引擎,
“石毅谁人小崽子身在王侯家 ，可调动无限资源 ，不会缺少远古遗种的血、稀世仙丹等 ，这样生长下去 ，确实令人悚然 。”
,男女被 到爽 流水电影,凪光老师的封神三部曲评价,蜜臀av色欲av桃色 。【我国最大海上智能油田群日产量创新高 海上智慧油田建设提质升级】
【河北丰宁：世界装机容量最大的抽水蓄能电站助力绿色能源产业发展】
责编：吕华忠
审核：胡诠
责编：莫夫-格拉希
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
