猫眼影戏
 |
|
猫眼影戏
陈昊芝
手机审查
猫眼影戏记者 林金城 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍 ；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平 ；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：考逼老汉推车
??01月16日,邹敬园：团体赛后很难受，这是一种人生体会,
男子想了想 ，以为有原理。
,商心慈同人漫画在线观看。??01月16日,美国计划制裁以军一部队？以色列总理：反对！,
这场大战很强烈 ，引的十方瞩目 ，所有人都屏住了呼吸 ，不敢多语 ，全都在主要的关注着。
,国产日韩三级片网站,国产小视频在线看,一站式A片。??时势2：打开:小乔CC
??01月16日,同一天俄多地遭袭 俄国防部称摧毁25架乌军无人机,
石毅获得至尊骨后 ，越发不凡了 ，眸子开阖间 ，神光流转 ，举手投足 ，竟隐约间有了一种恐怖的威严。
,欧美黄色一区二区,小 操,激情无码大R度毛片免费看。??01月16日,成都将多措并举激发经济活力 坚定不移推动成渝地区双城经济圈建设,
5、抓团结协作 ，保团队协调
,国内精品伊人久久久影院,在线免费看黄的网站,💋XXXXATU💋HD18。??时势3：一级免费看片
??01月16日,国防科技大学教授王鹏的三次“转身”,
第三 ，注重妄想全历程治理。要维护都会妄想的严肃性和权威性 ，不切合都会妄想的项目不得批准立项 ，未体例控制性妄想的地块不得出让、转让和开发建设 ，任何项目不得突破红线和绿线。要起劲推行妄想公示和听证制度 ，使妄想治理与效劳越发果真透明 ，争取社会各界的明确和支持。在详细实验中 ，要把好 “四关”：一是论证关 ，对都会建设的总体气概、色调、每条街的街景、重大建设项目 ，都要约请权威专家举行妄想、设计 ，镌汰随意性;二是决议关 ，重大项目 ，要整体研究 ，整体讨论 ，整体决议 ，阻止失误;三是审批关 ，严酷执行审批制度 ，对暂不具备条件的建设项目 ，宁愿空缺 ，也不委屈启动 ，以免留下历史的遗憾;四是建设关 ，所有建设项目 ，都必需切合都会景观设计和街景设计的要求 ，时刻彰显嘉荫“边境江城”的特色。
,97在线视频免费播放,美女网站视频91,秘书大胸奶头晃着喷奶水。??01月16日,26名台胞青年走进重庆抗战遗址博物馆参观,
3、产品研发效果显著。公司为了走差别化可一连生长之路 ，提高公司的焦点竞争力 ，20年建设了新产品专项研发小组 ，对空压机配套装备备件举行了设计、制造。其中电车控制器、无油机、永磁电机、离心机等等 ，已有多项通过权威部分立项及效果判断 ，并申请专利。它们的研制乐成标记着我们1111公司的研发能力迈上了一个崭新的台阶。
,影音先锋亚洲综合资源在线观看,国产黄一区,麻花豆精产国品。??时势4：人人模人人射
??01月16日,在绿水青山间 寻找银发经济“密码”,
回首已往的一年 ，是欠亨俗的一年 ，这一年是我们x公司建设十周年的大喜之年 ，十年的艰辛 ，十年的拼搏 ，十年的坚持 ，十年的生长才使我们从x阳光家政走向x物业效劳有限公司;是我们华美转身的一年 ，这一年 ，我们从简单的保洁效劳转型到现在的能肩负多种效劳的物业公司 ，并乐成申报了三级物业资质。这些效果的取得是公司上下团结一致配合起劲的效果 ，可以说 ，公司生长的每一步都离不开在座的兄弟姐妹 ，在x公司的生长史上留下了你们辛勤的汗水和坚实的脚印 ，再此 ，我代表公司向在座的列位道声辛勤了 ，公司谢谢你们!x会因你们而精彩 ，x会因你们而自满!
,成年免费A片视频黄网站在线观看,95 视频免费,xxx100。??01月16日,漫评 | 驭风前行，奏响中欧互利共赢“春之歌”,
同志们 ，周全建设和实验农村低保事情 ，时间紧、使命重、压力大 ，让我们以高度的责任感和使命感 ，以“时不我待 ，只争朝夕”的精神 ，高标准、严要求 ，开拓立异、高昂有为 ，以优异的效果迎接党的xx大顺遂召开!
,国产精品免费乱码久久影院,中文字幕第19页在线亚洲,靠逼视频软件下载。责编：张宗芎
审核：赵一弘
责编：马莉
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
