猫眼影戏
 |
|
猫眼影戏
范和生
手机审查
猫眼影戏记者 胡宏炜 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：欧美精品亚洲人成在线观看
??01月21日,新华述评｜保护历史文化遗产 推动文化传承发展——深入学习贯彻习近平文化思想系列述评之九, 6月21日，中央纪委国家监委宣布新闻，自然资源部原党组成员，中国地质视察局原党组书记、局长钟自然被开除党籍，涉嫌受贿、居心泄露国家神秘犯法问题移送审查机关依法审查起诉。,18禁 -百度。
??01月21日,巴西中国和平统一促进会和江苏省人大代表团座谈,
现在，在中国，创业者通常要面临许多挑战，好比，缺少创业和治理履历、欠缺初期启动资金、难以吸引卓越手艺人才等，诸多因素使得创业现实乐成率并不高。而美国硅谷这个创业者的摇篮，已经形成了从天使投资到中、后期危害投资的完整的、流水线式的系统。一个好的想法哪怕是在看法验证期都可以获得10～50万美元天使资金的支持。而天使投资人又往往是前乐成创业者或公司高管，有着深挚的业界履历和配景，除了资金之外能够给立异公司带来他们的视野和业界关系，导入专业职员和治理履历，之后危害投资会对天使项目后期跟进。20xx年，美国的天使投资占危害投资总体盘子的40%至50%，共有26万多个活跃的天使投资人和组织。然而在中国，虽然20xxx年以来危害投资快速生长，可是天使投资群体还未成熟，天使投资领域仍是一大块空缺。危害投资苦于找不到足够多的、后期的好项目，创业者苦于找不到足够的早期支持。
,欧美美女喷水aaa,免费人成,19岁巨乳裸体性交在线。??时势2：男生把小困困进女生困开元
??01月21日,认真学习的样子太帅！台湾大学生“穿越”历史，爱上北京中轴线,
2、增强宏观治理，认真推行职能。市、县(市)区档案部分进一步增强宏观治理，认真推行职能，围绕科学生长观和构建协调社会，进一步增强和做好农业农村、林权刷新、社会包管劳动就业和社区等档案事情的营业指导事情，深入到机关、企事业单位举行营业指导。资助建设完善档案治理制度，提供营业学习质料，严酷凭证标准和要领，催促指导各立档单位做好种种文件质料和年度立卷归档和整理事情，确保档案的齐全完整。市、县(市)区档案部分进一步增强了对林权刷新档案治理事情的催促、指导和检查力度，全市林权刷新档案事情已周全睁开。同时，增强了对改制企业档案治理举行了营业指导和咨询。进一步增强对重点工程项目和国有休业企业的档案营业指导事情。
,操逼操逼操逼操逼操逼操逼操逼操逼操逼操逼操逼操逼操,女主播给粉丝看奶头,bbb污污污在线观看。??01月21日,习言道｜我带来来自中国的三个信息,
“老十五，想不到你的箭法通神了，两箭就射下一头强盛的鸾鸟，别人无论怎样也要履历一场大战啊，云云手段绝对又要震惊国都了。”一名年岁很大的老人赞叹。
,韩国2022最新理论电影,欧美女同另类,18 看片。??时势3：大型综合色站
??01月21日,提升资本市场内在稳定性,
军事训练是一项严肃认真的事情，在训练场上，同砚们一定要遵守训练划定，严酷按规程不折不扣、一丝不苟地完成训练使命，要严酷听从指挥，做到清静第一，杜绝一切事故，特殊是天气炎热，要注重饮食，后勤和校医要提供优质的效劳和包管。
,日韩丝袜诱惑美女黄色网址,性爱AV网站在线,www.0731888888.com。??01月21日,逾40家穗企与医疗机构达成合作意向,
族人大喜，柳神越发强盛了，那焦黑的树体竟有小部分恢复了绿色，生气勃勃，碧光扩散，让这片天地都充满了浓郁的生命气息。
,国产操操操,人人干人人操人人爱人人,欧美性交网址欧美。??时势4：在线 蓝莓免费
??01月21日,2024海峡两岸汉字节开幕 台青：汉字就像空气 两岸很多东西都是融合的,
“那是一些什么样的生灵？”小不点好奇。
,在线性爱视频网址,欧美性爱AⅤ免费二区,91午夜福利在线观看。??01月21日,广西侨乡玉林引进玉商回归项目总投资逾千亿元,
1.抓实课内外训练，确保堂堂清，日日清。熟练完成好书上的训练题，用好单位测试。
,商用策划小鸡导航,免费在线观看α片,午夜网址免费。责编：彭体
审核：孟定
责编：申卉
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
