猫眼影戏
 |
|
猫眼影戏
西蒙·佩雷斯
手机审查
猫眼影戏记者 徐梦洁 报道Q8X2R7L1T4J5M9B6W3
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
??时势1：在线一区精品
??01月14日,天津印发方案对接国际高标准 推进自贸区制度型开放,
石族身为皇亲，被封王侯，虽然很强盛，但稀至宝具也不是这样随便糟蹋的 。这个老者嘴角淌血，身体剧震，骨头折断多处，横飞而起，撞在了一座巨宫上，令那里崩碎，烟尘一片 。
,欧美 播放 。??01月14日,（巴黎残奥会）中国体育代表团各项准备工作基本就绪,
同砚们，你们竣事了高一年级的学习，竣事了漫长而愉快的暑假，跨进了高二，最先了新的学习征程，先生祝贺你们有了一个崭新的最先 。
,日本三级A欧美三级,国外网址www呦女,午夜直播630a.t∨ 。??时势2：在线看av不卡
??01月14日,2024穿越火线职业联赛春季赛总决赛在济南举行,
柳树早已折断许多年，剩余一截焦黑的主干，直径足有十几米，仅有一条柳枝，青翠欲滴，随风摇曳 。
,99ri美女被c精品国产,老阿姨不戴套和我泄欲,亲嘴造孩子视频大全 。??01月14日,广东首家自然科学类国家二级博物馆诞生,
远远望去，山脉上空也都是黑影，无数的凶禽展翅，逃离大山，极速而逃 。
,黄色a片一级啦啦啦啦啦大黄色片一级,tonytoran免费网站,亚洲一级片视频 。??时势3：白丝jk❌❌爆❌❌❌乳官方版
??01月14日,民进党当局称对部分赴陆旅游团“有条件松绑”，国台办回应, 纪宁说：“西欧国家的网球市场已逐渐进入饱和阶段，中国被以为可能带来新的爆发性增添点 。”他以为，在中国这个网球新兴市场，应更充分地挖掘体育明星的商业价值 。“这有利于周全释放中国体育经济的增添潜力 。”,东京热A片,iGAO中文视频网在线观看,星野被老头拿下关键词 。
??01月14日,“中华”酒领唱《我和我的祖国》，北京卫视“滚烫歌会”开唱,
完成了海渤湾城区和滨河新区大学路、世纪大道，海南区春风街等条街路的街道绿化，大学广场、灼烁路等处公共绿地的建设以及桌子山街、千里山街的树木移植，举行了青少年生态园、植物园、都会育苗基地及海南区人民公园等大型绿地建设 。全市新增绿地面积万平方米，都会绿化笼罩率抵达%，人均拥有公共绿地面积抵达平方米 。为了美化了城区情形，园林部分还培育装饰盆花万盆，在部分街路和公共场合摆放 。
,女人扒开下面喷白浆,18禁黄污无遮挡无码网站,夜兰被盗宝团挤椰奶 。??时势4：91自拍视频国产欧美
??01月14日,上海整治家电维修市场, 她曾任《贵州生齿报》社助理记者，贵州省生齿信息中心记者，贵州省生齿和妄想生育委员会办公室副主任、主任，贵州省卫生和妄想生育委员会办公室主任 。,曰本强伦无码字幕在线视频,www.4455AV,欧美www456 。
??01月14日,外交部就习近平主席出席2024年中非合作论坛峰会开幕式并举行相关活动向中外媒体吹风,
(三)边查整改，转变作风 。解决人民群众反应强烈的突出问题，是教育实践活动的基础目的 。各村(社区)要干部要认真剖析问题，寻找问题背后的缘故原由和泉源，深刻剖析，把病症找对、把病因找准 。要认真解决问题，战胜张望心理、搪塞态度、畏难情绪，做到立说立行、立行立改，要从现在做起，从自己做起，从群众感受最直观、反应最强烈的问题改起，在解决详细问题中让群众看到转变、增强信心 。要强化制度意识，针对“四风”及“庸懒慢浮贪”等问题，建设健全长效机制，从源头上防治作风不正、不实、不廉的问题 。这里尤其要强调，各村(社区)要把开好民主生涯会、认真开展品评与自我品评作为查找问题、防微杜渐的主要使命，高度重视、提前谋划，党组织书记要切实推行第一责任人的职责，主持研究制订专题民主生涯会事情，催促班子成员认真撰写比照检查质料并逐一审阅，带动开展谈心活动，带动开展自我品评，带动对班子成员提出品评意见 。
,91成人,小舞穿比基尼被操视频,狂野欧美乱精品A片 。【2024年全国劳模疗休养活动在京启动】
责编：格罗芙
审核：宋玉
责编：达·芬奇
Copyright (C) 2001- dzwww.com. All Rights Reserved
新闻信息效劳允许证 - 音像制品出书允许证 - 广播电视节目制作谋划允许证 - 网络视听允许证 - 网络文化谋划允许证
山东省互联网传媒集团主理 联系电话：0531-85193202 违法不良信息举报电话：0531-85196540
Copyright (C) 2001- Dzwww 鲁ICP备09023866号-1
