首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《GOGO大胆亚洲国模人体》，《Q8X2R7L1T4J5M9B6W3》国产男人天堂
“一千部免费av”
18岁禁止视频网站
……
01月14日
“啊好大好爽软件”云南昆明发现人贩子窝点?谣言
↓↓↓
01月14日，唐睿宗李旦孙媳妇墓出土罕见的完整石椁，www.欧美 视频，女孩被玩到失禁颤抖求饶，国产永久免费视频，ccv噜噜
01月14日，加固堤坝、电力抢修 各地严阵以待应对持续暴雨，在线观看你懂的国产精品，荷兰肛交在线播放，美女视频黄频a美女大全软件，免费日本男AA
01月14日，李强结束出访回到北京，人人人人摸人人干，色天堂APP，91国自产拍精品换脸，国产一区二区三区不卡
01月14日|广西壮族自治区人大常委会原党组副书记、副主任张秀隆严重违纪违法被开除党籍|娜美隐私秘 黄www网站|香港三级午夜理伦三级三|亚洲免费综合色视频|91中文字幕永久在线看
01月14日|做好民生一件事 | 跨界创新“+养老” 守护幸福“夕阳红”|欧美孕妇变态喷水|乱黄色视频|91夜夜揉人人捏人人添红杏|www九色
01月14日|“新思想·新文化·新史学：新时代中国史学学术前沿”专家创新大讲堂举办|高清 码 在线观看|五月天自拍视频|亚州综合欧美A片视频|日本一本到精品综合视频……
01月14日，外媒：数百名伊拉克民兵已进入叙利亚，巴巴塔3d同人动画在哪找，a级操逼视频，美国无码在线，杨幂被高潮了在线播放
01月14日，“宋四家”真迹首次故宫外共同展出，香蕉视频一级看，欧乱色精品免费视频，无尽 裸体 扶她 爆乳视频，国产性爱香焦视频
01月14日|冷空气来袭 天津迎2024年首轮降雪|4455vw永久在线|高清码 免费照片动漫|你懂得精品在线|精品无码AV第二页
01月14日，迄今最高能效量子点太阳能电池面世，レストラント排泄大便，蝴蝶忍被c，可靠个第二区在线6区，女人扒开腿让男人桶爽
01月14日，内蒙古通辽：冰雪覆盖林场 宛如童话世界，国产很爽的超薄丝袜脚交视频，狼人宝岛百度一下，国产A级性婬免费，人人干免费色
01月14日，藏书家袁立章：古籍何以“照”今人？，黄色网址免费看的久久，欧美日韩色色色，美女口爆吞精视频，《昌年贞德》免费观看
01月14日|美国计划制裁以军一部队？以色列总理：反对！|欧美一级A片长视频免费放|琪琪电影网午夜理论|嗉媦ouzzyu|日韩国产福利片无码
01月14日|陈芋汐现身上海与台青交流互动 台青：她好厉害！大陆之行宾至如归|名优之家|大雷的宝藏库免费观看视频在线看|日产b站免mv看的|在线区精品
01月14日|历史名城写体育新篇，2024北京体育产业招商推介会举办|中文字幕黄色嫩草影院|www.一级com看片|www.色色色黄|xxxx18app下载
Shrink～精神专科弱井医生～，TES战胜OMG|加拿大法语区最大城市蒙特利尔龙年新春节庆氛围升温|精品国产亚洲福久久|91免费精品视频|精品91视频|国产免费观看黄AⅤ片久久
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
【东西问】白先勇：青春版《牡丹亭》何以青春？
严重暴力犯罪案件数量连续7年下降
广西宰相故里豆腐乳：从小罐自食到畅销中外
近看外交 | “金砖+” 创造“全球南方”美好未来
焦点访谈丨起底“开盒挂人” 整治新式网暴
湖北发布低温雨雪冰冻黄色预警
嘉华集团创办人兼主席吕志和丧礼在香港举行
（寻味中华｜侨乡）在梅家大院探寻台山侨圩今昔
海南2023年多项经济指标增速名列全国前茅
国家主席习近平任免驻外大使
av黄色在线观看免费
卢昱晓被❌到喷水18禁视频
精品欧美精品视频在线观看
做爱抚摸插入蛇吻视频
王雨纯孔头
人人操操人人精品网站
国产成人精品AA毛片
性一交一乱一伦一视频一二三区
AA无码免费视频
成人精品H无码 调教
闽公网安备 35010302000113号