首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50% ，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招 ，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力 ，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制 ，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M ，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?) ，这导致模子在处置惩罚长文本使命时对显卡要求高 ，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容 ，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级 ，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先 ，给模子里的多头潜在注重力？镸LA做一个全局“筛查” ，找出哪些？榭梢员凰⑿。
在原来的MLA架构中 ，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高 ，说明该？槎钊⒅亓ε趟阍揭 ，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧 ，即便换成更轻量的盘算方法 ，对整体的明确能力影响也不大。
在训练历程中 ，团队冻结模子其他参数 ，只更新α的梯度 ，通过这种专门的校准训练让模子自主学习α值 ，然后按α值从小到大排序 ，找出那些希罕化后不影响性能的MLA？ ，也就是后续的优化目的。
随后 ，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构 ，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细 ，牢靠为1024Token） ，远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨 ，又能把盘算重漂后降到线性级别 ，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑 ，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块” ，单块巨细为128Token。
这样的刷新也不需要重新训练 ，在中期训练阶段就能完成 ，本钱也较量低。
从测试数据来看 ，LoZA的体现也不错 ，主要是“更快”的同时“没变笨”
速率上 ，要是处置惩罚128K上下文 ，解码速率直接比原来快10倍；
256K上下文 ，模子预加载（读文本历程）速率快了50% ，后续解码阶段天生内容时还能省30%的算力 ，相当于同样的硬件 ，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上 ，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时 ，和原版LongCat-Flash持平；处置惩罚长文本使命时 ，体现反而更好。
好比在MRCR测试里 ，反超了同样能处置惩罚1M长文本的Qwen-3模子 ，还更稳固。
接下来 ，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度 ，长文本场景自动增添希罕？樘嵘 ，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《欧美日韩国产丝袜综合首页一区》 ，《Q8X2R7L1T4J5M9B6W3》小黄片视频在线观看
“免费无遮挡 漫画网站下载樱桃”
露水之爱全文免费阅读动漫
……
01月14日
“日韩免费一区二区三级片”如何看待广西民警为救落水者牺牲
↓↓↓
01月14日 ，中塞基建合作创造多个“第一” ，小黄片免费高清无码在线观看 ，陈雅伦与黑人床战3次 ，美女114一级A视频 ，影音先锋免费av网站
01月14日 ，重型无人机“九天”首次亮相珠海航展 超大超能装 ，亚洲理伦视频 ，欧美日韩在线观看2015 ，激情小说图片熟女乱伦 ，l99riav
01月14日 ，从三日达、次日达到当日达、小时达 “双十一”物流时效跑出“加速度” ，先锋5566新地址 ，欧美一级a爱做片天天视频 ，亚洲国产a∨无码中文手机 ，美女被操网页在线观看
01月14日|希望的田野上一派好“丰”光 “智能机械+良机良法”提升秋种质量|黄色视屏免费在线观看|一一级毛片|骇爪穿女仆装|骚B叫。大声点C烂。你的SB
01月14日|最高检：南四湖流域生态环境治理的制胜关键是构建上下游贯通一体的治理体系|国产欧美日韩精品综合|擼擼社免费看黄 视|https://kvx1o066.top/|黄色网站免费观看在线播放
01月14日|名庄荟携手米其林，共启福建美食美酒新体验|苍井空张开腿实干50次|在线永久免费观看网址AV大全|www.色日本|免费人成在线观看网站站……
01月14日 ，闻香识豆：科学如何赋予罗布斯塔咖啡豆新魅力 ，成人 色情美女裸体 ，性啪啪视频 ，99ri精品国产亚洲 ，91精品中文
01月14日 ，福州：视障人士音乐“追光”感染观众 ，亚洲欧美日韩综合精品一区二区 ，avvvv ，国产三级片视频欣赏 ，人人澡人人摸人人插
01月14日|海南建设美丽海湾 扮靓环岛旅游公路沿线风景|黑粗硬大欧美牲交视频在线|姬小满同人视频18 网站.com.www|日女优拳交性爱视频|18禁 禁漫视频
01月14日 ，香港国家安全展览厅正式开幕 推动全民国家安全教育 ，大鸡鸡使劲插骚穴 ，韩国无码成人 电影啊荒 ，美女玩弄奶头 视频 ，免费观看国产网站
01月14日 ，美扩大对俄制裁 俄外交部：将对“敌意行为”做出回应 ，日本免费一级高清婬日本片欧美 ，女警察光腚撒尿 ，美女裸体露双乳黄a免费网站 ，久久免费视频4
01月14日 ，一季度云南风力、太阳能等发电量增幅明显 有效弥补水电下降影响 ，国产嫖娼自拍视频 ，无码视频在线 ，91自拍刺激 ，久久精品国产99国产精20I9
01月14日|卡塔尔促成向人质供药协议 以军在汗尤尼斯发动针对性袭击|久久久国产精品免费A片蜜|欧美大妈重口|黑桃mv在线看免费观看|草久网址
01月14日|重庆开行首条“小巷公交便民健康专线”|国内人妖精品网站|乱美女免费视频|李恩美被操120分钟|好多人干我无码
01月14日|【数字时代劳动者权益维护期待新解法】“有风险无保障”难题有望破解|亚洲美女在干嘛观看全球美女私生活电影及三级片|另类图片 小说 亚洲 欧美激情|精品丰满少妇一区二区三区|九色91POPNY 蝌蚪最新
在没有婚姻的社会长大是什么体验 ，物业私停电梯孕妇未及时送医致流产|能源转型涌“绿”潮 彰显经济发展新动能|99久久精品一级毛片|国产美女晶精一级A片|91免费在线观看|星见雅本子
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
雷士照明点亮三亚体育中心，助力少数民族运动会圆满举办
四协会联合倡议：住宿业减少一次性塑料用品使用
舞蹈诗剧《只此青绿》12月底将赴美首演 向世界讲好中国故事
美滞留空间站宇航员将于明年二月改乘“龙”飞船返回地球
找个好保姆只能靠运气？数字化赋能甘肃家政“优中选优”
第八届“啄木鸟杯”中国文艺评论推优发布典礼举行
日本启动“排污入海”满一年 超6万吨核污染水入海引担忧
中国驻美大使谢锋：欢迎大家来趟“说走就走”的中国行
（文化新纪行）文物数字资源版权存争议 敦煌模式探新路
最高检：南四湖流域生态环境治理的制胜关键是构建上下游贯通一体的治理体系
精选国产污网站免费观看
冲田杏梨 mi mi mi hmv
惩罚校花扒开 打屁股漫画
欧美日韩视频一区二区三区在线播放
坤坤戳桃桃
chinese农村小姑娘操逼视频
日本女人日屄插阴道久久视屏高清板中文版
巨乳 扒衣 扒开腿狂揉视频动漫9|
永久综合
一级香蕉视频
闽公网安备 35010302000113号