首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《欧美理论在线全部免费观看》，《Q8X2R7L1T4J5M9B6W3》精品囯产在热久久婷婷
“女被 c 扒衣服种草”
日韩欧美中在线视频
……
01月15日
“亚洲欧美中文日韩激情”电锯人175话 默剧
↓↓↓
01月15日，哈铁将实行新列车运行图 黑河至北京首次开行图定列车，女人被狂c到高潮视频网站18，看黄色网站点击进入，xxnx中国美女，久久免費黃片
01月15日，北京公积金贷款投放超万亿，美女扒开内裤让男人通爽动态图，4438全国免费视频在线观看，人摸人人人澡人人超碰97首页，亚洲AV无码秘 蜜桃目黑惠
01月15日，河南宝丰：农田抗旱“解渴”，免费🔞成人❌❌❌深夜夜行漫画，刺激欧美性爱，色天堂视频在线，亿同看彩虹小蓝GTV iOS
01月15日|和评理 | 马尼拉应停止侵权挑衅 不要引火烧身玩火自焚|97日韩|精品欧美一区二三|污污污网站免费|欧美特黄色视频
01月15日|湖南初雪从朋友圈“飘”进现实 公园企鹅出门“撒欢”|啪啪啪手机板日本性爱 视频片|亚洲黄片va|亚洲无码A片操逼高潮了啦慢点啊啊啊|国产精品一区二区综合
01月15日|文旅消费热 释放夏日经济新活力|狼色精品人妻在线视频免费|视频区 图片区 小说区|妓女视频一区二区|在线av观看……
01月15日，敦煌壁画修复师李波：每一次“大考”的身体虽苦，但内心丰盈，国产精品亚洲A老牛，国产视频导航在线，色呦呦视频，一区二区免费视频a毛片
01月15日，第十二届全国杂技展演沈阳开幕，香蕉社区id:1120.7126,10.26的来源，亚洲人妻网页，一级特黄牲交大片免费频，毛片A片免费观看
01月15日|海内外客商掘金“世界人工宝石之都”|亚洲三级性爱视频|李倾vk肚脐|一级A片刺激高潮视频在线观看|亚洲国产成人动作电影
01月15日，广州港料至2026年货物吞吐量达7亿吨，丝瓜视频，玩偶姐全集观看免费羞羞答答，大屁股色，我爱搞笑52g.38在线观看
01月15日，2024年中日韩青年峰会在首尔开幕，国产精品自拍三级，毛片免费网址，99tv在线，国产免费A片在线网址
01月15日，上海邮轮市场加速恢复 今年前10个月国际邮轮靠泊198艘次，女人高潮抽搐喷水视频免费看，黄色视频操逼网站，三级A片看片免费高清，17C白丝喷水 自慰小说
01月15日|中国驻多伦多总领馆提醒留学人员注意近期校园示威活动|六月激情五月丁香啪啪中文|老师让我给她射精动漫网站|狠狠色老熟妇|百度搜索欧洲美女与动物乱伦交配视频
01月15日|漫评｜中欧班列：为亚欧大陆繁荣发展开启美好新篇章|婷五月丁香|小樱被入|无内裤sm|少女光溜溜洗澡全过程
01月15日|台风“潭美”在菲律宾致死人数升至90人 逾578万人受灾|国产性行为视频|亚洲 欧美 激情 小说 另类|每天日常更新|黄色在线视频99
余秀华发文回应不喜欢完颜慧德，沙特皇家空军航展签下数十亿美元订单|广西加快构建“粤港澳大湾区—北部湾经济区—东盟”跨境产业链供应链|原神色情动漫|男人的天堂无码在线观看|日本中文字幕电影|窪裂脣排
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
音乐剧《我和我的雷锋》再登台 在当下弘扬“螺丝钉精神”
（澳门回归25周年）澳门工联总会：为澳门职工群众安居乐业竭诚服务
香港楼市交投量连升两个月
国际青年深入贵州黔东南 走“村T” 看苗绣 感受“村超”
江西彭泽：湿地候鸟集结北迁
海缆+陆缆“接力跑” 我国首个百万千瓦级海上光伏项目并网
61名韩国青年友好使者访青 搭建友谊合作桥梁
【澜湄印象】相约火把节 和老挝留学生苏丽娜体验舞家美食文化
中外赛车手长春上演冰雪版“速度与激情”
德总理朔尔茨与乌总统泽连斯基通电话 就乌军事和人道主义局势交流
只久久久久久久久久久
欧美婬片A片在线观看
欧美AAA级啪啪片
国产真人一级a爱做片喷水∴
18禁自拍偷拍
微勃黑料在线阅读
挠女生脚心官网
av在线官网国产
爱情岛论坛 永久入址中国P站
av色8
闽公网安备 35010302000113号