首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《卡通动漫3D激情第一页》，《Q8X2R7L1T4J5M9B6W3》国产黄色导航
“早泄的调理小绝招”
欧美精品在线视屏
……
01月21日
“国产精品久久久久精品夜”樊振东年度精彩球
↓↓↓
01月21日，埃及总统塞西会见王毅，日本色色资源，亚洲色情久久久久爽，国产一线黄色精彩视频，色噜噜狠狠狠狠色综合久一
01月21日，中越边民欢歌载舞共庆边关“春龙节”，梅花十三本子，国产91av天堂，什么网站可以看有色视频，黄片视频欧美大全
01月21日，成都国际班列中越（成都-越南）冷链班列首发，性爱AV网站在线，欧美另类一区a，无码高清不卡，抖阴POg
01月21日|马克龙：无论法国议会选举结果如何，都不会辞职|1024视频永久免费|超碰黄色网站99|小樱让鸣人吃大雷怎么办|男女被 到爽 流水电影
01月21日|第27届中国（海南）国际热带农产品冬季交易会在海口开幕|小黄片在线播放不卡av|欧美一级特大黄AA片免费|成人午夜激情视频|91丨九色丨同事
01月21日|香港特区政府发表有关在金融市场负责任地应用人工智能政策宣言|男女最猛烈XX00动态图|黑人操女人屁眼|中文字幕不卡在线观看|学生XXXX19……
01月21日，人民领袖｜做青年友，国产99热在线，青春草在线视频精品资源网，国产热妇BBBBBAAAA，欧美小罗莉69式XXXⅩ
01月21日，世界百位摄影大师赴约山东 以摄影为“媒”增进文化交流，97久久国产亚洲精品超碰只有精品，午夜理论片最新电影网，熊猫 电影，欧美性电影网
01月21日|最高人民法院举行2024年国家宪法日公众开放日活动|久久久久精品无码AⅤ|钢钢钢钢钢钢好多水污|热岛午夜|欧美国产三级天天
01月21日，解读汪曾祺：自带“弹幕”的作家，日日夜夜操激情av，特黄色大片，美女禁a，可爆衣可乳摇可用鸡巴插入
01月21日，四川省教育厅：严格确保学生体育活动时间，热人人精品免费,japanesehdtvxxxx,japanesehdtvxxxx,18禁黄网站网址免费，百媚异航，欧美老熟女黄片，四川丰满肥嫩肥BBBBB
01月21日，广西柳州：“龙头花”盛放 民众沉浸粉色“海洋”，大又大粗又爽又黄的视频免费，男人插女人逼视频黄色大片，久久久久久博精品视频，国产在线秘 麻豆精品观看照片
01月21日|中国赴黎维和医疗分队与友军联合开展伤员救治演练|色色一区二区日韩无码|www中文字幕視頻|xxxx性欧美|人人爽人人
01月21日|“辞”与“被辞”如何依法维权|性插视频久久|久久黄网站|免费的国产天美的的黄片|人妻自拍申请论坛
01月21日|四川甘孜州雅江县发生3.4级地震 震源深度10千米|久久精品国产99精品国产72|GOGO大胆人体视频|黄页免费视频在线观看无码|国产又粗又大
国产手机冲高端都成了吗，广州暴雨|（巴黎奥运）体操女子自由操：巴西选手安德拉德摘金|国产高清舔逼视频|黄色视频网址导航|三级片国产视频网站|91精品一区在线观看
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
“东盟-中国人文交流年”国际漫画大赛颁奖典礼在雅加达举行
中国驻美大使谢锋：我们必须同舟共济，绝不能同舟共“挤”
中新健康丨推动上海社区康复服务高质量发展，“台湾经验”如何借鉴？
（新春走基层）RCEP红利持续释放 山东企业“乘东风”加快产品“出海”
卫星视角看中国｜循着总书记关切，看西部陆海新通道建设新貌
（文化中国行）流动的“史诗” 扬州中国大运河博物馆讲述千年历史文化
涉及电动汽车、儿童用品等领域 一批重要国家标准发布
“金砖政策讲堂”首次线上线下同步联动
浙江舟山码头大宗商品抵川渝“提速”
泰国着力将芭堤雅打造成电影产业中心
一级做a爱片特黄在线观看免费看
一本久久综合亚洲鲁鲁五月天
欧美午夜AV免费看
www.whkaixin.com
韩国GayfackXXXⅩGay2
色视4secom
黄色的免费
美女裸体18禁 游戏模拟器
cao美女视频
98人人操人人舔人人爽人人操一下
闽公网安备 35010302000113号