首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口 。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题 。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？ 。
但模子长文本能力从256K扩展到1M，解码速率还快了不少 。
甚至比同类型的Qwen-3模子体现还要好 。
接下来看详细计划 。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题 。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力 。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新 。
详细分两步 。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿ 。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅 。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大 。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的 。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?) 。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力 。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token 。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低 。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命 。
这也让LongCat-Flash-Exp解锁了1M上下文窗口 。
性能上，LoZA也没由于简化而缩水 。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好 。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固 。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容 。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《美女裸体无遮挡免费视频》，《Q8X2R7L1T4J5M9B6W3》妓女视频网
“露脸超嫩97后沙发白浆”
少萝自慰喷浆
……
01月14日
“ytsex_7.0.4_30981083.apk”北京人在纽约
↓↓↓
01月14日，时政微观察丨从四次座谈会读懂“一张蓝图绘到底”，99精品国产一区二区，爆内射hd，91自拍老女人在线看，把腿张开让我舔
01月14日，大熊猫卖萌憨态可掬，在线第页，女人被黑人灌满精子，国产精品黑丝，黄色视频,激情小说,在线视频
01月14日，中国地质调查局公布多项勘探成果和工程进展，欧美一级a片视频看看黄色网站，人摸人人人澡人人超碰二人观看，色哟综合啪啪，欧洲在线观看视频精品
01月14日|内蒙古首次大规模发现战国时期围沟墓|森泽佳奈电影|XXXHDTubesex-Freesex|被壮汉抱着抬腿边C边尿动漫|高清无码三级片国产传媒
01月14日|意大利检方开始调查林奇游艇沉没案|古代一级婬片A片AAA毛片|一级黄片免费观看视频在线观看|九色91popny丨熟女|亚洲国产精品小说久久久
01月14日|总重约25吨！天津海关首次查获走私阿胶|日本公妇在线观看天天看视频|欧美视频在线精品96|亚洲一级一级A片在线观看|欧美AAAA在线视频免费观看……
01月14日，多所高校提出使用AI的多个“禁止” 学术论文使用AI边界在哪儿？，欧美不卡黄片，女生裸体视频软件，18岁能看黄色网站，一级黄色网占久久
01月14日，受暴雨等天气影响 全国公路这些路段出行请注意，毛片精品视频一区二区三区，娼年贞德，av黄片毛片日韩，g馃敒馃尶
01月14日|中银香港指港股受外围因素影响 调整幅度相对较小|谁有免费黄色网站直接看的|66yese|黄瓜视频18 免费观看 在线看|91亚洲精品福利视频
01月14日，多举措激发冰雪经济活力 产业规模明年有望突破万亿元，久久人妻无码专区精品碰碰，18 免费观看网站，japanesegirls18，黄色一p区二码高清
01月14日，西安铁路局开行“冰雪艺术节”主题旅游专列，人人搞人人看，黄片大全在线观看，性爱欧美视频，欧美成黄
01月14日，“十四冬”单板滑雪平行大回转青年组男子比赛落幕 内蒙古队彭玥熙夺冠，歐美性爱特黄，AV天堂无码一区二区三区，久久人妻无码岛国人妻，欧美A片视频在线
01月14日|湖南东安加速特色农产品产业化 激活乡村振兴“新动能”|jsgame星穹茵道下载地址|欧美精品人与动牲物交免费观看|av在线口|中国国产一级毛片18AA
01月14日|加拿大政府宣布大幅削减国际留学生招生名额|日本草草视频在线观看|国产欧美日韩A片免费可播视频|巴巴塔被焯出白水怎么办|国产在线一区观看
01月14日|2023年安徽制造业、高技术产业实际使用外资占比均超四成|18岁以下禁止观看的黄视频|国产视频自拍|男人的天堂黄色网站|av地址一
漂浮于太空的教室，美军派3艘航母奔赴中国周边|王者荣耀2024赛季揭幕 选手、战队、赛制齐应“新”元素|妙龄少永久免费网站|黄色免费一区二区三区|被姐姐用各种姿势c到百合在线观看|91免费看三级片
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
冰岛火山喷发 形成熔岩喷泉
水往高处流！宁夏红寺堡扬黄工程将荒漠变良田
春节上榜！世界“非遗”总数第一，中国是怎么做到的？
中新健康丨滑雪的尽头是骨科？专家提示不随意增加难度
沉浸式体验潮剧助推非遗传承
截至3月底，全国累计发电装机容量约29.9亿千瓦
一图读懂！新时代党的统一战线工作这样做
全国老字号福州展示展销 国货潮品贺新春
“鲁派”纪录片成为“好客山东 好品山东”国际传播新名片
在宁台青连续4年推广棒球 促大陆青年走上赛场
子林41秒
国产国语对白在线
激情小说视频图片网站上
毛片精品系列在线
大
中日韩无码
国内99精品激情视频精品
野狼社区在线视频
中国一级特黄毛片大片久久
性爱免费视频网址
闽公网安备 35010302000113号