首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点 ？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力 ？镸LA做一个全局“筛查”，找出哪些 ？榭梢员凰⑿。
在原来的MLA架构中，每个MLA ？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个 ？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该 ？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能；α值越低就意味着 ？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA ？，也就是后续的优化目的。
随后，将找出的50%低性能 ？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕 ？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《欧美一级A片免费不卡视频》，《Q8X2R7L1T4J5M9B6W3》自拍啪啪啪视频官网
“布兰迪洛夫xxxxxHD3”
无码视频网址
……
01月16日
“手机在线久草”国足战巴林26人名单确定
↓↓↓
01月16日，庆祝中马建交50周年 逾5000人沙巴参加“马中谊跑”，麻豆国产精品无码，女同在线高清视频一区，A片视屏免费观看，你懂的网站在线观看的
01月16日，热带气旋袭击毛里求斯 已致至少1人死亡，激情,com，免费在线看片国产，99久久国产这里只有精品，色影综合区
01月16日，报告：光谷新注册活跃中小企业新兴赛道占比超六成，校花被操，国产成人精品一区二区，成人无码18 在线观看，无码国产精品四五六区
01月16日|上海邮轮市场加速恢复 今年前10个月国际邮轮靠泊198艘次|偷窥精品视频|薛凯琪吃毒肠是第几集|人伦片中文字幕一区|天堂中文在线www天堂在线
01月16日|钢琴家郎朗获聘浙江省第二届反诈宣传形象大使|一级午夜777影院|日本黄页网址|【嶶信11008748】最全合集女神超级骚【小野师妹】黑丝长腿~黑牛自慰~疯狂喷水爽晕了推特福利姬onlyfans主播所有视频资源全部作品.tkh|班长把裤子脱了让我 她
01月16日|香港西九文化区将上演600场活动 含四大旗舰表演艺术节|人摸人人人澡人人超碰97首页|蝰蛇本子|～我们换个地方做...又加了|免费 美女 涂抹动漫……
01月16日，国台办：欢迎台湾同胞来大陆实地感受中华文化魅力 补上在台湾没有上的课，妲己AV，女生脱衣服给男生桶aPP，加勒比无码国产精品一区，永久毛片
01月16日，台湾乐手来牵手 两岸“芗”音共潮生，小男孩把坤坤放在妈妈坤坤，SOLO 馃毇18，久久人搡人人玩人妻精品l，成人免费A片777888
01月16日|七三一部队细菌战罪行新证对外公开|韩国三级HD中文字幕床震|欧美国产日本日韩在线黄|色亚se|国产婬妇无码无遮挡A片在线观看
01月16日，专门“追”女孩的乐器怎么演奏？这位布依族老人告诉你，日本黄大片一区二区三区，无码就操在线播放，久久手机视频国产，爱爱的视频
01月16日，伊拉克否认遇袭建筑与以情报机构有关，欧美午夜精品一级，66J8综合视频在线观看，被c躁到高潮打开腿爽爽爽，A片www
01月16日，美国俄勒冈州波特兰市中心因芬太尼泛滥进入紧急状态，男武警私秘 男厕自慰，亚洲精品久久久，🌿逼，美女打扑克在线观看免费网站在线看完整免费版
01月16日|外宾参访团山东开启“品酒之旅” 感受百年酒业文化|一级操女人免费观看|欧美va天堂www网在线|欧美熟妇xx|涩漫观看入口
01月16日|台青心系迁台记忆馆建设：“这里有我们的根”|无码视频观看无无|国产91精品一区二区豆麻|色色的网址自拍|一只霸王兽双视角在线观看
01月16日|几内亚发生球迷冲突和球场踩踏事件 已致约50人死亡|欧美 亚洲日韩|日本国产黄色视频|精品1234|国产av二区尤物无码
2023年中国出生人口902万人，刘亦菲连续10年为唐嫣庆生|画框中的二十四节气——大雪|999视频在线观看播放|欧美一级a做片就线看|好色先生视频免费版官方版下载|成人视频免费观看
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
学生减少，缩减班级数不如推进小班化教学
专访徐冰：当代艺术深深扎根于社会现场中
全国公园最多的城市，一天逛一个要三年半｜这座城市有点东西
澳网公开赛正赛首日，白卓璇王欣瑜出局
第五届全球教师教育峰会举行
水利部针对晋陕宁3省区启动洪水防御Ⅳ级应急响应
中新健康丨蓝皮书：“十四五”以来，各地健康指标得到有效提升
【两会30秒】文旅部部长：多项举措解决入境游客支付难
丹麦国王腓特烈十世登基 称愿成为“有凝聚力的明日之君”
川藏青藏公路建成通车70周年｜科学训练、坚守边界 他们是“两路”精神新传人
欧美妓女人兽色情视频
日韩精品视频一区538
激情另类小说
胖熊互吃大丁丁
国产永久免费高清在线网站
久久久一级
欧美亚洲日韩性爱
免费一级毛片黄久久久免费看
鸽子社官方网站
云韵被
闽公网安备 35010302000113号