首页
下载APP
首页
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
256K文本预加载提速超50%，还解锁了1M上下文窗口。
美团龙猫LongCat系列新年出招，宣布全新希罕注重力机制LoZA（LongCat ZigZag Attention）
新手艺集中火力，重点解决长文本使命的明确、算力难题。
相比于LongCat系列之前的全注重力MLA机制，LoZA只改了一半的焦点？。
但模子长文本能力从256K扩展到1M，解码速率还快了不少。
甚至比同类型的Qwen-3模子体现还要好。
接下来看详细计划。
怎样做到 “只算要害部分” ？
全注重力机制的算力瓶颈在于平方级的盘算重漂后O (L?)，这导致模子在处置惩罚长文本使命时对显卡要求高，还会泛起推理延迟问题。
LoZA的焦点思绪是专注于处置惩罚主要的内容，不主要的部分少花实力。
作为LongCat系列的焦点手艺升级，LoZA主要是在原来的MLA机制上做刷新。
详细分两步。
首先，给模子里的多头潜在注重力？镸LA做一个全局“筛查”，找出哪些？榭梢员凰⑿。
在原来的MLA架构中，每个MLA？槎际谴χ贸头Ｗ⒅亓Φ慕沟愕ノ，现在的新计划是给每个？榕湟桓隹裳叭ㄖ卅。
α值越高，说明该？槎钊⒅亓ε趟阍揭，一旦简化就容易丢性能 ；α值越低就意味着？榈目商婊恍郧，即便换成更轻量的盘算方法，对整体的明确能力影响也不大。
在训练历程中，团队冻结模子其他参数，只更新α的梯度，通过这种专门的校准训练让模子自主学习α值，然后按α值从小到大排序，找出那些希罕化后不影响性能的MLA？，也就是后续的优化目的。
随后，将找出的50%低性能？榛怀筛嵊牧魇较：弊⒅亓SA
这样就形成了一种交织结构，团队将这种结构称为ZigZag
SSA的盘算重漂后是线性的O (L·S)（S为希罕窗口巨细，牢靠为1024Token），远低于全注重力的O (L?)。
以是这种交织结构让模子既不会由于太过简化而变笨，又能把盘算重漂后降到线性级别，省不少算力。
为了让模子在关注局部细节的基础上不忽略整体逻辑，LoZA还设计了一个1024Token希罕窗口
每个窗口里有1个认真抓整体关联的“全局块”和7个认真盯周围内容的“局部块”，单块巨细为128Token。
这样的刷新也不需要重新训练，在中期训练阶段就能完成，本钱也较量低。
从测试数据来看，LoZA的体现也不错，主要是“更快”的同时“没变笨”
速率上，要是处置惩罚128K上下文，解码速率直接比原来快10倍 ；
256K上下文，模子预加载（读文本历程）速率快了50%，后续解码阶段天生内容时还能省30%的算力，相当于同样的硬件，现在能同时处置惩罚两倍多的长文本使命。
这也让LongCat-Flash-Exp解锁了1M上下文窗口。
性能上，LoZA也没由于简化而缩水。
处置惩罚回覆问题、写代码这类一样平常使命时，和原版LongCat-Flash持平 ；处置惩罚长文本使命时，体现反而更好。
好比在MRCR测试里，反超了同样能处置惩罚1M长文本的Qwen-3模子，还更稳固。
接下来，团队还妄想让LoZA支持动态希罕比例
随笔本场景自动多用全注重力包管精度，长文本场景自动增添希罕？樘嵘，甚至适配多模态模子处置惩罚长视频、长图文内容。
好一个新年新气象！
论文地点：https://www.alphaxiv.org/abs/2512.23966
— 完 —
《淫荡人妖人人看人人摸人人操》，《Q8X2R7L1T4J5M9B6W3》真人性交黄色视频
“色综合影库”
京东传媒影业隐藏入口
……
01月13日
“免费的黄色a片吞精视频”谢震业疑退出200米强项
↓↓↓
01月13日，2024年考证时间表来了，你准备考哪个？，把腿张开让我舔，日韩亚洲欧美一区二区不卡，欧美一级AA大片免费看视频人，玖玖玖精品视频在线观看靠爱
01月13日，台风“康妮”携风浪袭福建 部分海域渔船到港避风，国产在线3级91，能直接看片的黄色网站，3WWW日本视频，aqdybp社保片地址是多少
01月13日，云南普洱“单腿夫妻”自强创业助残扶弱，妙龄少女最新官网，91在线午夜福利精品，AⅤ资源网影音先锋，宾馆嫖妓普通话对白视频在线
01月13日|国家级非遗咏春拳：智慧武学打通中外 哲学意境耐深思|Aaa级黄色录象片|高清 亚洲 海量 一区|裸体美女写真|538在线观看视频
01月13日|11月广州一手住宅网签超90万平方米 市场热度持续|晚上网站h欧美|福瑞瑟瑟|欧美一级午夜做片性视频|岛国动作爱情片在线观看
01月13日|国际货币基金组织批准再向阿根廷提供47亿美元贷款|亚洲黄色视频特级黄色|黄色的网站免费观看视频在线|美国一区二区三区免费高清毛片|mm131小仙女紧身白丝……
01月13日，国内首座污水资源化工程获“詹天佑奖” 每年生态补水2.4亿吨，色在线看黄片，爆操国产人妖，A片免费看一区二区三区免费网，男人搞母犬多久会想老婆
01月13日，无锡梁溪邀海内外百余名青年设计师打卡“老城厢”，亚洲网在线免费视频，日本暴力强奸视屏91，久久福利亚洲，手机黄色视频不卡毛片
01月13日|2024五一档电影市场洞察报告：15.27亿元票房收官|99国际精品在线视频|10pao免费在线视频|xnxnxnxn|岛国爱情动作网站
01月13日，一线调研丨山东青岛奋力打造现代海洋经济发展高地，wwwaaa黄色网站，1区无码视频，欧美黄片视频mfgk，免费又色又爽又黄淫
01月13日，新疆电商步入快车道 直播成为“新农事”，wwwwwwwwww欧洲在线观看免费版在线看，免费黄色网站视频在线观看，资源你懂的，亚洲天堂自拍偷拍
01月13日，呼伦贝尔雪原中藏着哈利·波特的“海德薇”，柏木舞子在线观看高清，欧美午夜乱色视频在线观看，性一交一口一乱色情，在线观看国产小视频
01月13日|中国正能量｜薪火相传，弦歌不辍|同桌被我调成母狗|明星女友的杰奥抖音风|日日舔夜夜操|免费男女夜夜爽爽爽视频网站
01月13日|北交所920代码号段22日启用 上市“身份证”凸显差异化市场价值|免费91AV视频网站|曰批全过程免费视视频观看|最新国产女精品视频|一级做α爱片性色毛片
01月13日|上海海港新帅穆斯卡特：我是个喜欢赢的人|国产强奸av片|26uuu欧美一区|www.235在线免费|人妻系列无码专区点击进入
塞尔维亚街头现巨幅五星红旗，习近平开始对法国进行国事访问|巴基斯坦留学生剑诗：在张家口大境门感受民族交融|免费 无码进口真人无下载|直接看的黄视频|在线A∨免费视频大全|MY5519路coon
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
哥伦比亚宣布全国进入自然灾害状态
塞尔维亚泽蒙-博尔察大桥被称为“中国桥”
十四届全国人大二次会议举行闭幕会 习近平等党和国家领导人出席
李家超称过去18个月香港吸引4.7万持外国护照人才
杭州计划三年实施32个大运河保护传承利用相关项目
行走田野间，考古北京城 | 文化中国行
屈臣氏这“小样”被罚了15万！
2024年三亚国际游艇展开幕
无锡梁溪邀海内外百余名青年设计师打卡“老城厢”
日照边检站全流程高效保障“一带一路”航运重器
国产不卡在线
人妻 的搜索结果 - 91n
91cos
人马杂配mv的小说
▌娜娜▌羞辱榨精寸止挑战
免费人人操人人爽
欧美风月片在线视频
在线观看免费视频黄片
亚洲区四区
欧美性啪啪中文字幕欲求不满人妻
闽公网安备 35010302000113号