首页
短视频搜索营业是向量检索在工业界最焦点的应用场景之一。然而,目今业界普遍接纳的「自强化」训练范式太过依赖历史点击数据,导致系统陷入信息茧房,难以召回潜在相关的新鲜内容。
针对这一问题,快手搜索团队提出了一套全新的检索数据引擎 CroPS(Cross-Perspective Positive Samples)。该要领通过引入用户换 Query 数据、推荐流数据以及大模子天生的天下知识,多视角富厚了正样本信号,并连系条理化标签分派(HLA)战略和 H-InfoNCE 损失函数,实现了对相关性的细腻化建模。
现在,CroPS 已在快手搜索营业中实现全量安排,效劳亿级用户。实测批注,该计划在具备极强的架构普适性的同时,显著提升了 CTR 与长播率,并有用降低用户换 Query 率,优化用户搜索体验。
本事情相关效果《CroPS: Improving Dense Retrieval with Cross-Perspective Positive Samples in Short-Video Search》已被人工智能顶级聚会 AAAI 2026 Oral 吸收。
论文链接:https://arxiv.org/pdf/2511.15443v1
配景
目今工业界主流的向量检索模子通常接纳比照学习范式举行训练,拉近 Query 与正样本在向量空间中的距离,同时推远与负样本的距离,从而学习内容相关性。
然而,在绝大大都工业系统中,训练数据的正样本高度依赖历史曝光日志中的用户交互行为(如点击),导致「自强化」循环爆发。
详细而言,模子倾向于检索与历史高频点击内容相似的视频,用户受限于展示效果,只能在有限内容中选择和反响,而这些反响又再次作为正样本进入下一轮训练,进一步强化了模子原有的偏好。
这种机制不可阻止地引发了严重的样本误差。一方面,大宗潜在相关但从未获得曝光时机的优质长尾内容,被系统性地扫除在正样本之外,甚至在随机负采样历程中被过失标记为负样本。这种误差使模子的检索视野逐渐狭窄,搜索效果变得守旧且简单。
另一方面,由于缺乏对新颖内容的探索能力,用户的搜索体验逐渐固化,难以在效果中获得惊喜或知足探索性需求。
以往的学术研究多致力于刷新模子结构(如引入交互更重大的 Poly-Encoder)或优化负采样战略(如挖掘难题负样本),从而提升检索性能。虽然这些要领在一定水平上增强了对已知内容的判别能力,但始终在历史曝光数据的界线内打转,无法从基础上缓解正样原泉源简单所带来的 “信息茧房” 效应。
针对这一挑战,快手搜索团队提出了 CroPS 框架,从泉源上突破数据闭环。CroPS 首次在业界引入「跨视角」的正样本信号,重塑了检索模子的训练图景。
要领
多视角正样本增强引擎 CroPS
为了突破数据界线,CroPS 框架构建了一个包括三个维度的正样本增强引擎,划分使用用户换 Query 行为、推荐系统反响以及大语言模子(LLM)的天下知识,来全方位地富厚语义空间。
1. 基于用户换 Query 行为的盘问级增强
在真实的搜索场景中,用户往往难以一次性精准表达意图。当用户输入盘问词 A 却未能找到知足效果时,通;峋傩信涛手毓,输入语义相关但表述差别的盘问词 B。若是用户在盘问词 B 的效果下爆发了深度交互,那么该交互视频在语义上极有可能是盘问词 A 的理想正样本,只管它从未在 A 的效果中获得足够的曝光。
CroPS 敏锐地捕获到了这种「意图一连性」。通太过析用户在短时间窗口内的改写序列,并使用轻量级语义判别器举行过滤,系统能够将改写后获得的乐成点击 “回流” 给原始盘问,使用用户的修正行为来纠正模子的语义误差。
2. 突破搜推壁垒的系统级增强
推荐系统拥有海量用户消耗数据,并且其算法机制自然倾向于发散和探索,因此推荐流中的视频往往具有更富厚的多样性。
CroPS 建设了一套跨系统的信号桥接机制:关于统一个用户,若是他在推荐信息流中深度消耗了某个视频,且该视频在语义上与用户近期的搜索词高度相关,该视频就会被引入作为搜索模子的正样本。
通过这种跨系统的信号融合,搜索模子能够使用推荐系统的探索能力,将用户感兴趣但未自动搜索到的内容纳入召回视野,从而有用缓解简单系统带来的位置误差和曝光误差。
3. 引入大模子的知识级增强
当平台现有的内容库或日志无法笼罩某些长尾、重大盘问时,纯粹依赖内部数据是无解的。为此,CroPS 引入了大语言模子(LLM)作为「虚拟检索器」和「内容天生器」,使用 LLM 蕴含的富厚天下知识天生高质量合成样本。
详细而言,系统接纳单样本提醒(One-shot Prompting)战略,让 LLM 饰演视频内容专家,针对特定盘问天生包括问题、形貌和标签的虚拟视频元数据。将这些合成数据作为正样本,逊Й塔模子,相当于将外部天下的知识与逻辑 “蒸馏” 进检索模子中。
这一要领使得模子在面临「冷门」或「从未见过」的搜索 query 时,仍能够依附语义明确能力找到相关内容,从而彻底突破平台存量数据的限制。
条理化标签分派 (HLA)
HLA 的焦点是解决 CroPS 多源正样本的「可靠性差别」问题。差别泉源的正样本(好比:用户换 Query 后爆发互动的视频、推荐流中的视频)与用户真实需求的契合度各不相同。若是一视同仁举行训练,模子可能难以捉住重点。
因此,HLA 为样天职配「分层标签」,让模子能够识别样本的主要水平,从而学习更细粒度的相关性,更好方单合系统优化目的。
详细来说,HLA 将样本划分为「正样内情关层级」和「负样本层级」,为后续训练提供「细粒度监视信号」,差别类型样本对应牢靠标签,详细如下:
H-InfoNCE 损失函数
古板的语义召回接纳的是 InfoNCE 举行优化,默认「样本只有正 / 负两种标签」,会逐个比照「单个正样本」和「对应的负样本」,无法区分 HLA 里「高标签正样本(如上图 Table 1 的标签 5)」和「低标签正样本(如上图 Table 1 的标签 3)」的条理化差别。
而 H-InfoNCE 在训练时,将「目今样本」与「标签严酷低于它的所有样本」举行比照。这不但突显了高优先级样本的主要性,也使学习目的与 HLA 的层级逻辑完全对齐,实现细粒度的语义区分。例如:
若目今样本是「用户换 Query(标签 5)」,H-InfoNCE 会将其与「标签 ≤4 的所有样本(包括推荐正例、曝光未点击样本、负样本等)」 一起比照,强制模子学习「标签 5 样本与盘问的相似度,必需高于所有低标签样本」。若目今样本是「曝光未点击样本(标签 3)」,则只需比照「标签 ≤2 的样本」。
通过这种方法,模子能够逐步掌握「高标签样本更主要」的排序逻辑。
H-InfoNCE 在这里通过样例标签矩阵、样本 mask 矩阵等获得了高效实现。
实验效果
为了验证这一框架的有用性,团队构建了两类测试集,来权衡模子的召回率 Recall@100:
CT:用户点击测试数据集,即用户点击的视频作为正例;QR:用户换 Query 测试数据集,即用户换 Query 后消耗的视频作为正例。
同时也引入了相关性标注测试数据集,以 NDCG@4 为监测指标,作为模子的相关性表征能力怀抱。
离线实验
论文中主要较量了三类主流要领:
经典要领:BM25(概率排序基线)、NCE(古板比照学习);神经网络要领:DPR(双编码器浓密检索)、ANCE(动态难负样本采样)、ADORE+STAR(NN 模子引入筛选负例);负采样战略:TriSampler(基于样本的空间位置举行的负例采样)、FS-LR(多级别负标签战略)。
在离线实验测试中,CroPS 相较于最强基线 FS-LR 在 CT 数据集上提升 9.5%,在换 Query 测试集 QR 上提升 7.1%。同时 NDCG@4 和 最强基线相当(67.4%->67.0%)
在线实验
在快手搜索的大规模 A/B 测试中,CroPS 带来了全方位的营业增添:
点击率(CTR)显著提升了 0.869%,长播放率(LPR)提升了 0.483%,批注召回的内容不但相关度高,并且内容质量足以吸引用户长时间驻留。用户换 Query 率(RQR)下降了 0.646%,意味着用户「一次搜对」的概率大幅增添,不再需要频仍替换搜索词来找到想要的内容,直接反应了用户搜索体验的质变。
总结与展望
CroPS 证实晰在工业检索系统中,正样本增强是缓解「信息茧房」问题的有用钥匙,能够提升系统上限。通过跨视角引入多样化信号,并连系细腻化优化战略,CroPS 乐成突破了自强化训练的界线。
未来,快手搜索团队将进一步探索 CroPS 与天生式检索(Generative Retrieval)要领的融合,一连挖掘大规模语言模子在搜索全链路中的潜力。
《亚洲多国无码毛片基地》,《Q8X2R7L1T4J5M9B6W3》国产吞精口爆一区二区
“客厅乱插丰满丝袜人妻”
欧美性www
……
01月17日
“手机看片1024精品国产”狐妖小红娘
↓↓↓
01月17日,2024年4月LPR报价出炉:1年期、5年期均维持不变,www.0731888888.com,最猛侏儒牲交ⅩⅩⅩX,高中生含脚趾丨ⅤK,国产精品ⅴ无码大片在线看
01月17日,“五一”假期 福州激光秀闽江畔上演,婷婷色色色色,同人18 禁视频在线看,h肉动漫3d无码,玖玖艹视频这里只有精品
01月17日,看熊猫、写书法、赴家宴 美国青少年石家庄感受待客之道,被 到爽 流软国产小说,色色影院免费,欧美久久精品一级A片,十八岁禁看
01月17日|成都世运会“跟着赛事去旅行”系列活动启动|《羞羞啪啪》成人漫画|91视频国产福利|亚洲aaaaaaa片|免费A级毛片无码A∨男
01月17日|【新闻随笔】传承文化基因 营造良好家风|精品黄色视频在线免费观看|巜车里震动好爽h动漫|欧美成年网|欧美性电影网
01月17日|国台办:“台独”分裂行径和外来干涉动摇不了我们解决台湾问题的决心意志 |免费黄片视频美女国产不卡|视频日韩一区二区|光溜溜女孩视频大全|国产午夜福利在线对白……
01月17日,中国单体转体最大吨位双索面预应力混凝土斜拉桥完成“塔梁共转”,欧美最色网站,国产91午夜,三级片不卡网址,人人澡人人舔
01月17日,2024年黔港青少年交流活动在贵州安顺举行,宵宫爆乳18,18岁精品在线看www,日韩一区二线视频,中国精品黄色视频
01月17日|中新健康丨国际最新研究称有蛇毒治疗抗体或增强蛇毒毒性 提醒关注潜在风险|大炮擦狙狙|一级黄色毛片操逼的视频|黄色片欧美性爱|一级特aa免费毛片高潮
01月17日,联播观察|三场活动,看“一带一路”聚力同行,芙宁娜被 超污本子,爱爱,欧美国产综合另类一区,成年人视频黄色网站
01月17日,陕西聚力提供“不断线”就业服务 助力青年群体就业创业,日本三级片免费在线观看免费在线观看免费在线观看免费在线观看免费在线观看免,精品 在线 亚洲,帅哥把手放火舞胸上,www.zmjzk.com
01月17日,新疆铁路今年首月实现客货运输开门红,吻胸摸腿扒内裤激情视频,欧美5区牲交区,青青免费在线视频,www.ri69com久久
01月17日|加快补齐农村养老服务短板|理论电影网址|欧美激情高潮无遮挡|国精一二产区在线看|一级黄色毛片AAA免费观看
01月17日|冬日限定!大雪节气全国甜品地图出炉 一口甜蜜穿越回童年|国产AVAV骚逼|97大学生情侣酒店自拍亚洲精品|欧美日本国产|精品熟女视频一区二区三区
01月17日|四川康定山洪泥石流318国道受灾段将于8月7日管控放行|小坤坤对小桃流牛奶|色天堂一区在线|色噜噜一级黄色视频|国产在线最新网站
中国女排对阵土耳其,孙颖莎陪练王添艺实力与美貌并存|“尔滨热”能持续到夏天吗?|国产第一区|在线免费观看黄色电影网站|91国在线国内播放在线观看|欧美性爱黑屌
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺
年销超900万辆 中国新能源车何以成为“领跑者”?
建立专家库加强应急科普 青海完善地震灾害防范应对机制
“十四冬”雪上项目比赛 黑龙江队再添1枚金牌
毛里求斯新总理拉姆古兰宣布就职
中方欢迎伊巴关系改善取得积极进展
储蓄国债热度高 财政部回应“一债难求”
2024“一带一路”瓜菜产业发展大会在新疆喀什开幕
丹麦国王腓特烈十世登基 称愿成为“有凝聚力的明日之君”
暑热升级 湖北发布高温红色预警
2023年最终消费支出对中国经济增长贡献率超八成
班长趴下让我 了一节课作
黄色深夜小视频免费在线观看
日韩 欧美 国产综合
欧美AAAA级黄片
干女人的视频网站
又大又粗又长又硬黄毛片
久久精品36亚色熟妇
拔萝卜网站
真人性交一级毛片免费直接观看真人性交一级A片无毒不卡
女榨男精(全)

闽公网安备 35010302000113号