首页
这项由复旦大学和快手科技联合完成的研究揭晓于2026年的《Under Review》期刊,研究团队提出了一个名为RecGOAT的突破性推荐系统框架。有兴趣深入相识的读者可以通过论文编号arXiv:2602.00682盘问完整论文。
当我们在网上购物时,推荐系统就像一位知心的购物助手,会凭证我们的浏览纪录和购置历史向我们推荐可能感兴趣的商品。然而,现在的推荐系统面临着一个重大的挑战,就犹如一位翻译官试图在两种完全差别的语言之间举行交流一样难题。
一方面,大语言模子和视觉模子拥有富厚的天下知识,能够深刻明确商品的文字形貌和图像内容,就像一位博学的学者能够准确明确每件商品的特征和价值。另一方面,古板推荐系统依赖的是用户行为数据,好比点击、购置等纪录,这些数据更像是一串串笼统的数字密码。
问题在于,这两套"语言系统"之间保存着严重的语义鸿沟。大模子看到的是商品的富厚语义信息,而推荐系统处置惩罚的却是简朴的用户ID和商品ID编码。这就好比一个醒目文学的诗人和一个只会数学公式的工程师试图相助写一本书,他们各自的专长无法有用连系。
研究团队通过实验发明了一个令人震惊的征象:当直接将大模子的语义体现与古板推荐系统的ID特征融适时,推荐效果不但没有提升,反而泛起了显著下降。在婴儿用品数据集上,这种简朴融合导致推荐准确率下降了约30%。这个发明证实晰语义冲突问题的严重性。
为相识决这个根天性问题,研究团队开发了RecGOAT框架,这个名字泉源于"Graph Optimal Adaptive Transport"(图最优自顺应传输)。这套系统的焦点头脑是建设一座精巧的"语义桥梁",让大模子的天下知识与推荐系统的行为数据能够真正融合。
一、构建智能图谱:让商品和用户建设深层联系
RecGOAT的第一步是为每种模态构建专门的图网络,这个历程就像为差别类型的信息建设专属的社交网络。
关于商品信息,研究团队使用了最先进的大模子来明确内容。他们选用Qwen3-Embedding-8B模子来处置惩罚商品的文字形貌,这个模子能够深刻明确商品问题、品牌、种别和详细形貌中的语义信息。同时,他们使用LLaVA-1.5-7B视觉模子来剖析商品图片,提取视觉特征。这个历程就像让一位文学专家和一位艺术鉴赏家划分从文字和图像角度来明确每件商品。
接下来,系统会凭证商品之间的语义相似性构建商品关联图谱。详细来说,关于每件商品,系统会找到与它最相似的K个商品,然后在它们之间建设毗连。这就像在商品天下中绘制一张关系网,相似的商品会被毗连起来,形成一个个商品社群。
关于用户建模,RecGOAT接纳了一种立异的要领。古板推荐系统通常只能给用户分派一个随机的ID编号,就像给每小我私家发一张只有编号的身份证,无法反应用户的真实特征和偏好。RecGOAT则使用QwQ-32B大模子来剖析用户的历史行为,天生个性化的用户偏好形貌。
系统会为每个用户建设一个详细的行为剖析提醒,包括用户的历史互动纪录和响应商品的详细信息。然后让大模子饰演专业数据剖析师的角色,通过结构化推理来识别用户行为中的配合属性,并总结用户在多个维度上的偏好特征。这个历程就像让一位心理学专家通过视察用户的购置历史来剖析其性格特征和喜欢倾向。
天生用户偏好形貌后,系统会将这些文字形貌转换为向量体现,然后构建用户之间的相似性图谱。这样,具有相似偏好的用户会在图谱中形成社群,系统可以通过用户间的关系来更好地明确和展望用户行为。
在处置惩罚用户-商品交互图谱时,RecGOAT接纳了轻量级的LightGCN架构。这个图网络会通过多层信息撒播来学习用户和商品的协同过滤体现。系统还会思量显式的评分信息,将用户的评分作为注重力系数来调理信息撒播的强度。
二、双层语义对齐:消除大模子与推荐系统的代沟
解决语义冲突的焦点在于RecGOAT独创的双粒度语义对齐框架,这套要领就像同时举行微观和宏观两个层面的翻译事情。
在微观层面,RecGOAT接纳跨模态比照学习来实现实例级对齐。这个历程类似于语言学习中的单词比照训练。关于每件商品,系统会形成多个模态对:ID体现与文本体现、ID体现与视觉体现、文本体现与视觉体现。系统的目的是让统一商品在差别模态下的体现尽可能相似,而差别商品的体现尽可能差别。
详细来说,系统使用InfoNCE损失函数来优化这个比照学习历程。当处置惩罚一个正样本对(统一商品的两种体现)时,系统会盘算它们之间的相似度,并与批次内其他负样本对(差别商品的体现)举行比照。通过这种比照学习,系统能够学到具有判别性的跨模态体现,确保差别模态对统一商品的明确坚持一致。
在宏观层面,RecGOAT引入了基于最优传输理论的漫衍级对齐要领,这是该研究最具立异性的孝顺之一。这个要领的焦点头脑是将语义对齐问题转化为一个运输问题:怎样以最小的价钱将大模子的语义漫衍"运输"到推荐系统的ID漫衍空间中。
最优传输理论就像物流配送的数学表达。假设有两个客栈,一个存储大模子提取的语义特征,另一个存储推荐系统的ID特征。最优传输算法要解决的问题是:怎样设计运输计划,以最小的总本钱将第一个客栈的货物运送到第二个客栈,使得两个客栈的漫衍抵达一致。
在数学层面,系统首先盘算语义模态漫衍与ID漫衍之间的本钱矩阵。这个本钱反应了差别特征之间的语义差别水平。然后,系统使用Sinkhorn-Knopp算法高效求解最优传输计划,获得一个传输矩阵,形貌了怎样将每个语义特征映射到ID空间中。
为了让这个几何驱动的传输历程能够顺应详细的推荐使命,RecGOAT引入了自顺应传输机制。系统在基础传输矩阵的基础上增添了可学习的残差矩阵,使得传输历程能够凭证下游推荐使命的需求举行微调。最终的自顺应传输矩阵即是基础传输矩阵加上残差矩阵。
通过这种自顺应传输,每个大模子增强的模态特征都会被传输到ID嵌入空间中,获得语义对齐的体现。这个历程有用缓解了差别语义空间之间的漫衍差别,确保了语义一致性。
三、理论包管:为什么RecGOAT能够做到最优融合
RecGOAT不但在实践中体现精彩,研究团队还为其提供了严酷的理论包管,这些理论就像数学定理一样为系统的有用性提供了科学依据。
研究团队提出了两个焦点理论包管:对齐一致性和融合周全性。对齐一致性包管是指,通过双粒度对齐后,任何简单模态的误差与统一体现误差之间的差别都能被有用控制。这个差别的上界由Wasserstein距离和InfoNCE损失配合决议。
换句话说,若是系统在漫衍级对齐(Wasserstein距离)和实例级对齐(InfoNCE损失)上都做得很好,那么差别模态的体现就会具有很强的一致性。这个理论效果证实晰双粒度对齐设计的合理性。
融合周全性包管越发有趣,它证实晰融合后的统一体现的性能上界可以抵达所有简单模态中的最佳性能,再加上对齐误差项。这意味着,通过有用的对齐,多模态融合不但不会损害性能,还能够充分整合各个模态的互补信息,实现逾越任何简单模态的效果。
为了推导这些理论效果,研究团队做出了几个合理的假设。首先,他们假设用户嵌入是牢靠且有界的,这在现实推荐场景中是合理的,由于用户特征通常不会爆发强烈转变。其次,他们假设真实偏好函数具有Lipschitz一连性,这反应了用户偏好的内在平滑性。
基于这些假设,团队证实晰两个要害引理。第一个引理建设了实例级距离与比照学习损失之间的联系,批注通过优化InfoNCE损失,可以有用缩小差别模态体现之间的距离。第二个引理将模态特定误差与统一体现误差联系起来,展示了漫衍级对齐和实例级对齐怎样配合影响最终的融合效果。
这些理论效果不但为RecGOAT的有用性提供了数学证实,也为未来的多模态推荐研究提供了理论指导。研究团队通过严酷的数学剖析,证实晰他们的要领在理论上是最优的,这为该手艺的现实应用提供了强有力的科学支持。
四、实验验证:在真实天下中的卓越体现
为了验证RecGOAT的现实效果,研究团队在三个Amazon果真数据集上举行了周全的实验评估,这些数据集划分涵盖婴儿用品、体育用品和电子产品三个差别领域。
实验设计就像一场公正的竞赛,RecGOAT需要与多个强有力的敌手举行较量。这些敌手包括古板的基于ID的要领(如BPR和LightGCN)、多种多模态推荐要领(如VBPR、FREEDOM、DiffMM、UGT和FindRec),以及最新的基于大模子的推荐要领(如TALLRec、A-LLMRec、UniMP和IRLLRec)。
实验效果令人印象深刻。在所有三个数据集上,RecGOAT都取得了统计显著的最佳性能。以电子产品数据集为例,在Recall@10指标上,RecGOAT抵达了0.0468的得分,比第二名UGT的0.0430提升了8.84%。在NDCG@10指标上,RecGOAT的得分为0.0271,比第二名UGT的0.0254提升了6.69%。
更主要的是,实验展现了几个要害洞察。首先,多模态要领普遍优于古板的基于ID的要领,这证实了多模态信息在缓解数据希罕性方面的价值。然而,基于大模子的要领在没有适当对齐的情形下,通常体现不如古板多模态基线,这突出了语义冲突问题的严重性。
RecGOAT相比其他大模子增强要领的显著优势,主要归功于其独创的漫衍级对齐机制。与IRLLRec相比,RecGOAT使用Wasserstein距离而不是KL散度举行漫衍对齐,这使得系统能够更好地坚持语义结构。KL散度只关注概率密度的比值,而忽略了样本空间的几何结构。举例来说,将特征"红色"对齐为"紫色"与对齐为"室内物品"在KL散度下可能获得相似的处分,但Wasserstein距离会给前者分派更低的本钱,由于它们在语义上更相关。
为了深入明确各个组件的孝顺,研究团队举行了详细的消融实验。他们较量了仅使用ID的基线要领、简朴的多模态融合要领(如毗连和求和),以及RecGOAT的各个组件(仅CMCL、仅OAT和完整的RecGOAT)。
消融实验的效果很是有启发性。简朴的多模态融合要领(毗连或求和)经常爆发比仅使用ID要领更差的效果,这再次证实了语义冲突的保存。在RecGOAT的两个主要组件中,最优自顺应传输(OAT)的孝顺通常大于跨模态比照学习(CMCL),这突出了漫衍级对齐的要害主要性。然而,两个组件的有机连系爆发了最佳效果,批注它们是互补的而不是竞争的。
五、对齐效果的可视化验证
为了直观地验证理论剖析的准确性,研究团队设计了巧妙的可视化实验来展示对齐一致性和融合周全性。
对齐一致性的验证接纳了三角热力争的方法,展示了在差别模态权重组合下的推荐性能。实验效果显示,无论怎样调解文本、视觉和ID模态的权重组合,系统的性能都坚持在一个相对稳固的规模内,性能差别不凌驾5%。这种稳固性批注,经由对齐处置惩罚的差别模态体现具有很强的一致性,它们对最终推荐效果的孝顺是可靠和可展望的。
融合周全性的验证则通过较量简单模态体现与融合体现的性能来实现。实验效果清晰地显示,融合后的统一体现在所有评估指标上都逾越了任何简单的对齐模态体现。这个效果与理论剖析完全一致,证实晰通过有用对齐,多模态融合能够充分整合各个模态的互补信息,实现1+1>2的效果。
特殊值得注重的是,纵然是体现最好的简单模态(通常是ID模态),其性能也显着低于融合体现。这批注文本和视觉模态在经由适当对齐后,确实为推荐系统提供了有价值的增补信息,而不但仅是噪声。
六、工业级应用的可行性
虽然论文中由于公司审核要求没有详细披露在线实验的效果,但研究团队在大规模在线广告平台上安排了RecGOAT,这证实晰该要领的工业级可扩展性和适用性。
从手艺架构角度来看,RecGOAT的设计充分思量了工业应用的需求。系统接纳磷七效的Sinkhorn-Knopp算法来求解最优传输问题,该算法具有线性收敛性子,能够在大规模数据上快速运行。同时,自顺应传输矩阵的引入使得系统能够在坚持通用性的同时,针对特定使命举行优化。
在现实安排中,RecGOAT的?榛杓剖沟盟梢晕扌暗赜胂钟型萍鱿低臣。图网络?榭梢允褂孟钟械挠没-商品交互数据,而大模子增强?榭梢曰谙钟械纳唐纺谌菪畔⒕傩泄菇。双粒度对齐?樵蜃魑黄渲行牟,可以插入到现有的推荐管道中。
从盘算效率角度来看,RecGOAT的在线推理阶段主要涉及向量查找和简朴的线性变换,盘算重漂后较低。大模子的推理主要在离线特征提取阶段举行,不会影响在线效劳的响应速率。这种设计使得RecGOAT能够在坚持高精度的同时,知足工业级推荐系统对延迟的严酷要求。
说究竟,RecGOAT代表了推荐辖档挽域的一个主要里程碑。它不但解决了大模子与古板推荐系统融合中的焦点手艺难题,还为这一融合提供了坚实的理论基础。这项研究就像为两个差别文化的社群建设了一座结实的桥梁,让它们能够真正实现深度相助。
从现实应用的角度来看,RecGOAT的意义远凌驾了手艺自己。随着大模子手艺的快速生长,怎样将这些强盛的语义明确能力有用整合到现有的推荐系统中,已经成为整个行业面临的配合挑战。RecGOAT提供的双粒度对齐框架为解决这一挑战提供了一个通用的、理论驱动的解决计划。
更主要的是,这项研究开启了多模态推荐系统的新纪元。通过有用融合大模子的天下知识与推荐系统的行为数据,未来的推荐系统将能够更深入地明确用户的真实需求和偏好,提供越发精准、个性化的推荐效劳。这不但会改善用户的购物体验,也会为电商平台带来更高的转化率和用户知足度。
关于研究社区来说,RecGOAT的理论孝顺同样主要。该研究建设的对齐一致性和融合周全性理论框架,为未来的多模态融合研究提供了主要的理论指导。这些理论洞察不但适用于推荐系统,也可能为其他需要融合多种数据源的机械学习应用提供借鉴。
展望未来,RecGOAT的乐成也体现了人工智能生长的一个主要趋势:差别AI手艺之间的深度融合将成为推下手艺前进的要害动力。正如RecGOAT乐成融合了大模子的语义明确与推荐系统的行为建模,未来我们可能会看到更多这样的跨手艺融合立异,配合推感人工智能手艺向着越发智能、越发适用的偏向生长。
Q&A
Q1:RecGOAT框架主要解决什么问题?
A:RecGOAT主要解决大语言模子与古板推荐系统之间的语义冲突问题。就像让一个醒目文学的诗人和只会数学公式的工程师相助一样难题,大模子明确的是富厚的语义信息,而推荐系统处置惩罚的是简朴的用户ID和商品ID编码,两者直接融合会导致推荐效果下降30%左右。
Q2:双粒度语义对齐是怎样事情的?
A:双粒度对齐包括微观和宏观两个层面。微观层面通过比照学习让统一商品在差别模态下的体现相似,宏观层面使用最优传输理论将大模子的语义漫衍"运输"到推荐系统的ID漫衍空间中,就像设计最优物流计划将两个客栈的货物漫衍调解一致。
Q3:RecGOAT的推荐效果比其他要领好几多?
A:在三个Amazon数据集上,RecGOAT都取得了最佳性能。以电子产品为例,在Recall@10指标上比第二名提升了8.84%,在NDCG@10指标上提升了6.69%。更主要的是,所有提升都具有统计显著性,证实晰要领的可靠性。
《色偷偷88欧美精品久久久》,《Q8X2R7L1T4J5M9B6W3》免费一级毛片播放
“91淫插日爽久久久爽在线观看”
思思热思思热思思热思思热
……
02月08日
“b站18”外甥女花式迎接当兵10年的舅舅退伍
↓↓↓
02月08日,巴斯文化国际交流大会在福州举办 巴斯公益联盟启动,a 精品 网红博,亲嘴还扔衣服的动漫人物,黄色三级操女,3Dmax无尽动漫在线观看
02月08日,桂林迎来2024年第一场雪 瑞雪漫天飞舞,张柏芝扒开两腿实干12次视频,一级A片中文字幕免费视频,偷拍一区二区三区视频,欧美3p
02月08日,曼城险胜纽卡斯尔,小草神被×出白色液体,日本成年人久艹在线,黄片动漫久久久,免费观看A级毛片在线播放
02月08日|水利部迅速安排部署新疆阿克苏乌什县7.1级地震水利抗震救灾工作|www.celebrone.com|国产一区二区丰满熟女|制服丝袜中文字幕91麻豆|永久免费看污网站在线观看
02月08日|专访“天工”团队:当人工智能有了身体后,它能干些啥?|国内自拍视频在线|中文字幕www.|人人操人人操人人人人操人人操人人|免费欧洲毛片A级视频无限量
02月08日|(身边的变化)甘肃环县“菜园风景独好” 空院荒地成“聚宝盆”|美国无码黄片|国产麻豆男女约爱网站|黄片视频一区二区三区|91麻豆国产最新在线观看……
02月08日,新疆7.1级地震致阿合奇县6人受伤 各方力量正有序救援中,色吧小说图片,在线播放一区,91在线国产在线,一级特黄AAAAA片免费观看
02月08日,行李箱中装“异宠” 北京大兴机场海关查获5只活体动物,激情日本黄页,综合性爱,99久久原创国产精品原创AⅤ,欧美BBB桑啪啪外交
02月08日|最高检:2024年前三季度起诉严重暴力犯罪4.4万人|巴巴塔被扒开腿做|免费看美女撒尿秘 !|红面罩黑丝袜少妇太爽了|扒开雏田 狂揉 3DXXXvideo
02月08日,党纪学习教育问答 | 烧香拜佛、算命看风水,党员如果参加算是迷信吗?,网址在线观看你懂的,五月丁香婷婷综合网站,貂蝉去奶罩去内裤,欧美亚洲天堂在线
02月08日,【我们共芳华——党外人士话复兴】王俊谈中国胸腔镜手术早期推广:像“过街老鼠”一样人人喊打 但是哪怕是个门缝我也要过去,97爱好碰,三级片电影资源,99国产污在线观看,麦晓雯被焯出白水
02月08日,习近平向2024世界传统医药大会致贺信,www色婷婷六月在线综合com,亚洲zaixianguankan,A片免费地,国产乱子精品的A片视频
02月08日|台湾七旬书画家用画作记录两岸古迹风貌:两岸一家亲,不可否认|大岛华子近親相姦中出|国产小电影精品无码视频|日本国产一级|小蝌蚪视频3.29下载
02月08日|“安薪北京”冬季专项行动统一 执法日为农民工追发工资超400万元|国产精品区免费视频|欧洲美女一级av|′人人操人人操人人操|18 巴
02月08日|驻美使馆提醒在美中国公民进行“海外公民登记”|另类XXXX欧美老妇Sm|〇Idman骚年老头22|奇领yy6080在线|高清乱码 看片
SNH48成员费沁源发文宣布退团,军人结婚当天三等功喜报送上门|习言道|铸牢中华民族共同体意识,习近平这样强调|人妻免费一区二区三区最新|69堂无码国产精品专区|玖玖玖玖玖无码|free❌❌❌日本videos
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺
湖清水静 赤麻鸭“做客”内蒙古阿左旗
推动高质量发展·权威发布|越南已连续25年成为广西第一大贸易伙伴
(新春走基层)六盘山木版年画:一纸一绘间的中国味儿
日本民众举行抗议 反对排污入海
武铁五天假期共发送旅客455万人次
四大洲顶尖龙舟队竞渡湖南汨罗江
网传河南周口幼儿园一女童遭校车碾轧 当地教体局通报
房地产税收新政密集落地 居民购房信心进一步提振
新疆巴音郭楞州尉犁县发生3.0级地震 震源深度10千米
美图推出6款产品 吴欣鸿:深耕AI应用,让每个人都能享受到AI的价值
欧美日韩精品在线
一级黄色片区
sxx日本
狂暴欧美性爱视频3级国产
日韩三级亚洲三级
欧洲a网
spermatidpro官网
水多多传媒
亚洲日韩高清在线亚洲专区
白鹿扒开内 给男人桶软件

闽公网安备 35010302000113号