root2024年11月14日发布:两位本科生一作,首次提出「持续学习」+「少样本」知识图谱补全

⭐发布日期:2024年11月14日 | 来源:root

⭐作者:杨增慧 责任编辑:Admin

⭐阅读量:819 评论:4人 转发:7次

【澳门今晚开特马+开奖结果走势图】

【澳彩网站准确资料查询大全】

【澳门今天六开彩正版资料图库】 【新澳精选资料免费提供】 【新奥门天天开奖资料大全】 【2024年新澳门天天彩免费资料】 【2024新奥正版资料】 【澳门六开彩天天免费开奖】 【2024免费资料】 【澳彩全年资料大全】
【新奥资料免费精准2024生肖表】 【2024年澳门最新版本】 【2024年新澳正版资料】 【二四六香港资料期期准一】 【新奥正版全年免费资料】 【澳门二四六天天资料大全2023】 【7777788888新澳门】 【新奥门资料免费资料大全】

【新智元导读】上海大学本科生研发的新框架能有效应对知识图谱补全中的灾难性遗忘和少样本学习难题,提升模型在动态环境和数据稀缺场景下的应用能力。这项研究不仅推动了领域发展,也为实际应用提供了宝贵参考。

知识图谱(Knowledge Graphs)是一种结构化的,用于展示和管理信息,组织现实世界知识的形式。其通常被表达为三元组形式(<头实体,关系,尾实体>)。KGs 为问答系统、推荐系统和搜索引擎等各种实际应用提供了极其重要支持。

然而现有知识图谱的显著不完整性严重限制了其在实际应用中的有效性。

同时,在现实实际应用中,知识图谱中的关系呈现长尾分布,即大多数关系只有少量相关的三元组。这种稀缺导致了模型对于长尾关系的泛化能力不足,从而使得知识图谱补全模型的整体效果较差 (Few-shot Learning) 。

进一步,随着时间的推演,越来越多的新关系被添加到关系集中,并在不同时间点集成到知识图谱中。这意味着模型不仅需要学习当前阶段的知识更需要记住在之前阶段学习过的知识 (Continual Learning) 。

最近,上海大学的本科生李卓风、张灏翔(第一作者以及共同第一作者)在信息检索和数据挖掘领域顶级学术会议CIKM 2024上发表了一篇文章,首次提出了在持续学习 (Continual Learning) 和少样本 (Few-shot) 的场景下对知识图谱进行补全,提供了一套全面且有效的框架来处理这一问题。

论文标题:Learning from Novel Knowledge: Continual Few-shot Knowledge Graph Completion

论文链接:https://dl.acm.org/doi/10.1145/3627673.3679734

代码链接:https://github.com/cfkgc-paper/CFKGC-paper/tree/main

该研究的发表将有助于提高知识图谱补全(KGC)模型在实际应用中的泛化能力,使其能够更好地适应动态环境和数据稀缺的场景,从而推动相关领域的应用发展。

通过提供有效的解决方案,本研究为后续研究奠定了基础,同时也为实际应用提供了重要的参考。

研究背景

目前在持续学习 (Continual Learning) 和少样本 (Few-shot) 的场景下对知识图谱进行补全面临两大挑战:

1. 灾难性遗忘问题,即模型在不断学习新关系时,对之前学到的关系的推理性能下降。这会导致模型退化和对稀有关系的推断能力大幅减弱。

2. 新关系的稀缺导致模型在稀有关系上的泛化能力不足。

为解决这些挑战,该研究提出了一个完整且有效的知识图谱补全框架,以适应不断出现的少量的关系。

1. 为了解决灾难性遗忘问题,研究人员从数据和模型两个维度入手。

在数据层面,通过特定的指标评估每个三元组在知识图谱中的重要性,包括拓扑感知和关系异质感知系数;利用这些重要性得分,可以识别出并存储来自最重要的三元组;这些缓存的三元组可以在优化过程中重放,以应对新关系的出现,确保模型回忆起最重要的知识。

在模型层面,研究人员实施了一种参数冻结的策略。在每个阶段,模型会识别与当前任务相关的一个模型子网络,并将其冻结,从而有效减轻遗忘问题。

2. 为了解决关系的稀缺导致模型在稀有关系上的泛化能力不足的问题,研究人员引入了一种多视角关系增强技术。该方法通过自监督学习提升模型的泛化能力。

技术方法

三元组的记忆回放

为了缓解灾难性遗忘问题,研究人员从数据和模型两个层面提出了解决方案。在数据层面,通过特别设计的指标来评估每个实体的重要性,并在内存中存储最重要的三元组。

这些缓存的三元组可以在新关系出现时进行重播,以确保模型能够回忆起最重要的知识。

具体来说,从两个角度评估实体的重要程度:

1. 拓扑感知重要度。在知识图谱中,一个实体的重要性应当由与其相连的其他实体的重要性共同决定。

其中du表示实体u的出边数量,N(v)表示实体v在Gr中的邻居集合。

是实体v的最终拓扑感知重要性得分。

2. 除了拓扑结构外,还考虑了实体参与关系的多样性,即关系异质性感知重要度:

其中|Rv|表示实体v连接的不同关系数量。

最终,可以计算三元组的重要性分数:

元学习器的调制

文中进一步在模型层面实施了参数调制策略来保存最重要的参数。

具体来说,首先使用权重分数s来衡量网络参数的重要性:

然后,通过下面的优化公式来更新模型参数:

θ是元学习器参数,Qr代表关系集,

是学习率,

表示之前会话中识别的子网络掩码的并集。

通过这种参数调制机制,可以在学习新任务时保护已获得的重要知识,从而有效缓解灾难性遗忘问题。

增强少样本和自监督学习

通过引入基于自监督的多视图关系增强技术来增强模型的泛化能力,通过两种扰动方式生成关系的不同视图。

1. 元学习器参数扰动:

2. 输入实体嵌入扰动:

然后通过对比学习损失来优化:

其中τ是温度参数,

一个 Batch 之内的关系集。

分别代表经过1或者2扰动之后生成的关系。

实验结果

研究人员在 NELL-ONE 和 Wiki-ONE 两个数据集上对模型进行持续学习以及小样本学习的全面验证。

持续学习能力

该框架在持续学习方面的表现,与基线模型相比,能够显著减轻灾难性遗忘,且该模型不仅能有效保留先前会话的知识,还在后续会话中表现出更好的性能。该框架相对于基线模型,在减轻灾难性遗忘方面显示出显著优势。

例如,在NELL-One数据集中,方法在后续任务(Task1至Task7)中,平均比第二佳的基线方法改进了+13.3%,而在Wiki-One数据集中,平均改进为+27.0%。这表明该模型不仅有效地保留了之前学习会话的知识,还在随后的学习任务中展示了更优越的性能。

少样本学习能力

在快速适应新的学习进程中的未见关系时,模型能够维持稳定或增强的少样本学习性能。

相反,基线模型由于每个新会话中元任务数量有限,表现出明显的性能下降。这进一步证明了提出的多视角关系增强策略在解决与元任务稀缺相关的过拟合问题中的有效性。

模型在少样本学习方面显示了出色的性能,特别是在快速适应未见关系的新学习环境中。

以NELL-One数据集为例,MRR指标相较于第一个task(11.1%),模型在最后一个任务中表现出11.35%的性能,期间最高达到12.55%。

在Wiki-One数据集中,从基线的38.9%提高到了最后一个任务的40.05%,相对于其他的方法——随着更新的知识的学习,小样本性能也在下降,模型实现了对于更好的小样本学习性能的保持。

结果验证了所提出的多视角关系增强策略在缓解元任务稀缺导致的过拟合问题上的高效性。

结果表明模型不仅可以充分记住先前阶段的知识同时还可以有效学习新的知识。

消融实验

总结

本篇文章探讨了在持续学习以及少量样本的场景下对知识图谱补全的问题,提出了一种全面且有效的框架,旨在应对灾难性遗忘以及少样本带来的挑战。

该方案包括三元组重演策略,模型参数调制策略,多视角关系增强策略。该研究的发表将有助于提高知识图谱补全(KGC)模型在实际应用中的泛化能力,使其能够更好地适应动态环境和数据稀缺的场景,从而推动相关领域的应用发展。

通过提供有效的解决方案,本研究为后续研究奠定了基础,同时也为实际应用提供了重要的参考。

参考资料:

https://dl.acm.org/doi/10.1145/3627673.3679734

【2024新澳正版挂牌之全扁】 【新澳精准资料网址】
【澳门最精准免费资料大全特色】 【2023年最新资料免费大全】
【澳门二四六免费资料大全499】 【新奥门资料免费大全最新更新内容】
【新澳2023年精准资料大全】 【新澳精准资料免费提供网】
【新澳门四肖期期准免费公开的特色】 【新澳资料免费最新】
【新澳精准资料免费提供2024澳门】 【2024天天彩全年免费资料】 【新澳资料免费精准网址是】
上一条新闻 下一条新闻

推荐文章

发表评论

揾食饭团

9秒前:2.

IP:88.55.3.*

埃拉·琼·昂拉尔

6秒前:这种稀缺导致了模型对于长尾关系的泛化能力不足,从而使得知识图谱补全模型的整体效果较差 (Few-shot Learning) 。

IP:51.58.9.*

斯力更

9秒前:通过引入基于自监督的多视图关系增强技术来增强模型的泛化能力,通过两种扰动方式生成关系的不同视图。

IP:66.94.5.*

休·博纳维尔

2秒前:1145/3627673.

IP:56.87.1.*

亚历山大·卡里姆

1秒前:acm.

IP:43.81.9.*

rootAPP介绍

APP图标

新澳资料免费大全APP名:root

版本:V2.42.233

更新时间:2024-11-13 15:16

澳门资料免费大全这是一个功能强大的二四六香港资料期期中准APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:这会导致模型退化和对稀有关系的推断能力大幅减弱。

澳门一码一肖一待一中今晚APP介绍

APP图标

新奥2024年免费资料大全APP名:root

版本:V5.41.367

更新时间:2024-11-13 24:16

无论是澳彩精准资料大全最新版本更新时间快速浏览新闻还是深入了解某个话题,这款新闻APP都能为您提供全面、精准的信息服务。

新澳门正版资料免费大全新闻APP介绍

APP图标

2023资料免费大全APP名:root

版本:V7.64.523

更新时间:2024-11-13 20:16

澳门单双期期准应用界面简洁易用,用户可以轻松浏览头条新闻、深度报道和特写文章。24小时内的热点资讯一目了然,让您随时掌握世界动态。此外,您还可以参与评论,与其他读者交流看法,形成一个互动活跃的社区。

2004新澳门天天开好彩大全正版APP介绍

APP图标

2024新澳资料免费精准资料APP名:root

版本:V6.16.953

更新时间:2024-11-13 24:20

2024澳门天天开好彩免费大全这款新闻APP是您获取实时信息的理想伴侣。它汇聚了全球最新的新闻报道,涵盖政治、经济、科技、娱乐、体育等多个领域。通过个性化推荐功能,您可以根据兴趣定制新闻源,确保每条信息都与您相关。

新澳2024年正版资料APP介绍

APP图标

全年资料免费大全正版资料最新版APP名:root

版本:V1.30.867

更新时间:2024-11-13 22:22

这是一款功能强大的新澳免费资料大全正版资料下载应用,专为帮助您高效完成各种任务而设计。它不仅提供最新的24小时热点资讯,还为您带来今日的最新动态:该方案包括三元组重演策略,模型参数调制策略,多视角关系增强策略。。无论是获取信息还是提升效率,这款APP都是您理想的助手。

马会香港7777788888APP介绍

APP图标

新澳精准资料免费群聊APP名:root

版本:V4.19.353

更新时间:2024-11-13 18:18

这是一款功能强大的澳彩资料免费提供应用,旨在帮助您高效完成各类任务。它提供最新的24小时热点资讯,让您随时了解发生的重大事件。今天的最新内容包括:为解决这些挑战,该研究提出了一个完整且有效的知识图谱补全框架,以适应不断出现的少量的关系。,为您的生活和决策提供了重要参考。这款APP是您获取信息和完成任务的得力助手。

澳门必玩的三个景点APP介绍

APP图标

最准一肖一码100%澳门APP名:root

版本:V7.34.798

更新时间:2024-11-13 23:19

这是一款功能强大的新澳门今晚开特马结果查询应用,专为帮助您高效完成各种任务而设计。它汇集了最新的24小时热点资讯,让您时刻掌握世界动态。今日的最新内容包括:元学习器参数扰动: ,为您的决策和日常生活提供有价值的信息支持。无论您需要了解什么,这款APP都能成为您不可或缺的助手。

新奥天天免费资料大全正版优势APP介绍

APP图标

2024新澳门天天开好彩APP名:root

版本:V6.27.849

更新时间:2024-11-13 19:13

今天的最新动态包括:在数据层面,通过特别设计的指标来评估每个实体的重要性,并在内存中存储最重要的三元组。,让您第一时间掌握关键资讯,做出明智的决策。这个应用不仅是您的信息获取工具,更是一个提升生活质量的得力助手。

澳门天天免费资料大全192.1APP介绍

APP图标

2024新奥马新免费资料APP名:root

版本:V5.24.136

更新时间:2024-11-13 17:17

这是一款功能强大的澳门正版全年资料期期准应用,能够帮助你高效地完成多种任务。它包括最新的24小时热点资讯,以及今天的最新动态:少样本学习能力 。

新澳门精准免费资料大全APP介绍

APP图标

新奥彩2024最新资料大全APP名:root

版本:V7.31.310

更新时间:2024-11-13 21:20

这款功能强大的新澳门彩历史开奖结果走势图表应用旨在提升您的日常效率,帮助您轻松应对各种任务。应用界面友好直观,用户可以快速导航,获取所需信息。它不仅提供最新的24小时热点资讯,还定期更新各种主题的文章和评论,确保您始终走在信息的前沿。

新澳门免费资料挂牌大全APP介绍

APP图标

新澳资料最准的网站APP名:root

版本:V6.48.156

更新时间:2024-11-13 22:24

这款新闻APP是您获取实时新闻的最佳选择。它整合了全球各大新闻来源,提供最新的头条、热点和专题报道,涵盖从政治到娱乐的各个领域。用户可以根据兴趣自定义新闻推送,确保获取最相关的信息。

奧門資料大全免費資料APP介绍

APP图标

新澳天天开奖资料大全下载安装APP名:root

版本:V3.70.504

更新时间:2024-11-13 21:18

APP界面友好,支持快速浏览和离线阅读。您还可以通过搜索功能,快速找到特定主题的新闻。互动功能让您可以评论、分享文章,与朋友讨论热点话题。无论您是在通勤、休闲,还是工作间隙,这款APP都能让您轻松掌握最新动态。