一、图谱概览

首先介绍知识图谱的一些基础概念。


(资料图片)

1、什么是知识图谱

知识图谱旨在利用图结构建模、识别和推断事物之间的复杂关联关系和沉淀领域知识,是实现认知智能的重要基石, 已经被广泛应用于搜索引擎、智能问答、语言语义理解、大数据决策分析等众多领域。

知识图谱同时建模了数据之间的语义关系和结构关系,结合深度学习技术可以把这两者关系更好得融合和表征。

2、为什么要建知识图谱

我们要建设知识图谱主要是从如下两点出发考虑:一方面是蚂蚁本身的数据来源背景特点,另一方面是知识图谱能带来的好处。

[1] 数据来源本身是多元和异构的,缺乏一套统一的知识理解体系。

[2] 知识图谱能够带来多个好处,包括:

语义标准化:利用图谱构建技术提升实体、关系、概念等的标准化和归一化水平。领域知识沉淀:基于语义、图结构实现知识表示和互联,从而积累丰富的领域知识。知识复用:构建高质量的蚂蚁知识图谱,通过融合、链接等服务多下游,为业务降本提效。知识推理发现:基于图谱推理技术发现更多长尾知识,服务风控、信贷、理赔、商家运营、营销推荐等场景。3、如何构建知识图谱的概览

在构建各类业务知识图谱的过程中,我们沉淀出了一套蚂蚁知识图谱的通用构建范式,主要分为如下五个部分:

从业务数据出发,作为图谱冷启动的重要数据来源。他域的知识图谱同现有图谱进行融合,通过实体对齐的技术来实现。业务领域结构化的知识库同现有的知识图谱的进行融合,也是通过实体对齐的技术实现。非结构和半结构化的数据,例如文本会对其进行信息抽取,通过实体链指技术实现对现有图谱进行更新。领域概念体系和专家规则的融入,将相关概念、规则与现有知识图谱进行链接。

有了通用的构建范式后,就需要进行体系化的建设。从两个视角来看蚂蚁知识图谱的体系化建设。首先是从算法视角来看,有各种算法能力,比如知识推理、知识匹配等等。从落地视角来看,自下而上,最下面的基础依赖包括图计算引擎和认知底座计算;其上是图谱底座,包括NLP&多模平台以及图谱平台;往上是各种图谱构建技术,基于此我们就可以构建蚂蚁知识图谱;在知识图谱的基础上,我们可以做一些图谱推理;再往上,我们提供一些通用的算法能力;最上面是业务应用。

二、图谱建设

接下来分享蚂蚁集团建设知识图谱的一些核心能力,包括图谱构建、图谱融合、图谱认知三个方面。

1、图谱构建

图谱构建的流程主要包括六步:

数据源,获取多元数据。知识建模,将海量数据转化成结构化的数据,从概念、实体和事件三个域来建模。知识获取,搭建了知识加工研发平台。知识存储,包括Ha3存储和图存储等。知识运营,包括知识编辑、在线查询、抽取等。持续学习,让模型自动地进行迭代学习。构建过程中的三个经验与技巧融合专家知识的实体分类

在构建知识图谱中,需要对输入的实体进行分类,在蚂蚁场景下是一个大规模多标签分类的任务。为了融合专家知识来进行实体分类,主要做如下三点优化:

语义信息增强:引入label语义图表示学习的Embedding。对比学习:加入层次label监督的对比。逻辑规则约束:融入专家先验知识。领域词表注入的实体识别

在实体识别的基础上,从字词连边的图结构出发,让模型学习到对连边的合理赋权,对噪声词连边减小权重。提出了边界对比学习和语义对比学习两个模块:

边界对比学习,用来解决边界冲突问题。在词表注入之后,构建一个全连接图,用GAT来学习每个token的表征,边界分类正确的部分构建一个正例的图,错误的部分构建负例的图,通过对比让模型学到每个token的边界信息。语义对比学习,用来解决语义冲突问题。借鉴了原型学习思想,把label的语义的表征加进来,强化每个token与label语义之间的关联关系。逻辑规则约束的小样本关系抽取

在领域问题上我们的标注样本很少,会面临few-shot或zero-shot的场景,在这种情况下进行关系抽取的核心思想就是引入外部知识库,为了解决语义空间不同导致的性能下降问题,设计了基于逻辑规则的推理模块;为了解决实体类型匹配导致的死记硬背问题,设计了细微差异感知模块。

2、图谱融合

图谱融合是指不同业务领域下图谱之间的信息融合。

图谱融合的好处:

跨业务的知识复用:基于图谱本体模型,实现跨业务的知识连接。减少无效数据拷贝:连接即可应用,标准化知识服务链路。业务快速价值落地:减少业务找数据的成本,通过知识复用带来更大业务价值,降本提效。图谱融合中的实体对齐

知识图谱融合过程中一个核心技术点就是实体对齐,这里我们采用了SOTA算法BERT-INT,主要包括两个模块,一个是表示模块,另一个是交互模块。

算法的实现流程主要包括召回和排序:

召回:在表示模块,利用标题文本的 BERT向量相似度召回。

基于标题+属性+邻居的排序模型:ü 利用表示模块,完成对标题、属性和邻居的向量表示:

计算标题的cos相似度。分别计算两个实体的属性和邻居集合间的相似度矩阵,并提取一维相似度特征。将三个特征拼接为特征向量计算Loss。3、图谱认知

这一部分,主要介绍一下蚂蚁内部的知识表示学习框架。

蚂蚁提出了一个基于Encoder-Decoder框架的知识表示学习。其中Encoder是一些图神经的学习方法,Decoder是一些知识表示的学习,比如链接预测。这套表示学习框架可以自监督产出通用的实体/关系Embedding,有几个好处:1)Embedding Size远小于原始特征空间,降低了存储成本;2)低维向量更稠密,有效缓解数据稀疏问题;3)同一向量空间学习,对多源异质数据的融合更自然;4)Embedding具有一定的普适性,方便下游业务使用。

三、图谱应用

接下来分享几个在蚂蚁集团中知识图谱的典型应用案例。

1、图谱的场景应用模式

在介绍具体案例前,先来介绍一下蚂蚁知识图谱场景应用的几种模式,主要包括知识获取、知识管理和推理,以及知识服务。如下图所示。

2、一些典型的案例案例1:基于知识图谱的结构化匹配召回

业务场景是支付宝主搜里面的小程序的内容下挂,要解决的业务痛点是:

商品实体,以及商品上下位关系匮乏。小程序商品级理解能力弱。

解决方案是,构建了商家知识图谱。结合商家图谱的商品关系,实现对用户query商品级别的结构化理解。

案例2:用户意图实时预测在推荐系统应用

这一案例是针对首页推荐进行用户意图实时预测,构建了AlipayKG,框架如上图所示。相关工作也发表在顶会www 2023上,可以参考论文做更进一步的理解。

案例3:融合知识表征的营销券推荐

这个场景是消费券推荐的一个场景,业务面临的痛点为:

头部效应严重。用户核销领取行为稀疏。冷启动用户和券很多,缺少对应的足迹数据。

为了解决上述问题,我们设计了融合动态图表征的深度向量召回算法。因为我们发现用户消费券的行为是有周期性的,静态的单条边是无法建模这种周期性行为的。为此我们首先构建了动态图,接着采用团队自研的动态图算法来学习Embedding表征,得到表征之后再放到双塔模型中去,进行向量召回。

案例4:基于诊疗事件的智能理赔专家规则推理

最后一个案例是关于图谱规则推理。以医疗保险健康图谱为例,包括医学知识、理赔规则、“人”的健康的信息,进行实体链指,再加上逻辑规则,来作为决策的依据。通过图谱实现了专家理赔效率的提升。

四、图谱与大模型

最后简单探讨一下在当前大模型快速发展的背景下知识图谱的机遇。

1、知识图谱与大模型的关系

知识图谱与大模型各有优缺点,大模型的主要有通用知识建模和普适性等优点,而大模型的缺点正好是知识图谱的优点所能弥补的。图谱的优点包括准确性很高、可解释性强等。大模型和知识图谱是能够相互影响的。

图谱和大模型的融合通常存在三种路线,一种是利用知识图谱来增强大模型;第二种是利用大模型来增强知识图谱;第三种是大模型和知识图谱协同并进,优势互补,大模型可以认为是一种参数化的知识库,知识图谱可以认为是一种显示化的知识库。

2、大模型与知识图谱相应用的案例大模型应用于知识图谱构建

在知识图谱构建的过程中,可以利用大模型来进行信息抽取、知识建模和关系推理。

如何利用大模型来应用于知识图谱的信息抽取

达摩院的这个工作将信息抽取问题分解成了两个阶段:

在第一阶段,我们想要找到文本中存在的实体、关系或者事件类型,以减小搜索空间和计算复杂度。在第二阶段,我们根据前面抽取的类型和给定的对应列表,进一步抽取出相关信息。将知识图谱应用于大模型

将知识图谱应用于大模型主要包括三个方面:

将知识图谱整合到大模型输入中。可以利用知识图谱来进行数据清洗,或利用知识图谱直接显式地进行形式化拼接。

将知识图谱融合到大模型训练中。比如同时进行两个任务的训练,知识图谱可以做知识表示的任务,大模型做MLM的预训练,两者联合建模。

将知识图谱注入到大模型推理中。首先可以解决大模型的两个问题,一是将知识图谱作为先验约束,来避免大模型“胡说八道”;第二就是解决大模型时效性问题。另一方面,基于知识图谱,可以为大模型生成提供可解释方案。

知识增强的问答系统

主要包括两类,一块是知识图谱增强的问答系统,即用大模型来优化KBQA的模式;另一个是信息检索增强,类似LangChain、GopherCite、New Bing等用大模型来做知识库问答的形式。

知识增强的生成式搜索问答系统,有如下优势:

通过接入搜索系统,解决时效性问题。通过提供Reference链接,可以进行人工核查,以解决事实性错误问题。引入搜索结果,丰富上下文,增强大模型生成效果。3、总结与展望

知识图谱与大模型如何更好地交互协同共进,包括如下三个方向:

推进知识图谱和大模型在NLP、问答系统等领域的深入应用。使用知识图谱进行大模型的幻觉检测和去毒。结合知识图谱的领域大模型研发。

推荐内容