开放科学(资源服务)标志码(OSID)：

0 概述

知识图谱^[1]可以形式化展示事物之间的关系，其本质是一种语义网络。近年来，知识图谱已成为支撑对话代理^[2]、智能问答^[3]、新闻推荐^[4]等智能生活应用的技术基础。目前，已经有许多比较成熟的知识图谱，例如Freebase^[5]、YAGO^[6]、DBPedia^[7]、ConceptNet^[8]等，这些知识图谱都可以分为两种基本视图，即实例视图及其本体视图。本体视图和实例视图相辅相成，对两者进行联合学习可以掌握更全面的知识。通常，研究者将实例填充到本体视图中形成一个完整的知识图谱，再用知识表示学习的方法嵌入学习。文献[9]提出将知识图谱的实例和本体联合嵌入的学习方法JOIE，并在公开数据集YAGO26K-906和DB111K-174上验证了该模型的优越性。该方法避免了耗时耗力的本体实例填充工作，并且与传统方法相比更完整地保存了实例之间的关系。同时，作者在文末也指出联合学习模型的损失还有待进一步优化，可以考虑复杂的嵌入模型、融入知识图谱全局结构、类型信息等方式来改进模型性能。其中，同一实体在不同关系下具有多义性的问题有待进一步研究。

本文通过考虑三元组中实体的关系类型特征，提出一种融合实体类型信息的本体-实例联合学习方法JOIE-TKRL-CT。在本体和实例视图的内部关系表征上，利用实体分层类型模型融入实体类型信息，在两个独立的嵌入空间中分别表征学习。同时，通过分层类型模型将每个三元组的头实体和尾实体转化成具有特定类型的投影矩阵嵌入，以此来表征多义性实体。在视图间关系的表征上，运用文献[9]提出的跨视图转换模型，将表征在两个独立空间的本体和实例通过非线性映射的方法跨视图链接，从而区别表示实体在不同场景下的不同意义。

1 相关研究

知识图谱可以形式化展示事物之间关系，其本质是一种语义网络。近年来，知识图谱已成为支撑对话代理、智能问答等智能生活应用的技术基础。知识图谱可以用（实体，关系，实体）三元组来表示，现有的知识图谱大多可以分为两种基本视图，即实例视图及其本体视图，如图 1所示。实例视图主要包含三元组特定实体及其之间的关系，其本体视图主要描述的是抽象概念及其语义元关系。两个视图之间通过本体和实例的类属关系链接。

通过对本体视图和实例视图进行联合学习，可以掌握更全面的知识。一方面，实例可以为其对应的本体概念提供详细的信息；另一方面，本体提供了对应实例的高级抽象，这在发现一些数量较少的实例时尤为重要。可以考虑复杂的嵌入模型、融入知识图谱全局结构、类型信息等方式来改进模型性能。其中，同一实体在不同关系下多义性的问题就有待进一步研究。如在图 2中，有多个属性指向的有“罗贯中”“三国演义”两个实体，其中两个属性指向的“三国演义”实体具有多义性，一个指的是小说，一个指的是电视剧。如果计算机像人一样，能够分辨出不同场景对应的实体语义，那么就可以在一定程度上提高模型性能。但是实体的多义性在计算机嵌入学习过程中无法分辨。因此，使得拥有多种类型的实体在不同的场景中有不同的表示，是提高联合学习模型识别性能的有效途径。

知识图谱嵌入方法的不断优化推动了图谱构建和应用技术的快速发展。知识图谱嵌入就是对图谱中三元组的实体和关系表示学习。给定三元组（h，r，t），其中，h、t分别表示头实体和尾实体，r表示实体之间的关系，知识图谱嵌入即是将实体及其之间的关系转化为向量空间模型。在嵌入模型中，基于平移距离模型的模型有TransE^[10]、TransH^[11]、TransR^[12]、TransD^[13]、TranSparse^[14]、KG2E^[15]等，基于语义匹配的模型有DisMult^[16]、HolE^[17]等。其中，TransE模型最为经典，其设计思想是期望标准三元组（h，r，t）有h+r=t，定义距离d表示向量之间的距离，因此机器学习到正确的三元组的距离越小越好，而错误的三元组的距离越大越好，其损失函数可以表示为：

$ E(h, r, t)=‖h+r-t‖ $

(1)

将表示知识图谱的本体图和实例图联合学习，在性能上优于单个完整知识图谱的嵌入学习方法。自文献[18]提出本体嵌入方法On2Vec以来，本体中的元信息嵌入表示得到广泛关注。文献[9]提出将知识图谱的实例库和本体库联合嵌入的JOIE模型，采用跨视图和视图内建模的方法，从知识图谱的本体元层次和实例层次分别表示学习。

在嵌入过程中融合实体类型信息可以有效提高模型性能。文献[19]提出一种能够区分概念和实例信息的TransC模型，其将知识图谱中的概念编码为球体，实例用向量表示，在YAGO数据集上嵌入性能达到了相对最优。文献[20]将实体类型信息作为先验知识融入模型中，模型在链接预测任务中性能提升高达77%。文献[21]提出语义平滑嵌入的SSE模型，该模型的核心思想是让同一语义类别的实体在嵌入空间中位置相近。文献[22]提出TKRL模型，其将类型信息分层表示，并作为关系的特定约束。实验结果表明，利用此方法嵌入学习能捕获知识图谱中重要意义的分层类型信息。文献[23]建立一种基于知识表示学习的知识可信度评估模型PTCA，利用实体类型信息对知识的可信度进行计算，从而有效应用知识图谱，对知识的可信度进行准确评估。

结合现有研究，本文借鉴TKRL模型中对类型信息分层表示的思想，将类型信息融入本体-实例联合学习模型中，目的是表示实体在不同场景的不同意义，进一步提高知识图谱嵌入的学习效率。

2 JOIE-TKRL-CT方法

为弥补本体-实例联合学习模型不能区分表示多义性实体的不足，本文提出一种融合实体类型信息的本体-实例联合学习方法JOIE-TKRL-CT。该方法将本体和实例知识库分别嵌入，再进行联合学习，其由视图内学习、视图间学习和联合学习3个模型组成。在本体和实例视图内部的嵌入学习中，为了在不同的三元组语境凸显相应的类型信息，本文将实体类型信息分层表示，在构建实体的投影矩阵时，类型信息由各类型层加权表示。视图间的学习采用跨视图转换方法来学习本体嵌入空间和实例嵌入空间之间的关联，在正样本中关联即为实体和本体间的类属关系。

2.1 视图内学习 2.1.1 本体和实例视图嵌入

在进行视图内部学习时，本文基于TransE模型，在表示实体时将类型信息作为实体的补充信息一同嵌入。具体而言，将每个类型c的层次信息构造成投影矩阵$ {\boldsymbol{M}}_{c} $，这样头实体h和尾实体t对应的特定类型就为$ {c}_{rh} $、$ {c}_{rt} $，相应的类型矩阵用$ {\boldsymbol{M}}_{rh} $、$ {\boldsymbol{M}}_{rt} $表示。再根据式（1），可得能量函数和损失函数分别为：

$ E(h, r, t)=‖{\boldsymbol{M}}_{rh}h+\boldsymbol{r}-{\boldsymbol{M}}_{rt}t‖ $

(2)

$ L=\sum\limits_{(h, r, t)\in T}\sum\limits_{(h\mathrm{{'}}, r\mathrm{{'}}, t\mathrm{{'}})\in T\mathrm{{'}}}\mathrm{m}\mathrm{i}\mathrm{n}(\gamma +E(h, r, t)-E(h\mathrm{{'}}, r\mathrm{{'}}, t\mathrm{{'}}\left)\right) $

(3)

其中：y > 0；$ E(h, r, t) $是正确的三元组的能量函数；$ E(h\mathrm{{'}}, r\mathrm{{'}}, t\mathrm{{'}}) $是错误的三元组的能量函数；$ (h\mathrm{{'}}, r, t\mathrm{{'}}) $通过$ (h, r, t) $替换头实体和尾实体得到，并且替换后的三元组在视图中不存在。学习一个融合类型关系的知识图T中所有节点的嵌入，最小化所有的三元组损失，可得：

$ {J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{\mathrm{T}}=\frac{1}{\left|T\right|}\sum\limits_{\begin{array}{l}(h, r, t)\in T\wedge \\ (h\mathrm{{'}}, r\mathrm{{'}}, t\mathrm{{'}})\notin T\end{array}}[{\gamma }^{T}+{(h{'}, r, t{'})}^{2}-{(h, r, t)}^{2}{]}_{+} $

(4)

机器学习的过程就是运用梯度下降法更新上述函数，其中，$ {\gamma }^{T} > 0 $，是一个正余量。

在嵌入过程中需要考虑到实例内部视图和本体内部视图。本文用$ ({h}^{\left(I\right)}, {r}^{\left(I\right)}, {t}^{\left(I\right)})\in {T}_{I} $表示实例视图，用$ ({h}^{\left(O\right)}, {r}^{\left(O\right)}, {t}^{\left(O\right)})\in {T}_{O} $表示本体视图，分别用$ {J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{{T}_{I}} $、$ {J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{{T}_{O}} $表示计算得到的损失函数，再将两个损失函数通过组合权重$ {\alpha }_{1} $来调控内部视图的结构丢失。视图内嵌入的整体学习模型可表示为：

$ {J}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}={J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{{T}_{I}}+{\alpha }_{1}{J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{{T}_{O}} $

(5)

2.1.2 分层类型模型

本节用分层类型模型来表示实体在不同场景下的类型信息，主要是考虑判别三元组中实体类型的情境通过三元组的关系传达，例如在三元组（三国演义，作者，罗贯中）中，通过关系“作者”就可以辨别实体“三国演义”是属于小说类，而不是电视剧。每个类型分多层来表示，是因为可以通过不同的权重组合对应不同的类型。具体说明如下：

设某实体有n个类别，则其类别集合可表示为$ c=\{{c}_{1}, {c}_{2}, \cdots , {c}_{n}\} $，$ {c}_{i} $表示实体的第i个类别。又设每个类别是由多个分层子类别集成控制，如图 3所示。假设子类别个数为m，则$ {c}_{i}=\{{c}_{i}^{\left(1\right)}, {c}_{i}^{\left(2\right)}, \cdots , {c}_{i}^{\left(m\right)}\} $，其中：$ {c}_{i}^{\left(j\right)} $表示实体第i个类型的第j个子类型。

在分层结构中，不同子类型的不同粒度在映射实体时，需要通过权重相加的方法达到区分实体不同类型信息的目的，如下所示：

$ {\boldsymbol{M}}_{c}=\sum\limits_{i=1}^{m}{\beta }_{i}{\boldsymbol{M}}_{{c}^{\left(i\right)}}={\beta }_{1}{\boldsymbol{M}}_{{c}^{\left(1\right)}}+{\beta }_{2}{\boldsymbol{M}}_{{c}^{\left(2\right)}}+\cdots +{\beta }_{m}{\boldsymbol{M}}_{{c}^{\left(m\right)}} $

(6)

$ {\beta }_{i}:{\beta }_{i+1}=(1-\eta )\mathrm{ }:\eta , \sum\limits_{i=1}^{m}{\beta }_{i}=1, \eta \in \left(\mathrm{0, 0.5}\right) $

(7)

其中：$ {\boldsymbol{M}}_{{c}^{\left(i\right)}} $是$ {c}^{\left(i\right)} $的投影矩阵；$ {\beta }_{i} $是$ {c}^{\left(i\right)} $的权重。由式（6）可知，$ {\beta }_{i} > {\beta }_{i+1} $，以此控制在$ {\boldsymbol{M}}_{c} $上$ {c}^{\left(i\right)} $的影响比$ {c}^{(i+1)} $大。头实体的投影矩阵可表示为：

$ {\boldsymbol{M}}_{rh}=\frac{n\sum\limits_{i=1}^{}{\varepsilon }_{i}{\boldsymbol{M}}_{{c}_{i}}}{\sum\limits_{i=1}^{n}{\varepsilon }_{i}}, {\varepsilon }_{i}=\left\{\begin{array}{c}1, {c}_{i}\in {C}_{rh}\\ 0, {c}_{i}\notin {C}_{rh}\end{array}\right. $

(8)

其中：$ {C}_{rh} $表示由关系特定类型信息给出的相对r的头部类型集；$ {\boldsymbol{M}}_{{c}_{i}} $为$ {c}_{i} $的投影矩阵；$ {\varepsilon }_{i} $为$ {\boldsymbol{M}}_{{c}_{i}} $对应的权值，通过控制$ {\varepsilon }_{i} $的大小分布达到区分不同类型下相同实体的目的。尾部实体的投影矩阵$ {\boldsymbol{M}}_{rt} $与头部实体的投影矩阵形式相同。

2.2 视图间学习

视图间学习采用文献[9]中提出的跨视图转换方法。如图 4所示，本体图O和实例图I分别嵌入在不同的向量空间中，跨视图转换旨在通过学习本体和对应实例的类属关系，使得计算机在嵌入空间中认为本体和相应的实例通过一种非线性映射关系来链接。

假设属于本体o的实例i通过关系f会映射到对应的本体o，$ o\in O, i\in I $，即：

$ o\leftarrow f\left(i\right), \forall (o, c)\in S $

(9)

其中：$ f\left(i\right)=\sigma (\boldsymbol{w}·i+b) $，是一个非线性映射；w为权重矩阵；b为偏置项；$ \sigma $为激活函数tanh。因此，视图间学习的损失函数可以表示为：

$ {J}_{\mathrm{c}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{s}}=\frac{1}{\left|S\right|}\sum\limits_{\begin{array}{l}(i, o)\in S\wedge \\ (i, o\mathrm{{'}})\notin S\end{array}}{\left[{\gamma }^{c}+{‖o-f\left(i\right)‖}_{2}-{‖o\mathrm{{'}}-f\left(i\right)‖}_{2}\right]}_{+} $

(10)

通过上述跨视图的转换，可以让计算机学习到一个虚拟的空间中，本体及其对应的实例会在空间中聚合为距离较近的状态。

2.3 联合学习

将视图内学习模型和视图间学习模型整合，可得本体-实例联合学习模型：

$ J={J}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}+\omega {J}_{\mathrm{c}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{s}}, \omega > 0 $

(11)

其中：$ \omega $是权重系数。在训练的过程中，先更新底层的$ {J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{{T}_{I}} $、$ {J}_{{}_{\mathrm{I}\mathrm{n}\mathrm{t}\mathrm{r}\mathrm{a}}}^{{T}_{O}} $、$ {J}_{\mathrm{c}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{s}} $，再更新$ J $。

3 实验与结果分析

通过三元组补全和实体分类两个任务，验证本文模型的有效性。

3.1 实验前期准备

实验前期准备工作包括使用的数据集、实验评价指标、实验参数设置。

3.1.1 数据集

通常，知识图谱中实例的数量会远大于本体的数量。为验证模型的有效性，分别在YAGO26K-906和DB111K-174数据集上进行实验（数据来源：https://github.com/JunhengH/joie-kdd19），这两个数据集是在YAGO、DBpedia基础上分离出本体、实例制作而成。数据集数据分布统计情况如表 1所示。

实验所需错误三元组的构建是将正确三元组的头实体、尾实体或者关系变成知识图谱中原来就存在的实体或者关系。在整个数据集中保持正确三元组与错误三元组之比为1∶1。

3.1.2 评价指标

实验选用以下评价指标：

1）MRR。将预测中排名第一的相关结果位置记作$ {k}_{i} $，则$ \mathrm{M}\mathrm{R}\mathrm{R} $为$ \frac{1}{N}\sum\limits_{i}\frac{1}{{k}_{i}} $。

2）Hit@10，表示正确的实体或关系在预测中排名前十的个数占总数的比例。

3）Hit@1，表示正确的实体或关系在预测中排名第一的个数占总数的比例。

3.1.3 参数设置

为保证公平性，实验过程中保持以下参数一致：本体图嵌入维度为100，实例图嵌入维度为300，$ {\alpha }_{1}=2.5 $，$ {\gamma }^{{T}_{I}}={\gamma }^{{T}_{O}}=1 $，实体类型维度$ n=50 $，epoch为100，训练学习率lr为0.000 5，单视图数据batch size为128，联合学习中实例图数据batch size为256，本体图数据batch size为64。训练的过程使用AMSGrad优化器优化联合损失。为了避免有的实体在训练过程中被忽略，每次训练之前将实体和关系向量归一化。

3.2 三元组补全

三元组补全由文献[24]提出，目标是在三元组$ (h, r, t) $中h、r、t缺失时将其补全，在知识图谱嵌入模型验证时经常被用作测试模型学习嵌入性能的检验方法。测试的方法是在模型内部将预测的实体或关系的似然函数进行计算和排名。在本次实验中，分为本体三元组补全和实例三元组补全两个子任务。

设置以下6组对照模型：

1）TransE模型^[10]。该模型参数少，计算复杂度低，并且具有较好的性能和可扩展性，是经典的基于平移距离的知识图谱嵌入模型。

2）TransC模型^[19]。该模型是融合了实体类型信息的知识图谱嵌入模型，与同期模型相比具有较好的效果。

3）DisMult模型^[16]。该模型是基于语义匹配的知识图谱嵌入模型，其利用学到的关系来挖掘逻辑规则。

4）HolE模型^[17]。该模型结合了语义匹配模型的表达能力和DisMult的效率，与同期模型相比具有较好的嵌入性能。

5）TKRL模型^[22]。该模型在嵌入过程中融入了实体的层次类型信息，得到了较好的嵌入效果。

6）JOIE-TransE-CT模型^[9]。该模型是本体-实例联合学习模型，在部分任务上能够达到较整个知识图谱嵌入更好的效果。

图 5和图 6显示了各模型在两个数据集上训练过程中损失变化（epoch：30~100）。

损失（loss）在模型的训练中是一个关键角色。模型的训练就是最小化loss过程，减少预测的误差，寻找最优解的过程。一定程度上来说，模型的loss越小，模型的预测能力越好。由图 5和图 6整体来看，在训练达到一定的程度后（epoch > 60），两种联合学习模型loss都会比其他模型降得更小。而进一步通过两个联合学习模型对比可知，JOIE-TKRL-CT的loss更小。因此，JOIE-TKRL-CT模型性能优于其他模型。

各模型具体实验结果如表 2和表 3所示，其中，加粗表示最优数据。值得注意的是，TransC模型编码时区分了概念和实例，但是没有将概念的元关系编码，因此涉及对本体三元组的补全。

表 2和表 3的实验结果表明：

1）在两个数据集上，联合学习模型都取得了较其他模型更好的性能，其中JOIE-TKRL-CT在实例三元组补全上具有优势，原因是融合的实体类型信息更多是针对实例，在本体三元组补全上反而弱于JOIE-TransE-CT。

2）对比JOIE-TKRL-CT和JOIE-TransE-CT、TKRL和TransE两组模型，可以发现在两种数据集上，融合实体层次类型信息可以有效提高模型性能，在所有的指标中都有较大的提升。

3.3 实体分类

实体类型任务目标简单来说就是预测给定实体的对应本体概念。测试方法同三元组补全任务。

实验设置了TransE、DisMult、HolE、JOIE-TransE-CT这4个模型对照实验，实验结果如表 4所示，其中，加粗表示最优数据。

就实体分类任务实验结果而言，在两种数据集上，联合学习模型的实验性能都远超过单纯基于距离和语义相似度的模型，其中JOIE-TKRL-CT较前者MRR、准确率平均高了1%，这也证明了融合实体了层次类型信息可以提高联合学习的性能。

综合以上实验结果可知，JOIE-TKRL-CT模型在实例三元组补全和实体分类上都取得了比JOIE-TransE-CT模型更好的成绩。因此，融合了实体层次类型信息的本体-实例联合学习方法可以达到区分实体多义性的目的，具有更好的知识学习效果。

4 结束语

为区别表示实体在特定场景的独特意义，本文在嵌入时融合三元组中实体的关系类型特征，提出一种本体-实例联合学习方法JOIE-TKRL-CT。在YAGO26K-906和DB111K-174数据集上针对三元组补全和实体分类两个任务进行多组实验，结果表明，JOIE-TKRL-CT在实例三元组补全和实体分类任务上较TransE、TransC、DisMult等模型具有更好的性能，验证了本文方法的有效性。下一步将在模型中融入知识图谱的结构信息和深层的类型信息，获得更优的知识学习效果。