开放科学(资源服务)标志码(OSID)：

0 概述

随着人工智能^[1]和大数据技术^[2]的发展，知识图谱^[3-4]的构建成为当今的研究热点之一。知识图谱可以高效地组织结构化的知识，通过对知识图谱的检索^[5]，不但能够快速准确地查询出人们所需要的相关信息，而且在深度问答^[6]、社交网络^[7]、行业应用^[8-9]等领域发挥着越来越重要的作用。对于当前各级政府的各个部门，部门之间存在着隶属、合作、职能交叉等多种关系，对部门之间的关系进行梳理，构建知识图谱能够更好地发挥各个部门的职能，加强部门之间的合作与联系，提高各部门的办事效率。

随着各领域中数据量的不断增加和行业态势的演变，领域知识图谱^[10]需要不断地丰富与扩展，传统知识图谱的构建过程^[11]是通过专家和知识工程师完成的，实体之间隐藏的关系没有得到体现，存在领域知识的不完整性和片面性。针对当前构建知识图谱存在的问题，采用数据挖掘的方法分析与实体相关的数据，进一步挖掘出2个实体之间隐藏的深层次关系，对丰富知识图谱尤为重要。因此，本文基于市长信箱诉求数据，采用实体关联与主题分析的方法挖掘在市长信箱数据隐藏的部门之间存在的关系，并将新发现的关系融合到原有知识图谱中，实现知识图谱的潜在关系扩展。

1 相关工作

在知识图谱初步构建后，仍然存在大量的隐含知识未得到体现，这些潜在的知识对知识图谱中的关系抽取^[12]和语义检索^[13]等其他研究有很大的帮助。特别是大规模的知识图谱中需要大量的实体之间的关系作为支撑，但图谱中实体之间关系往往不够全面。因此，国内外涌现出一系列方法实现知识图谱中实体间关系发现与知识图谱扩充。知识图谱中潜在关系发现是对实体关系之间的链接预测^[14]，是知识图谱学习和推理^[15]的重要任务之一，通过挖掘实体间关系进一步扩充知识图谱，能够不断完善和丰富知识图谱的内容。

目前关于知识图谱实体间关系挖掘与扩充知识图谱的方法主要分为基于表示学习^[16]的方法和基于关系路径^[17-18]的方法。基于表示学习的知识图谱扩充方法基本思想是：将实体和关系嵌入连续低维的向量空间，用向量表示实体，通过实体间的向量计算得到关系，从而完成知识图谱的扩充任务。文献[19]提出TransE模型实现知识图谱的扩充，该模型将每个三元组实例中的关系看作从实体到实体的翻译，将数据放入训练好的模型中得到实体之间的关系。文献[20]提出一种共享变量的神经网络模型(LCPE)，该模型通过分析Unstructured模型，推导出在向量空间中2个有关系的实体嵌入距离更近，并将ProjE模型和实体之间的相似度信息进行融合，从而判断具体关系类型。

由于知识图谱网络结构复杂多变，图谱中存在大量的关系路径，因此涌现出一些基于知识图谱中关系路径发现关系的方法。基于关系路径的方法的基本思想是：抽取关系路径，构建关系路径特征向量，计算实体之间关系存在的概率。基于关系路径的知识图谱扩充方法代表模型是PRA(Path Ranking Algorithm)，该模型的基本思想是：2个相连实体之间大量的关系路径作为2个实体之间关系所具有的特征，构造关系分类器，将关系路径作为输入，实际存在的关系作为输出训练关系分类器。文献[21]利用设置物理规则和逻辑规则进行知识图谱的路径推理和扩充知识图谱任务。文献[22]通过组合已有模型进行有关路径推理，并应用于知识库的自动问答及扩充知识图谱学习任务。文献[23]提出一种子图特征提取方法实现关系挖掘，对给定知识图谱上的结点集合进行路径搜索抽取得到子图，在子图上抽取特征，作为这些结点集合的特征向量，通过结点集合的特征向量训练关系分类器。

还有一些学者采用其他方法扩充和丰富知识图谱。文献[24]提出一种借助用户生成数据中实体间关联关系来扩充知识图谱的方法，该方法使用互信息计算实体节点间的关联关系，采用一种关联影响叠加方法来定量计算关联图中互不相邻实体间的潜在关联关系。文献[25]提出从不完备知识库中挖掘关联规则的方法(AMIE)，AMIE依次学习预测每种关系的规则，通过3种操作扩展规则体部分，保留支持度大于阈值的候选规则，通过挖掘得到的规则实现关系发现与知识图谱扩充。文献[26]提出一种基于Jena的台风灾害领域本体模型推理机制，挖掘被隐藏的台风灾害影响因素或灾害链信息。

基于表示学习的方法可以通过向量计算发现实体间关系，但计算代价大，在实际知识图谱中可解释性差。基于关系路径的知识图谱扩充方法^[24]可以通过路径特征挖掘实体之间的关系，但是这类方法难以处理关系路径信息较少的稀疏知识图谱，且在实际应用的知识图谱中，关系路径数量庞大，提取路径信息非常耗时。因此，本文针对特定领域中的实体，采用实体关联与主题分析方法分析实体相关数据，进一步挖掘出实体间隐藏的关系，避免大量的无效计算，使挖掘得到的关系是有用且有效的。

2 知识图谱潜在关系发现与扩展

本文提出一种基于实体关联分析与主题分析(Entity-Association and LDA，EA-LDA)的方法挖掘实体之间隐藏的关系，进而扩展和丰富知识图谱。针对与实体相关的大量数据，采用关联规则算法挖掘实体与实体之间存在的关联关系，并分析与实体相关数据的主题关键词之间的联系得到实体之间的关系，将新发现的关系融合到知识图谱中。

2.1 数据预处理

在进行实体之间的关系发现前，需对原始文本数据进行数据预处理，以提高后期数据分析和挖掘的效率，减少后期算法工作的计算量。数据预处理包括数据清洗、数据分词和去停用词。数据清洗主要是检查数据一致性，处理无效数据和重复数据；数据分词是将连续的句子分成单个词语，之后将词语作为文本数据的基本单位；基于停用词表对分词结果进行匹配，去除停用词表中的词汇，如“的”“了”等，只保留文本具有实际意义的词集。

2.2 基于关联规则发现的实体关系获取 2.2.1 实体频繁项集获取

获取实体频繁项集方法如下：

1) 对各实体相关数据进行预处理，获得相应的关键词集，计算各个实体相关数据中每个关键词的支持度S_i。支持度计算公式如式(1)所示：

$ {S}_{i}=P\left(i\right)={N}_{i}/{N}_{\mathrm{a}\mathrm{l}\mathrm{l}} $

(1)

其中：S_i表示第i个关键词的支持度；P(i)表示第i个关键词在当前实体相关数据集中出现的概率；N_i表示第i个关键词在当前实体相关数据集中出现的次数；N_all表示数据集中与当前实体相关的数据记录的个数。

2) 根据设置的支持度阈值α，判断每个关键词的支持度是否大于等于阈值α，将大于等于阈值α的关键词保留得到1项频繁关键词集L₁。

3) 不断迭代使用上一次得到的(k-1)项频繁关键词集，计算频繁关键词集中关键词的支持度，保留满足支持度阈值α的关键词集，产生新的候选k项频繁关键词集L_k，直到没有新的频繁项集产生，算法结束。

2.2.2 实体关联规则生成

实体关联规则生成方法如下：

1) 获取k项频繁关键词集L_k的关联规则L_s$ \Rightarrow $L_k-s，其中：L_s表示由s个关键词组成的关键词集；L_k-s表示去掉L_k中s个关键词剩余的关键词组成的关键词集。

2) 计算每个候选关联规则的置信度。置信度的计算公式如式(2)所示：

$ C\left(L_{s} \Rightarrow L_{k-s}\right)=N\left(L_{k}\right) / N\left(L_{s}\right) $

(2)

其中：C(L_s$ \Rightarrow $L_{k$ - $s})表示关联规则L_s$ \Rightarrow $L_{k$ - $s}的置信度；N(L_k)表示在与当前实体相关的数据集中L_k出现的次数；N(L_s)表示L_s出现的次数。

3) 根据设置的置信度阈值β，判断每个候选关联规则的置信度是否大于等于阈值β，将大于等于阈值的关联规则保留得到关联规则集。

2.2.3 实体关联关系获取

基于得到的关联规则集，保留实体之间相同的关联规则集，选取相同关联规则集中的关键词得到2个实体之间的关系。

2.2.4 实体关联规则发现的伪代码描述

实体关联规则发现的伪代码如下：

输入   实体相关数据集D₁，D₂，…，D_n，α，β

输出   实体间关系集R

for D in D_n：

L₁ =find_frequent_1_itemsets(D)；//找出1_频繁项集L₁

for(k=2；L_k-1！=null；k++){//候选频繁项集

C_k=apriori_gen (L_k-1)

for each t in D{

C_t=subset (C_k，t)

for each c in C_t

c.count ++}

L_k={c∈C_k | c.count ≥α}

//得到支持度不小于最小支持度的频繁项集}

C={l∈L_k，l.conf ≥ β}

//得到支持度不小于最小置信度的关联规则集

R=common(C)

//返回实体间共同关联规则

2.3 基于LDA主题发现的实体关系获取 2.3.1 LDA主题抽取

将与每个实体相关的数据分别合并形成一篇实体主题文档，对各个文档数据做分词等预处理，对预处理后的数据做LDA主题抽取，抽取过程如下：

1) 设置主题数K，设置合适的超参数向量α、β，α控制实体主题文档的主题稀疏性，β控制主题中词的稀疏性，α设置为50/k，k为设置的主题个数，β设置为0.01。

2) 对应每个实体主题文档中的每一个词，随机赋予一个主题编号k。

3) 重新扫描语料库，对于每一个词，利用Gibbs采样公式P(topic/doc)P(word/topic)更新其主题编号，并更新语料库中该词的编号。

4) 重复第3)步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。

5) 统计语料库中的每个实体主题文档中各个词所属主题，得到实体主题分布θ_d，统计语料库中各个主题词的分布，得到LDA的主题与词的分布β_k。

2.3.2 主题关系获取

根据得到的实体主题文档的主题概率分布，筛选出含有共同主题词的主题文档，根据式(3)计算主题文档的主题概率分布之间的差异程度：

$ D=\sum \frac{1}{{n}^{2}}\mathrm{l}\mathrm{g}\frac{{P}_{x}}{{Q}_{x}} $

(3)

其中：D是主题分布的差异性；n是2个主题分布中相同主题词的个数；P_x、Q_x是不同主题分布中同一主题词的概率，2个主题分布的差异程度越小，则该主题分布所相关的实体主题文档之间的关联程度就越高。

2.3.3 LDA主题发现的伪代码描述

LDA主题发现的伪代码如下：

输入   实体主题文档分词结果，超参数α和β，主题数K

输出    主题分布向量θ_d，实体主题文档关联度c

for all document m do：//初始化

for all words in document m do：

sample topic index z(m，n) = k~Mult(1/k)

n(m，k) + = 1；n(k，n) + = 1；n(m) + = 1：n(k) + = 1；

while not finished do：//Gibbs采样

for all document m do：

for all words n in document m do：

n(m，k)-=1；n(k，n) - = 1；n(m) - = 1：n(k) - = 1；

sample topic index k ~ p(z | z(not n)，w)；

n(m，k)+=1；n(k，n) + = 1；n(m) + = 1：n(k) + = 1；

if converged then：

compute θ_d；

compute β_k；

c_w1 = common(t₁，t₂，θ_d)；//计算实体主题文档关联度

c_w2 = common(t₁，t₂，θ_d)；

for each c in c_w1，c_w2：

D + = log_a (c.p₁/c.p₂)

if D < = 0.1

return c

2.4 EA-LDA算法

EA-LDA算法描述如下：

1) 对原始文本数据进行数据清洗、数据分词、去停用词等操作得到预处理后的数据集。

2) 扫描数据集，得到满足支持度阈值α的k项频繁关键词集，基于k项频繁关键词集组合得到候选关联规则集，将所有满足置信度阈值β的关联规则加入关联规则集。

3) 保留关联规则集中两两实体之间存在的共同关联规则集，将共有关联规则集中的关键词保留作为两实体之间的关系。

4) 基于整理得到的部门实体主题文档，采用Gibbs采样公式迭代更新每一个词的主题编号，统计各个词所属主题和各个主题词的概率分布，得到部门实体主题文档的主题分布β_k。

5) 统计存在共同主题的主题分布，计算主题分布之间的差异程度，将差异程度小于0.1的两主题分布中的共同主题词作为2个实体之间的关系。

6) 对于新发现的实体间关系，在存储知识图谱的数据库中查找与该关系相关的实体，并将新关系加入数据库中，更新原有知识图谱，得到关系扩展后的知识图谱。

3 实验结果与分析 3.1 实验数据

本文实验使用市长信箱诉求数据，每条诉求数据包括诉求工单编号、问题描述、单位标示和办理单位，涉及不同的政府部门，共有230 824条数据。实验针对市长信箱诉求数据挖掘部门之间的关联关系，构建部门知识图谱。

3.2 数据预处理

由于关联分析是对关键词集进行处理，而每条诉求数据中的问题描述是一个句子或多个句子。在进行部门关系发现之前，需对获取的原始诉求数据进行数据预处理，把连续的汉字序列划分成一系列单独的词语即分词，之后将词语作为文本数据的基本单位，采用开源的结巴(Jieba)分词算法，对文本集的全部语句进行分词得到需要的数据。分词处理后的词语中还包含一些虚词和禁用词，如“的”“了”等，需要对这些无实际意义的词语进行筛选工作，即去除停用词。去除停用词使用一个停用词表，扫描并识别出停用词后删除。

3.3 实体间关联分析 3.3.1 实体间关联关系发现

将预处理后得到的关键词集作为实验的文本数据集，为每个部门实体构建一个数据集，对任意2个部门之间的关键词集做关联分析。在本文实验中，部门实体作为关联分析的主要对象，设置支持度为0.05，置信度为0.1，通过实体间关联规则挖掘，得到2个部门的关联规则集，将关联规则中的关键词作为节点，具有关联规则的节点之间连接，得到关联关系图。

根据得到的部门实体之间的关联规则结果，将共有关联规则集中的关键词集作为实体间关系。具体分析结果如下：市交警支队、市城乡交通运输局之间通过“车辆”“车牌号”“道路”“行驶”等关键词存在关联，因此这2个部门通过“交通”“车辆”问题关联，如图 1所示。

市公安局和市城市管理局之间通过“噪音”“扰民”“制止”“休息”等关键词存在关联，这2个部门所处理的问题中的都存在施工、扰民问题，市城市管理局主要管理城市环境卫生设施建设方面，市公安局的职能之一是维护社会治安秩序，故2个部门在处理施工扰民问题上存在关联，如图 2所示。

市住房、城乡建设局、济南市税务局之间通过“开发商”“购房”等关键词存在关联，市民在购房时会跟这2个部门产生关系，两部门存在业务流程前后关系，即市住房和城乡建设局处理在购房时的购买、签约等问题，济南市税务局处理购房时的税务问题，如图 3所示。

市医疗保障局和市社会保险事业中心之间通过“社保”“缴纳”“知识库”等关键词联系起来，2个部门都与“社保”问题存在关联，如图 4所示。

市城乡水务局和市供电公司之间通过“业主”“缴纳”“尽快恢复”等关键词联系起来，这2个部门都与业主的费用缴纳、日常生活存在关系，故2个部门存在关联，如图 5所示。

3.3.2 基于部门实体数据的主题关系发现

基于预处理后的数据集，根据为各个实体构建的相关数据集，对每个实体相关数据做LDA主题分析，设置每个部门实体的主题个数为10，得到每个部门的主题概率分布。筛选出存在共同主题关键词的主题概率分布，计算两两主题概率分布之间的差异程度，差异度越趋向于0，则2个实体之间的关联度越大，计算结果如表 1所示。差异度小于0.1的实体主题分布中的共同主题词即为部门实体之间的关系。

实体数据主题间关联关系分析结果如下：

历城区政府与市公安局主题分布差异度D=0.080 0，实体关联性较大，2个主题分布中均存在“户籍”“居民”“办理”等主题，两部门之间通过居民户籍办理存在关联，如图 6所示。

济阳区政府和商河县政府主题分布差异度D=0.001 9，实体关联性较大，2个主题分布中均存在“土地”“灌溉”“村民”等主题，2个部门都存在土地灌溉问题，如图 7所示。

市城管局和历下区政府主题分布差异度D=0.140 0，实体间关联性较大，2个主题分布中均存在“施工”“影响”“小区”等主题，2个部门通过施工问题相关联，如图 8所示。南部山区管委会和天桥区政府主题分布差异度D=0.02，实体间关联性较大，2个主题分布中均存在“垃圾”“清理”等主题，2个部门都存在垃圾清理问题，如图 9所示。

3.4 部门知识图谱关系扩展

基于部门实体关联分析和主题分析得到的结果，将新发现的部门之间的关系以三元组的形式添加到原有知识图谱数据库中，并采用D3.js作图实现部门知识图谱的可视化，知识图谱将每个部门作为节点，2个部门之间的关系作为边构建而成，如图中市城市管理局和市公安局之间通过“噪音”“扰民”问题联系起来，槐荫区政府和历下区政府通过“上学”“户籍”问题联系起来等，初步构建的知识图谱和关系扩展后的部门知识图谱分别如图 10和图 11所示。

3.5 实验比较

与文献[26]基于jena的规则推理方法比较、针对部门数据集、实体间关系部分对比结果如表 2所示。基于jena的规则推理结果如图 12所示，扩充后的知识图谱如图 13所示。从表 2对比结果和图 12可以看出，基于jena的规则推理方法得到的实体关系多为文本中各类实体间的关系，如交警、处罚、行人等，对于部门知识图谱包括大量的冗余信息，没有获得隐藏的部门实体间的关系。本文方法挖掘了较多深层次的部门实体间关系，如商河县政府与济阳县政府具有共同的土地灌溉问题等。由此可知，本文提出的EA-LDA方法可以更有针对性地挖掘出隐藏在部门实体之间的关系，有助于发现部门实体间共同存在的问题，可以有效地应用于领域实体间关系发现，优于基于jena的规则推理方法。

4 结束语

本文提出一种基于实体关联规则与主题分析的方法来扩展领域实体间的关系。针对具体领域相关数据，采用关联规则挖掘实体之间的关联关系，根据LDA主题分析方法分析实体相关数据集主题之间的关系，进而得到领域实体之间隐藏的关系，将新发现的关系融合进原有领域知识图谱，丰富领域知识图谱。实验结果表明，与基于jena规则推理方案相比，该方法能更准确更全面地扩展实体之间的关系。下一步将研究多领域间知识图谱的自动融合与动态更新，即对多个知识图谱中的实体关系进行评估，发现图谱间的联系，从而实现自动融合，对于不断更新的结构化和半结构化的知识，将其自动更新到知识图谱中。