«上一篇 下一篇»
  计算机工程  2020, Vol. 46 Issue (2): 80-87, 102  DOI: 10.19678/j.issn.1000-3428.0053625
0

引用本文  

李娜娜, 胡坚剑, 顾军华, 等. 深度置信网络优化模型在人才评价中的应用[J]. 计算机工程, 2020, 46(2), 80-87, 102. DOI: 10.19678/j.issn.1000-3428.0053625.
LI Nana, HU Jianjian, GU Junhua, et al. Application of Optimized Deep Belief Network Model in Talent Evaluation[J]. Computer Engineering, 2020, 46(2), 80-87, 102. DOI: 10.19678/j.issn.1000-3428.0053625.

基金项目

河北省人力资源和社会保障课题(JRSHZ-2019-02014)

通信作者

张亚娟(通信作者), 实验师

作者简介

李娜娜(1980-), 女, 副教授, 主研方向为数据挖掘;
胡坚剑, 硕士研究生;
顾军华, 教授、博士生导师

文章历史

收稿日期:2019-01-09
修回日期:2019-03-18
深度置信网络优化模型在人才评价中的应用
李娜娜1,2 , 胡坚剑1 , 顾军华1,2 , 张亚娟1     
1. 河北工业大学 人工智能与数据科学学院, 天津 300401;
2. 河北省大数据计算重点实验室, 天津 300401
摘要:针对深度置信网络(DBN)权值随机初始化容易使网络陷入局部最优的问题,引入改进的和声搜索(IHS)算法,提出基于IHS的DBN模型(IHS-DBN)。在和声搜索算法的基础上,利用全局自适应的和声音调调整方式,提升算法收敛速度和后期局部搜索能力。将DBN重构误差函数作为IHS算法的优化目标函数,通过不断迭代优化解向量为DBN寻找一组较优的初始权值进行网络训练,并在MNIST数据集上验证IHS-DBN模型的有效性。IHS-DBN模型在高校人才评价中的应用结果表明,与DBN、SVM和BP神经网络评价模型相比,IHS-DBN模型的评价准确率分别提高3.6%、7.3%和16.4%。
关键词深度置信网络    随机初始化    和声搜索算法    音调调整    人才评价    
Application of Optimized Deep Belief Network Model in Talent Evaluation
LI Nana1,2 , HU Jianjian1 , GU Junhua1,2 , ZHANG Yajuan1     
1. School of Artificial Intelligence and Data Science, Hebei University of Technology, Tianjin 300401, China;
2. Key Laboratory of Big Data Computation of Hebei Province, Tianjin 300401, China
Abstract: Traditional Deep Belief Networks(DBN) are often limited within local optimum due to the random initialization of weights.To address the problem, this paper introduces an improved Improved Harmony Search(IHS) algorithm into traditional DBN to construct an IHS-based DBN model, called IHS-DBN.Firstly, to improve the convergence speed and local search ability of the Harmony Search(HS) algorithm, the globally adaptive method of adjusting harmony tone is used.Secondly, the reconstruction error function of DBN is taken as the optimization objective function of the IHS algorithm.Then the solution vector is iteratively optimized to find a set of more optimal initial weights for DBN training.The proposed model is tested on the MNIST dataset for talent evaluation in colleges to verify its effectiveness.Results show that the accuracy of the HIS-DBN model is improved by 3.6%, 7.3% and 16.4% respectively compared with DBN, SVM and BP neural network evaluation models.
Key words: Deep Belief Network(DBN)    random initialization    Harmony Search(HS) algorithm    tone adjustment    talent evaluation    
0 概述

人才评价是高校人才管理的基础, 也是高校选拔人才和岗位调整的重要依据, 对高校资源整合和人才队伍建设具有重要意义。目前用于人才评价的方法主要有专家经验法和人工智能法两大类。专家经验法包括模糊综合评价法[1]、层次分析法[2]等, 该类方法构建的评价模型简单, 评价结果具有较大的主观性和不确定性。人工智能法以BP神经网络[3]和支持向量机(Support Vector Machine, SVM)[4]为主。BP神经网络有很强的自主学习能力和复杂非线性函数拟合能力, 但由于网络权值随机初始化, 使得网络在训练过程中容易陷入局部最优, 降低了网络准确率。SVM方法能够较好解决传统算法中存在的非线性、局部最小值等问题, 但在处理多分类问题上存在收敛慢和预测精度低等缺点。随着人才评价数据的不断增长, 影响评价的因素越来越多, 而现阶段基于人工智能的评价方法多为3层浅层网络, 难以有效处理复杂输入和输出的关系。近年来, 深度学习的快速发展为人才评价提供一种新的思路。

深度置信网络(Deep Belief Network, DBN)是一种经典的深度学习方法, 由多个受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)组合而成, 因其优秀的特征学习能力被广泛应用于解决分类[5-7]、预测[8-9]等问题, 并且取得了较好的效果。文献[10]将自适应学习率引入到传统DBN无监督训练中, 解决了固定学习率难以寻找全局最优及训练时间长等问题, 并将其应用于图像分类。文献[11]在RBM中加入交叉熵稀疏惩罚因子, 使隐层单元具有整体稀疏性, 解决了RBM在训练过程中出现的特征同质化现象。文献[12]在RBM模型线性单元中加入独立高斯分布的连续值, 解决了传统RBM可视层只接受二进制数的限制, 并在时间序列预测问题上取得较好的效果。文献[13]从人脑结构中的胶质神经细胞得到启发, 将胶质细胞的运作原理运用到DBN中, 提出的改进DBN模型可以更好地提取抽象图形特征。上述DBN改进方法虽然在一定程度上提高了网络性能, 但仍存在因随机初始化权值导致网络训练过程中容易陷入局部最优的问题。

本文在传统DBN模型中引入一种改进的和声搜索(Improved Harmony Search, IHS)算法形成IHS-DBN模型, 利用IHS算法的全局寻优能力对DBN的初始权值进行赋值, 以加快网络收敛速度并提高预测准确率。

1 基础理论 1.1 深度置信网络

DBN是一种概率生成模型, 通过训练神经元之间的权重, 可以使整个神经网络按照最大概率来生成训练数据[14]。同时, DBN是一种深层神经网络, 采用自底向上的传递, 底层的神经元接收原始输入数据向量, 通过增加网络的层数不断提取原始数据的深层特征, 顶层神经网络将提取的特征用作网络输出。DBN结构如图 1所示。DBN是由多个RBM和一层反向传播(Back Propagation, BP)网络构成[15], 其中, w为RBM显层与隐层之间的权值, hn为第n层隐层各神经元的状态, vn为第n层显层各神经元的状态。

Download:
图 1 DBN结构 Fig. 1 DBN structure
1.1.1 受限玻尔兹曼机

RBM是随机神经网络模型, 单个的RBM由显层(v)和隐层(h)构成, 每层有若干个节点, 不同层节点之间完全连接, 同一层中的节点无连接[16], RBM采用无监督的方式训练, 其能量公式如式(1)所示。

$ E_{(\boldsymbol{v}, \boldsymbol{h} | \boldsymbol{\theta)}}=-\sum\limits_{i=1}^{n} \boldsymbol{a}_{i} \boldsymbol{v}_{i}-\sum\limits_{j=1}^{m} \boldsymbol{b}_{j} \boldsymbol{h}_{j}-\sum\limits_{i=1}^{n} \sum\limits_{j=1}^{m} \boldsymbol{v}_{i} w_{i j} \boldsymbol{h}_{j} $ (1)

其中, θ={w, a, b}是模型参数, vihj分别表示显层第i个节点的状态和隐层第j个节点的状态, w是显层与隐层之间的权重矩阵, aibj分别是显层和隐层的偏置, mn分别为隐层和显层神经元个数。

该模型显层节点和隐层节点的联合概率分布公式如式(2)所示。

$ P_{(\boldsymbol{v}, \boldsymbol{h} | \boldsymbol{\theta})}=\frac{{\rm e}^{-E_{(\boldsymbol{v}, \boldsymbol{h} | \boldsymbol{\theta})}}}{\sum\limits_{\boldsymbol{v}, \boldsymbol{h}} {\rm e}^{-E(\boldsymbol{v}, \boldsymbol{h} | \boldsymbol{\theta})}} $ (2)

其中, $\sum\limits_{\boldsymbol{v}, \boldsymbol{h}} {\rm e}^{-E(\boldsymbol{v}, \boldsymbol{h} | \boldsymbol{\theta})} $为归一化因子。

根据贝叶斯公式, 可推导出可见单元和隐含单元的激活概率分别如式(3)、式(4)所示。

$ P_{\left(\boldsymbol{h}_{j}=1 | \boldsymbol{v}\right)}=f\left(\boldsymbol{b}_{j}+\sum\limits_{i} \boldsymbol{v}_{i} w_{i j}\right) $ (3)
$ P_{\left(\boldsymbol{v}_{j}=1 | \boldsymbol{h}\right)}=f\left(\boldsymbol{a}_{j}+\sum\limits_{i} \boldsymbol{h}_{i} w_{i j}\right) $ (4)

其中, f为Sigmoid激活函数。RBM模型学习的标准算法是对比散度(Contrastive Divergence, CD)算法, 学习目标是降低模型整体能量。算法参数更新公式如式(5)~式(7)所示。

$ \left(w_{i j}\right)_{n}=\left(w_{i j}\right)_{n-1}+\varepsilon\left(\left\langle\boldsymbol{v}_{i} \boldsymbol{h}_{j}\right\rangle_{\mathrm{data}}-\left\langle\boldsymbol{v}_{i} \boldsymbol{h}_{j}\right\rangle_{\mathrm{model}}\right) $ (5)
$ \left(\boldsymbol{a}_{i}\right)_{n}=\left(\boldsymbol{a}_{i}\right)_{n-1}+\varepsilon\left(\left\langle\boldsymbol{v}_{i}\right\rangle_{\mathrm{data}}-\left\langle\boldsymbol{v}_{i}\right\rangle_{\mathrm{model}}\right) $ (6)
$ \left(\boldsymbol{b}_{j}\right)_{n}=\left(\boldsymbol{b}_{j}\right)_{n-1}+\varepsilon\left(\left\langle\boldsymbol{h}_{j}\right\rangle_{\mathrm{data}}-\left\langle\boldsymbol{h}_{j}\right\rangle_{\mathrm{model}}\right) $ (7)

其中, ε为学习率, 〈·〉data表示原输入值, 〈·〉model表示输入的重构值。

1.1.2 BP神经网络

BP神经网络主要对RBM预训练过程中提取的特征向量进行分类, 并计算分类结果与期望结果之间的误差, 通过反向传播将误差逐层回传并调整DBN的参数。在传播过程中通过每层δ的值向下传递修改网络权值。

在输出层中, 第i个节点的输出为oi, 期望输出为di, δ计算公式如式(8)所示。

$ \delta_{i}=o_{i}\left(1-o_{i}\right)\left(d_{i}-o_{i}\right) $ (8)

对于第l个隐层, 第i个节点输出为yil, δ的计算公式如式(9)所示。

$ \delta_{i}^{l}=y_{i}^{l}\left(1-y_{i}^{l}\right) \sum\limits_{i} w_{i j}^{l} \delta_{j}^{l+1} $ (9)

DBN各层权值更新公式如式(10)所示。

$ w_{i j}^{l}=w_{i j}^{l}+\eta \times y_{i}^{l} \delta_{j}^{l+1} $ (10)
1.2 和声搜索算法

和声搜索(Harmony Search, HS)算法是一种元启发式算法[17], 该算法模拟音乐创作原理, 在音乐创作中, 乐师通过不断调整乐队中各乐器的音调, 最终达到和声状态。HS算法具有概念简单、参数少、寻优能力强等优点[18], 可应用于神经网络参数优化[19-20]等领域。HS算法的主要步骤如下:

1) 初始化算法参数。参数包括和声记忆库大小(HMS)、和声记忆库选择概率(HMCR)、音调调整步长(BW)、音调调整概率(PAR)和迭代次数(N)。

2) 确定优化目标函数。

3) 初始化和声记忆矩阵。从X的解空间中随机生成HMS个和声X1, X2, …, XHMS放入和声记忆库, 并计算每个和声的f(X)值, 和声记忆库的形式如式(11)所示。

$ \boldsymbol{H}_{\mathrm{HM}}=\left[\begin{array}{c} {\boldsymbol{X}^{1}} \\ {\boldsymbol{X}^{2}} \\ {\vdots} \\ {\boldsymbol{X}^{\mathrm{HMS}}} \end{array}\right]=\left[\begin{array}{ccccc} {x_{1}^{1}} & {x_{2}^{1}} & {\cdots} & {x_{n}^{1}} & {f\left(\boldsymbol{X}^{1}\right)} \\ {x_{1}^{2}} & {x_{2}^{2}} & {\cdots} & {x_{n}^{2}} & {f\left(\boldsymbol{X}^{2}\right)} \\ {\vdots} & {\vdots} & {} & {\vdots} & {\vdots} \\ {x_{1}^{\mathrm{H.S}}} & {x_{2}^{\mathrm{HMS}}} & {\cdots} & {x_{n}^{\mathrm{HMS}}} & {f\left(\boldsymbol{X}^{\mathrm{HMS}}\right)} \end{array}\right] $ (11)

4) 生成新的和声。随机产生一个介于0~1之间的随机数r1, 通过与HMCR值进行比较, 按顺序逐个生成新的和声向量Xnew={x1new, x2new, …, xnnew}中的每个和声元素xinew, xinew的生成方式如式(12)所示。

$ x_{i}^{\text {new }}=\left\{\begin{array}{l} {x_{i}^{\text {new }} \in\left\{x_{i}^{1}, x_{i}^{2}, \cdots, x_{i}^{\text {HMS }}\right\}, r_{1} \leqslant \text { HMCR }} \\ {x_{i}^{\text {new }} \in X_{i}, r_{1}>\operatorname{HMCR}} \end{array}\right. $ (12)

在生成xinew后, 随机产生一个介于0~1之间的随机数r2, 通过与PAR值进行比较判断是否微调音调, 微调方式如式(13)所示。

$ x_{i}^{\text {new }}=\left\{\begin{array}{l} {x_{i}^{\text {new }} \pm \operatorname{rand}(0, 1) \times \mathrm{BW}, r_{2} \leqslant \mathrm{PAR}} \\ {x_{i}^{\text {new }}, r_{2}>\mathrm{PAR}} \end{array}\right. $ (13)

5) 更新和声记忆库。计算f(Xnew), 若f(Xnew) < f(Xworst), 则Xnew将代替和声Xworst, 否则不进行修改。

6) 检查算法是否终止。重复步骤4、步骤5, 直至迭代次数达到N

2 基于IHS算法的深度置信网络模型 2.1 改进的和声搜索算法

在原始的和声搜索算法中, 主要通过两种方式产生新和声:1)在解空间随机生成; 2)从和声记忆库中选取。这两种方式都通过BW对音调进行调整优化[21], 因此音调调整在HS算法搜索机制中起着至关重要的作用。

在原始HS算法搜索过程中, 如果采用较小的BW值, 则新和声的产生集中在一个较小的区域, 使算法容易陷入局部最优, 并且在搜索初期, 和声记忆库的解向量多样性不足, 而如果采用较大的BW值, 则有利于算法跳出局部最优, 但后期的局部搜索能力不足, 不利于算法在局部区域精细搜索, 因此固定的BW值将会导致算法的整体性能下降。针对该问题, 为有效提高HS算法的搜索能力, 在粒子群智能优化概念的启发下, 本文提出一种全局自适应调整算法。该算法利用粒子群优化算法的学习策略, 其中和声记忆库中的最优和声相当于全局最优和声, 和声记忆库中的最差和声相当于目前搜索到的最优和声, 充分利用最优和最差和声信息, 提高算法学习效率。同时, 该算法提出一种新的和声微调规则, 以某种概率选择在同一维度上最优和声和最差和声与被选择的和声之差作为音调带宽。该规则使得音调带宽在算法搜索过程中自适应变化, 既满足算法早期需要增加解向量多样性的要求, 又能提高算法后期的局部搜索能力, 使算法收敛到更接近最优解。实现方式如式(14)所示。

$ x_{i}^{\text {new }}=\left\{\begin{array}{l} {x_{i}^{r}+\operatorname{rand}() \times\left(x_{i}^{\text {best }}-x_{i}^{r}\right), \text { rand }() \leqslant \beta} \\ {x_{i}^{r}-\text { rand }() \times\left(x_{i}^{\text {worst }}-x_{i}^{r}\right), \text { rand }()>\beta} \end{array}\right. $ (14)

其中, xinew是新和声的第i个音调, xibest表示和声记忆库中最优和声的第i个音调, xiworst表示和声记忆库中最差和声的第i个音调, xir表示从和声记忆库中随机选择的第r个和声的第i个音调, β是搜索方向选择概率。

在迭代初期, 所有和声向量在解空间中广泛分布, 种群多样性良好, β值较大, 和声进行微调时更趋向于全局最优和声进行调整, 有利于快速搜索更好的和声向量。在迭代中期, β固定为0.5, 利用最优自适应调整可以在全局最优和声附近搜索更好的和声音调, 并且最差自适应调整可以作为防止算法陷入局部最优的一个补充。在迭代后期, 和声比较接近于最优和声, β设置较小, 和声趋向于最差和声调整, 扩大搜索范围, 寻找更接近于全局最优的和声。

基于上述考虑, 将β值设置为随迭代次数动态变化, 表达式如式(15)所示。

$ \beta=\left\{\begin{array}{l} {1-k / N, k<N / 2} \\ {0.5, N / 2 \leqslant k \leqslant 3 N / 4} \\ {7 k / 5 N-0.9, 其他} \end{array}\right. $ (15)

其中, k为当前迭代次数, N为最大迭代次数。β值随迭代次数的变化情况如图 2所示。

Download:
图 2 β值随迭代次数的变化 Fig. 2 β value changing with the number of iterations

算法1  IHS算法

输入  I记忆库X={X1, X2, …, XHMS}, 解向量维数D, 最大迭代次数N, 音调选取概率HMCR

输出  最优和声Xbest

1.for i=1 to HMS do

2.for j=1 to D do //循环生成新的和声

3.xij=xjL+rand()×(xjU-xjL);

4.Calculate f(xi)

5.end for

6.n=0, while n < N do//产生新和声

7.for j=1 to D do

8.if rand()≤HMCR then

9.xjnew=xjr(r∈1, 2, …, HMS);

10.Calculate β; //通过式(15)计算β值

11.if and()≤β then

12.xjnew=xjnew+rand()×(xjbest-xjnew);

13.else

14.xjnew=xjnew+rand()×(xjworst-xjnew);

15.end if

16.else

17.xjnew=xjL+rand()×(xjU-xjL);

18.end if

19.end for

20.if f(Xbest) < f(Xworst) then//更新和声记忆库

21.Xworst=Xbest;

22.end if

23.g=g+1;

24.end while

25.return Xbest

2.2 IHS-DBN模型原理

DBN是由多个RBM组成的模型, 每个RBM包含一组输入单元, 通过贪婪逐层训练的方法学习更深层次的特征。基于该模型结构, 本文将IHS算法引入到DBN中提出一种基于IHS算法的DBN(IHS-DBN), 通过IHS搜索得到RBM的初始权值, 然后利用CD算法对输入数据进行训练得到隐层并重构显层, 将隐层的输出作为下一个RBM的输入, 层层训练网络, 最终得到一个深层次的DBN模型。IHS-DBN算法步骤如下:

1) 初始化算法1参数。

2) 确定优化目标函数及解的搜索范围。采用RBM的平均重构误差函数构造目标函数, 定义如式(16)所示。

$ R_{\mathrm{RE}}=\frac{1}{n} \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{d}\left(v_{i j}^{t}-v_{i j}^{r}\right)^{2} $ (16)

其中, n为样本个数, d为输入维度, vijt为显层节点的真实值, vijr为重构值。

3) 初始化HHM并记录每个和声对应的目标函数值。

4) 通过算法1迭代搜索直到满足停止条件, 选择一组全局最优解初始化第一个RBM的权值。

5) 使用CD算法对第一个RBM进行特征学习训练, 并将学习到的特征作为下一个RBM的输入特征, 重复步骤1~步骤4直到所有RBM训练完成。

6) 使用所有RBM的权值和偏置作为整个网络的初始参数, 利用梯度下降法微调整个IHS-DBN模型。

为更加直观地描述IHS-DBN的训练过程, 给出具体的优化流程, 如图 3所示。

Download:
图 3 基于IHS算法的DBN模型优化流程 Fig. 3 Optimization process of DBN model based on the IHS algorithm
2.3 模型性能验证

为验证IHS-DBN模型的性能, 本文在Window 10(64位)操作系统、Intel Core i5-5200U CPU @3.6 GHz、8 GB RBM、Python3.5环境下, 采用MNIST标准手写体库数据集进行实验, 样本数据中包含0~9共10个阿拉伯数字的手写图像。实验中将样本数据归一化处理后, 图像大小为28像素×28像素, 并以标准灰度图进行存储, 共包含60 000个训练样本和10 000个测试样本。为保证实验的高效性和准确性, 实验过程中采用小批量数据模式, 批处理大小为100。

2.3.1 实验参数设置

本文实验主要为验证HS算法与IHS算法对DBN的优化效果, 因此, 将两种算法都在相同的DBN网络中进行优化。DBN的输入层节点数为784, 网络包含两个隐层, 其节点数为100~500, 输出层为Logistic分类层。两种算法的和声记忆库大小为50, 其中, IHS算法和HS算法的和声记忆库选择概率均为0.90, 音调调整概率为0.25, 音调调整步长为0.06, 迭代次数为100, 权值W的搜索范围为[0, 1]。

2.3.2 实验结果

在固定DBN网络结构的前提下, 分别用HS算法和IHS算法对网络初始权值进行优化选择, 然后在相同环境下对不同模型进行训练, 其中无监督的预训练迭代次数设为50次, 有监督的微调训练迭代次数设为100次, 3种模型在MNIST数据集上的分类误差率随迭代次数的变化情况如图 4所示。为保证实验数据的准确性, 结果均为10次实验的平均值。

Download:
图 4 MNIST数据集分类误差率 Fig. 4 Classification error rate on MNIST dataset

图 4可以看出, 随着迭代次数的增加, 3种模型的分类误差均表现为下降趋势, IHS-DBN反向传播迭代次数在20次后, 网络开始趋于稳定, 而HS-DBN和DBN模型在迭代次数达到50次后才趋于稳定, 因此在相同网络结构下, 本文提出的模型收敛速度最快, 并且最终模型的误差率最小。3种模型在MNIST数据集上的训练结果如表 1所示。

下载CSV 表 1 MNIST数据集训练结果 Table 1 Training results on MNIST dataset

表 1实验结果可知, 本文IHS-DBN模型的误差率为2.87%, 相比传统DBN模型误差率降低了17.5%, 训练时间缩短14.8%;相比HS-DBN模型误差率降低了15.3%, 训练时间缩短10.27%, 并且本文模型的准确率和召回率也高于其他两种模型。

由上述实验数据可以看出, IHS-DBN模型在误差率、召回率、准确率和训练时间上均优于DBN模型和HS-DBN模型。相比于DBN模型, IHS-DBN模型通过IHS算法优化网络的初始权值, 使网络在训练初期就得到一个较优的参数, 从而加快网络收敛速度, 同时防止模型陷入局部最优。相比HS-DBN模型, IHS-DBN模型通过改进HS算法, 使用全局自适应和声调整方式, 提高算法局部搜索能力, 使结果更接近于真实最优解, 提升了模型整体性能。

3 IHS-DBN在高校人才评价中的应用

人才评价模型主要分为数据预处理、模型训练和评价三部分:1)对训练数据进行预处理, 选取出与评价相关的指标, 并对指标进行合理量化; 2)建立由若干个RBM和一个BP网络组成的IHS-DBN模型对训练样本数据进行训练; 3)利用训练后的模型对测试数据进行评价得出评价结果, 验证模型性能。

3.1 指标体系构建

评价指标体系中的各项指标是评价高校人才的重要依据, 是建立评价模型的基础。本文建立的指标体系主要以评价对象的主要活动作为切入点, 分析影响评价的各项因素。此外, 还参考了现有的高层次人才评价方法, 结合从事高校教师评估的专业人士的意见, 在基本情况、教学情况、科研情况中利用德尔菲法构建高校人才评价的指标体系, 该指标体系包含3个一级指标、25个二级指标, 如表 2所示。

下载CSV 表 2 评价指标体系 Table 2 Evaluation index system
3.2 数据获取与处理

本文研究采用的人才数据来源于国内一所双一流重点建设高校, 数据包括教师的基本信息、教学信息和科研信息, 经过数据清洗, 清除不完整数据及隐私数据, 只保留与本文评价指标体系相关的数据。清理后共得到1 260条完整教师数据并通过评估专家对其进行标注评价等级。在训练和测试网络时, 从1 260个样本数据中随机抽取1 000个样本作为训练样本, 并采用十折交叉检验方式验证模型的稳定性, 其余260个样本作为测试数据对模型有效性进行验证。网络输入只能是实值数据, 因此需要对指标体系中的性别、职称、学历等定性指标进行量化处理。本文采用编码的方式对其进行量化, 各指标的不同指标值对应的编码如表 3所示。

下载CSV 表 3 定性指标编码 Table 3 Qualitative indexs coding

DBN网络在训练过程中采用Sigmoid函数作为传递函数, 该函数的值域为[0, 1], 因此样本数据输入到网络前需要将所有的样本数据归一化到[0, 1]区间, 计算方式如式(17)所示。

$ Y_{i}=\frac{x_{i}-x_{\min }}{x_{\max }-x_{\min }} $ (17)

其中, Yi为归一化后的数据, xi为输入向量的实际值, xmaxxmin分别是输入向量中的最大值和最小值。

为更直观地反映人才评价结果, 本文将结果分为优良中差4个等级, 并将结果使用4位One-Hot编码表示, 优表示为1000, 良表示为0100, 中表示为0010, 差表示为0001。

3.3 实验结果与分析 3.3.1 性能指标

为更好地对预测效果进行分析, 本文实验采用均方误差(Mean Square Error, MSE)评价模型性能, MSE定义如式(18)所示。

$ M_{\mathrm{MSE}}=\frac{1}{n} \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{m}\left(Y_{i j}-Y_{i j}^{\prime}\right)^{2} $ (18)

其中, n为样本数, m为输出节点个数, Yij为样本的网络输出值, Y′ij为样本的期望输出值。

3.3.2 网络结构设置与分析

网络结构设置具体如下:

1) 网络输入层和输出层。将统计好的性别、年龄、学历等25个指标作为输入, 将评价结果优良中差4个等级作为输出, 因此网络输入层的节点数设置为25, 输出节点数设置为4, 模型训练后输出的最大值对应的评级等级即为评价结果。

2) 网络隐层层数和隐层节点个数。DBN是一个多层深度网络, 隐层层数直接影响输入特征的提取能力, 理论上认为隐层层数越多, 网络结构越复杂, 网络提取特征能力越强, 精确度越高。但随着隐层层数的增加, 训练难度将逐渐增大, 收敛速度变慢, 因此确定网络层数时应充分考虑多方面的因素。本文通过实验对隐层层数不同的网络结构性能进行分析, 实验中为不受隐层节点数的影响, 将各隐层节点数都设为10, 以输出预测数据的MSE作为评价标准, 实验结果如图 5所示, 其中结果为10次实验的平均值。

Download:
图 5 不同隐层层数的均方误差对比 Fig. 5 Comparison of mean square error of different numbers of hidden layers

实验结果表明, 当隐层层数为2时, 测试结果的均方误差最小, 因此本文将网络设置为2个隐层。然后通过遍历法来确定各隐层的节点个数, 将第一层和第二层节点数分别设为[14, 15, 16, 17, 18, 19, 20]和[8, 10, 12, 14], 组合成28种网络结构, 每种网络结构单独训练, 其每种组合的网络模型准确率对比如图 6所示。其中, 横轴代表第一隐层的神经元个数, 纵轴代表每种网络结构进行10次实验的平均评价准确率, 不同曲线代表第二隐层中不同神经元数的准确率变化, 通过对比不同组合发现, 当DBN的两层隐层节点数分别为16和10时, 准确率最高, 模型性能达到最优, 因此本文最终网络结构的输入层、两层隐层和输出层的神经元个数分别为25、16、10和4。

Download:
图 6 不同组合的隐层神经元准确率对比 Fig. 6 Accuracy comparison of neurons in different combinations of hidden layers
3.3.3 结果分析

为验证本文评价模型的有效性, 将其与传统DBN、BP人工神经网络和SVM模型进行比较, 每种模型都使用相同的数据集进行训练。DBN网络结构参数与IHS-DBN结构参数相同, 无监督训练的学习率为0.5, 有监督训练的学习率为0.1, BP人工神经网络设置为单隐层结构, 隐层节点的个数先通过经验公式初步确定, 再通过枚举法最终确定为10个, 即网络结构为25-10-4, 学习率设置为0.5, SVM采用一对多的方法来处理多分类问题, 核函数为径向基核函数, 并利用粒子群优化算法寻找最优的惩罚因子C为100, 参数σ为5.8。4种人才评价模型的实验结果对比如表 4所示。为减少偶然性, 实验结果均为执行10次实验的平均值。

下载CSV 表 4 不同人才评价模型实验结果对比 Table 4 Comparisons of experimental results of different talent evaluation models

表 4数据可知, 本文IHS-DBN模型的准确率比BPANN、SVM、DBN模型分别提升了16.4%、7.3%、3.6%。相比于BPANN和SVM模型, IHS-DBN模型充分挖掘评价指标数据的深层特征, 将输入的25个指标抽象成10个指标进行评估, 使得网络拟合能力优于浅层结构。相比于传统DBN模型, 虽然网络结构相同, 但IHS-DBN模型的拟合精度高于DBN模型, 这是因为IHS-DBN模型利用IHS算法对网络的初始权值进行优化, 加快了预训练的收敛速度, 并防止训练陷入局部最优, 从而提升模型性能, 而DBN模型通过随机方法对权值进行初始化, 未经过有效优化进行训练, 导致样本数据的拟合精度较差。此外, IHS-DBN和DBN的网络结构比BPANN和SVM复杂, 需要通过无监督训练和微调训练来完成模型的整个训练过程, 因此训练时间较长, 但由于人才评价并不需要实时的评价, 因此通过增加训练时间来获得更高的评价精度是可以被接受的。

为验证IHS-DBN模型在训练过程中的优势, 对BPANN、DBN、IHS-DBN模型在相同迭代次数下的准确率进行对比, 结果如图 7所示。为保证3种模型均收敛, 迭代次数设为200。由图 7可知, 随着迭代次数的增加, 3种模型的评价性能均表现为上升趋向, 这表明随着训练次数增多, 模型参数不断优化。然而, 3种模型的性能虽然都表现为上升趋势, 但变化趋势各不相同, 在迭代30次之前, 准确率相差不大, 但随着迭代次数的增加, 3种模型准确率之间的差距被逐渐拉大, IHS-DBN模型在迭代到100次时, 变化趋势趋于稳定, DBN模型在迭代到140次时, 变化趋势趋于稳定, 而BPANN模型的变化趋势在迭代达到190次才开始趋于稳定。这表明在相同的迭代次数下, 本文IHS-DBN模型评价性能的提升速度明显要优于其他模型。

Download:
图 7 3种模型人才评价准确率对比 Fig. 7 Comparison of accuracy of three talent evaluation models
4 结束语

本文提出一种优化的深度置信网络模型IHS-DBN, 并将其应用于高校人才评价问题中, 与BPANN和SVM评价模型相比, IHS-DBN模型通过无监督训练的方式充分提取评价指标的特征, 并结合有监督训练微调整个模型, 较好地处理复杂评价指标与评价结果的映射关系, 从而提高模型性能。与DBN评价模型相比, IHS-DBN模型利用IHS算法初始化DBN的权值, 既解决了DBN模型因随机初始化权值易陷入局部最优的问题, 又加快了模型收敛速度, 进一步提高模型性能。实验结果表明, IHS-DBN模型得到的评价结果更接近于真实情况, 对高校人才评价具有参考价值。下一步将从提高网络训练速率的角度出发对IHS-DBN模型进行优化, 以期在保证模型准确率的同时进一步提高学习效率。

参考文献
[1]
LIU Y. Research on application of fuzzy mathematics in performance evaluation of human resource management[J]. Journal of Advanced Oxidation Technologies, 2018, 21(2): 42-51.
[2]
CUI Y.Study on innovative capability evaluation of knowledge-innovation talents based on AHP: a case study on henan province[C]//Proceedings of International Conference on Business Computing and Global Informatization.Washington D.C., USA: IEEE Press, 2012: 562-564. https://ieeexplore.ieee.org/document/6382594/
[3]
CHEN Suchao, XUE Ye. Research on the evaluation of high-level innovative scientific talents based on the method of fuzzy neural network[J]. Journal of Taiyuan University of Technology, 2014, 45(3): 420-424. (in Chinese)
陈苏超, 薛晔. 基于模糊神经网络的高层次创新型科技人才的评价[J]. 太原理工大学学报, 2014, 45(3): 420-424. DOI:10.3969/j.issn.1007-9432.2014.03.031
[4]
HU Hua, YE Jing, CHAI Chunlai.A talent classification method based on SVM[C]//Proceedings of 2009 International Symposium on Intelligent Ubiquitous Computing and Education.Washington D.C., USA: IEEE Press, 2009: 160-163. https://ieeexplore.ieee.org/document/5223259/
[5]
YANG Chunde, ZHANG Lei. Image classification algorithm based on adaptive deep belief network[J]. Computer Engineering and Design, 2015, 36(10): 2832-2837. (in Chinese)
杨春德, 张磊. 基于自适应深度置信网络的图像分类方法[J]. 计算机工程与设计, 2015, 36(10): 2832-2837.
[6]
HU Zhen, FU Kun, ZHANG Changshui. Audio classical composer identification by deep neural network[J]. Computer Research and Development, 2014, 51(9): 1945-1954. (in Chinese)
胡振, 傅昆, 张长水. 基于深度学习的作曲家分类问题[J]. 计算机研究与发展, 2014, 51(9): 1945-1954.
[7]
DENG Lei, FU Shanshan, ZHANG Ruxia. Application of deep belief network in polarimetric SAR image classification[J]. Journal of Image and Graphics, 2016, 21(7): 933-941. (in Chinese)
邓磊, 付姗姗, 张儒侠. 深度置信网络在极化SAR图像分类中的应用[J]. 中国图象图形学报, 2016, 21(7): 933-941.
[8]
SHEN Furao, CHAO Jing, ZHAO Jinxi. Forecasting exchange rate using deep belief networks and conjugate gradient method[J]. Neurocomputing, 2015, 167: 243-253. DOI:10.1016/j.neucom.2015.04.071
[9]
MA Meng, SUN Chuang, CHEN Xuefeng. Discriminative deep belief networks with ant colony optimization for health status assessment of machine[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(12): 3115-3125. DOI:10.1109/TIM.2017.2735661
[10]
QIAO Junfei, WANG Gongming, LI Xiaoli, et al. Design and application of deep belief network with adaptive learning rate[J]. Acta Automatica Sinica, 2017, 43(8): 1339-1349. (in Chinese)
乔俊飞, 王功明, 李晓理, 等. 基于自适应学习率的深度信念网设计与应用[J]. 自动化学报, 2017, 43(8): 1339-1349.
[11]
HINTON G E. A practical guide to training restricted Boltzmann machines[J]. Momentum, 2012, 9(1): 599-619.
[12]
WANG S, LIU Y, ZHANG X.A differentiated DBN model based on CRBM for time series forecasting technology[C]//Proceedings of ICCT'17.Washington D.C., USA: IEEE Press, 2017: 1926-1931.
[13]
GENG Zhiqiang, ZHANG Yikang. An improved deep belief network inspired by glia chains[J]. Acta Automatica Sinica, 2016, 42(6): 943-952. (in Chinese)
耿志强, 张怡康. 一种基于胶质细胞链的改进深度信念网络模型[J]. 自动化学报, 2016, 42(6): 943-952.
[14]
SHAO Haidong, JIANG Hongkai, ZHANG Xun, et al. Rolling bearing fault diagnosis using an optimization deep belief network[J]. Measurement Science and Technology, 2015, 26(11): 1-5.
[15]
HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554. DOI:10.1162/neco.2006.18.7.1527
[16]
ZHENG J, FU X, ZHANG G. Research on exchange rate forecasting based on deep belief network[J]. Neural Computing and Applications, 2017, 10(8): 1-10.
[17]
GEEM Z W, KIM J H, LOGANATHAN G V. A new heuristic optimization algorithm:harmony search[J]. Simulation, 2001, 76(2): 60-68.
[18]
ZHANG Jie, ZHANG Ping.A study on harmony search algo-rithm and applications[C]//Proceedings of 2018 Chinese Control And Decision Conference.Washington D.C., USA: IEEE Press, 2018: 736-739. http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CPFD&filename=KZJC201806001133
[19]
HU Pianpian, ZENG Biqing. Cognitive radio spectrum prediction technology based on HS-BP neural network[J]. Computer Engineering, 2017, 43(7): 146-150, 155. (in Chinese)
胡翩翩, 曾碧卿. 基于HS-BP神经网络的认知无线电频谱预测技术[J]. 计算机工程, 2017, 43(7): 146-150, 155. DOI:10.3969/j.issn.1000-3428.2017.07.024
[20]
JI T, YANG Y, FU M, et al. Optimum design of reactive powder concrete mixture proportion based on artificial neural and harmony search algorithm[J]. ACI Materials Journal, 2017, 114(1): 41-47.
[21]
YU Hongtao, ZHU Shangzhen, LEI Yanhua.Improvement and application of harmony search algorithm[C]//Proceedings of the 10th International Conference on Computer Science and Education.Washington D.C., USA: IEEE Press, 2015: 967-970.