作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

计算机工程 ›› 2018, Vol. 44 ›› Issue (6): 147-150. doi: 10.19678/j.issn.1000-3428.0046691

• 人工智能及识别技术 • 上一篇    下一篇

一种改进的5层深度学习结构与优化方法

毛勇华1,2,代兆胜1,桂小林1   

  1. 1.西安交通大学 电子与信息工程学院,西安 710049; 2.西安工程大学 理学院,西安 710048
  • 收稿日期:2017-04-07 出版日期:2018-06-15 发布日期:2018-08-06
  • 作者简介:毛勇华(1979—),男,讲师、博士研究生,主研方向为深度学习、机器学习、分支预测;代兆胜,硕士研究生;桂小林(通信作者),教授、博士、博士生导师。
  • 基金资助:

    国家自然科学基金(61472316);陕西省重大基础研究计划项目(2016ZDJC-05);中央高校基本科研业务费专项资金(XKJC20 14008);陕西省重点研发项目(2017ZDXM-GY-011)。

An Improved 5-layers Depth Learning Structure and Optimization Method

MAO Yonghua 1,2,DAI Zhaosheng 1,GUI Xiaolin 1   

  1. 1.School of Electronics and Information Engineering,Xi’an Jiaotong University,Xi’an 710049,China; 2.School of Science,Xi’an Polytechnic University,Xi’an 710048,China
  • Received:2017-04-07 Online:2018-06-15 Published:2018-08-06

摘要:

已有研究针对5层神经网络结构中各隐层节点数的选取并不明确。为此,提出一种改进的5层深信度网络(DBN)结构设计方案与节点数量优化选择方法。将第一隐层、第二隐层节点数预估为前一层节点数的1/3至2/3间的某值,第三隐层、第四隐层节点数分别等于第一隐层和输入层的节点数,然后采用样条插值方法优化选择第一隐层、第二隐层节点数。该结构特征只需预训练前2层权重,简化了DBN的受限玻尔兹曼机预训练方法。MNINST数据集上的实验结果验证了该网络结构的高效性与高准确率。

关键词: 深信度网络, 预训练, 节点选择, 样条插值, 受限玻尔兹曼机

Abstract:

According to previous studies,the selection of the number of hidden nodes in the 5-levels neural network structure is not clear.To solve the problem,an improved 5-levels Deep Belief Networks(DBN) structure design and optimization method of nodes number is proposed.The number of the first hidden layer and the second hidden layer nodes is estimated to be 1/3 to 2/3 between the number of the first layer nodes.The number of the third hidden layer and the fourth hidden layer nodes equals the first of the number of hidden layer and input layer nodes,and then the first hidden layer and the second hidden layer nodes number is optimized by spline interpolation method.The structure features only 2-layers of weight before pre-training,which simplifies the Restricted Boltzmann Machine(RBM) pre-training method of DBN.Experimental results on the MNINST dataset verify the efficiency and high accuracy of the network structure.

Key words: Deep Belief Networks(DBN), pre-training, node selection, spline interpolation, Restricted Boltzmann Machine(RBM)

中图分类号: