0 概述

图像识别是计算机视觉领域研究的热点问题之一。近年来，随着基于深度学习在图像特征提取等方面的发展，越来越多的研究人员开始利用深度学习的方法来解决图像分类问题。2012年, Krizhevsky A等人提出基于深度学习的AlexNet网络, 该网络在ImageNet图像分类大赛中, 将Top5错误率控制在15.4%以内, 超过第2名的非深度学习方法10个百分点^[1]。2015年, He Kaiming等人利用ResNet将Top5错误率控制在3.57%以内^[2]。深度网络的成功应用使得深度卷积神经网络(Convolutional Neural Network, CNN)成为图像分类中最重要的方法之一。深度卷积神经网络本质上是一种高效的特征提取方法, 该方法将提取的特征作为分类器的输入从而实现分类。然而, 此类网络的缺点是只能利用人工提供的样本, 且不能学习到样本的空间分布及更深层次理解样本的内在结构, 影响最终分类效果。

生成模型是一种能够学习到数据的潜在分布并生成新样本的模型。传统的生成模型有贝叶斯网络、高斯混合和隐马尔科夫随机场等^[3]。文献[4]在传统生成网络的基础上, 提出生成对抗网络(Generative Adversarial Network, GAN)。GAN的核心思想是同时训练生成和判别2个相互对抗的网络。训练判别网络使其可区分真实样本和生成网络生成的样本。因此, 判别网络本质上是一个二分类模型。训练生成网络使其生成尽可能真实的样本, 让判别器错误地将其判别为真样本, 达到以假乱真的效果。

文献[5]提出一种将GAN与CNN相结合的深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)模型, 使生成网络训练更加稳定, 且图像更加清晰。文献[6]提出一种条件生成对抗网络(Conditional Generative Adversarial Network, CGAN), 与原始GAN不同, CGAN训练时在生成器和判别器中加入了图像的类别标签, 从而实现图像的可控性生成。文献[7]提出一种辅助分类器生成对抗网络(Auxiliary Classifier Generative Adversarial Network, ACGAN)。与CGAN一样, ACGAN也利用图像的标签信息进行训练, 但此时只在生成器中加入标签信息便可实现图像的可控性生成。研究表明, 与CGAN网络相比, ACGAN具有更好的图像生成能力。传统的GAN属于无监督学习范畴, 文献[8-11]将GAN方法成功应用于半监督学习中, 而CGAN、ACGAN的应用又将其引入到监督学习的范畴。文献[12]提出一种基于CGAN的图像识别方法, 将生成对抗网络应用于有监督图像分类中。然而, 传统的ACGAN网络的判别器用于图像分类时, 存在训练不稳定、判别效果差等问题。

本文提出一种改进的基于ACGAN的监督图像分类算法CP-ACGAN。该算法对ACGAN的网络结构和损失函数进行改进, 同时, 在判别器中引入特征匹配(Feature Matching, FM)^[13]以提高生成样本的多样性。

1 深度生成模型 1.1 生成对抗网络

GAN模型基于最小最大二人博弈问题, 其对抗训练的方式如式(1)所示。

$ \begin{array}{*{20}{l}} { \mathop {\min }\limits_G \mathop {\max}\limits_D V(G, D) = {E_{x\sim{p_{{\rm{ data }}}}}}[ \ln D(x)] + }\\ {\quad {E_{z\sim{p_z}(z)}}[ \ln (1 - D(G(z)))]} \end{array} $

(1)

其中, E表示期望。GAN网络模型包含一个生成器G和一个判别器D, 生成器是噪声z~p_z(z)到生成样本空间G(z; θ_g)的一个映射, 而判别器D(x; θ_d)则判断输入样本x是来自真实分布还是生成分布, 因此判别器本质上是一个二分类问题。在G与D的对抗中, 生成分布p_g(x)不断靠近真实分布p(x), 最终达到Nash均衡。此时生成器可以完全拟合真实数据分布, 即p_g(x)=p(x), 从而实现生成样本的分布与真实样本分布完全一致, 达到生成真实样本的目的。GAN的2个神经网络G和D均利用传统的反向传播原理, 且计算过程不需要复杂的马尔科夫链、极大似然估计及复杂的变分下限, 因此, 可大幅降低网络的训练难度, 使模型更容易收敛。

1.2 深度卷积神经网络

原始GAN的生成器和判别器都采用全连接神经网络, 训练过程简单且计算量小, 但训练后生成的图片比较模糊, 视觉效果较差。而CNN具有强大的特征提取能力及更好的空间信息感知能力, 文献[5]提出DCGAN网络模型, 用卷积层和转置卷积层分别代替D和G中的全连接层, 使生成图像的清晰度更高。

DCGAN在网络结构上有如下改变:

1) 取消了CNN中的池化层, 在判别器中用步幅卷积代替池化, 在生成器中用fractional-strided卷积代替池化。

2) 除生成器的输出层和判别器的输入层外, 其他网络层都加入批量归一化(Batch Normalization, BN)。BN有助于降低网络对初始参数的过度依赖, 防止梯度消失及生成器收敛到同一点, 从而提高生成样本的多样性及训练网络的稳定性, 降低网络的震荡。

3) 取消全连接层。

4) 在生成器中, 除最后输出层使用Tanh激活函数外, 其他层均采用ReLU函数, 判别器中所有层均使用LeakyReLU激活函数。

1.3 辅助分类器生成对抗网络

传统的生成对抗网络都是无监督模型, CGAN将生成对抗网络应用到监督型学习方法中, 可以使标签与生成图像相对应。ACGAN在CGAN的基础上进行改进, 并结合InfoGAN^[14]中最大互信息的思想。图 1所示为ACGAN的网络结构。

ACGAN训练的目标函数如式(2)和式(3)所示。

$ {L_s} = E[ \ln p(s = {\rm real} |{x_{{\rm{data}}}})] + E[ \ln p(s = {\rm{ fake }})|{x_{{\rm{fake}}}}] $

(2)

$ {L_c} = E[ \ln p(C = c|{x_{{\rm{ data }}}})] + E[ \ln p(C = c)|{x_{{\rm{ fake }}}}] $

(3)

训练D可使L_s+L_c最大化, 训练G可使L_c－L_s最大化。从网络结构或训练目标函数可以看出, ACGAN损失函数在GAN的基础上增加了输入样本标签信息与标签后验估计值之间的交叉熵。

2 CP-ACGAN分类算法 2.1 ACGAN分类算法

ACGAN中判别器除输出样本真假判别外, 还输出输入标签的后验估计。在网络训练完成后, 输入一个样本x, 判别器就可以输出其对应于每一类的概率p(y|x), 选择使得p(y|x)最大的类别k作为输入样本x的标签, 从而对图像进行分类。

基于ACGAN的图像分类模型的生成器结构如图 2所示(以MNIST数据集为例)。生成器包括4个全连接层和5个转置卷积层, 其中, 1、3转置卷积层结构相同, 且kernel_size为4, stride为2, padding为1;2、4、5转置卷积层结构相同, 且kernel_size为5, stride为1, padding为1。

图 3所示为ACGAN模型判别器结构。判别器与生成器结构刚好相反, 但同样包括5个卷积层和4个全连接层, 其中, 1、2、4卷积层结构相同, 且kernel_size为5, stride为1, padding为1, 3、5卷积层结构相同, 且kernel_size为4, stride为2, padding为1。判别网络的输出层除输出样本真假判别外, 还输出样本标签的后验估计, 在测试集中, 即为样本标签的预测值。

2.2 CP-ACGAN算法 2.2.1 网络结构与损失函数的改进

在利用ACGAN的判别网络D进行分类时, 存在收敛速度慢、训练不稳定等问题。因此, 本文将原始的ACGAN网络结构进行改进, 其结构如图 4所示。

从图 4可以看出, 改进后的网络取消了判别器中的真假样本判别项输出, 同时在判别器中引入了特征匹配。为保证网络有效利用真假样本各自特征, 对生成器和判别器的损失函数进行改进, 将真实样本看成带标签的监督数据, 将生成样本看成有标签的假数据, 然后在判别网络的输出层连接softmax分类器, 得到真实样本的监督损失函数为:

$ \begin{array}{*{20}{l}} {{L_{{\rm{supervised}}}} = - {E_{(x, y)\sim{p_{{\rm{ data }}}}}}[ \ln p({y^\prime }|x, {y^\prime } < K + 1)] = }\\ \quad { - \frac{1}{N} \ln p({y^\prime }|x, {y^\prime } < K + 1) = }\\ \quad{ - \frac{1}{N} \ln \frac{{ {\rm exp}\; (\langle y, {y^\prime }\rangle )}}{{\sum\limits_{i = 1}^K { {\rm exp}\; } y_i^\prime }} = - \frac{1}{N}(\langle y, {y^\prime }\rangle - }\\ \quad{ \ln (\sum\limits_{i = 1}^K { {\rm exp}\; } y_i^\prime )) = CE(y, {y^\prime })} \end{array} $

(4)

其中, N为训练中一个batch内的样本数, 〈·〉表示内积, y为样本标签, y′为样本标签预测值。因此, 真实数据的损失函数为:

$ L_{\rm real}=L_{\rm supervised} $

(5)

对生成数据, 其误差包括2个部分:一部分为判别生成样本为第K+1类, 即假样本类的概率损失值; 另一部分为生成样本的输出标签y′_fake与输入标签y之间的交叉熵损失值。令L_unsupervised表示假样本类的概率期望损失, 由softmax分类器定义, 有:

$ {\rm softmax}(x)={\rm softmax}(x－c) $

(6)

令y′_K+1=0, 可得:

$ \begin{array}{*{20}{l}} {{L_{{\rm{unsupervised}}}} = - {E_{x\sim{p_g}}}[ \ln p({y^\prime } = K + 1|x)] = }\\ \quad { - \frac{1}{N} \ln p({y^\prime } = K + 1|x) = }\\ \quad{ - \frac{1}{N} \ln \frac{{ {\rm exp}\; y_{K + 1}^\prime }}{{\sum\limits_{i = 1}^{K + 1} { {\rm exp}\; } y_i^\prime }} = \frac{1}{N} \ln (1 + \sum\limits_{i = 1}^K { {\rm exp}\; } y_i^\prime )} \end{array} $

(7)

在网络中, 每个batch内生成样本的输入标签与真实样本的标签一致, 因此生成样本的生成标签y′_fake与输入标签y之间的交叉熵损失值为CE(y, y′_fake)。综上可知, 生成样本的损失为:

$ L_{\rm fake}=0.5×(L_{\rm unsupervised}+CE(y, y′_{\rm fake})) $

(8)

训练过程中交替更新生成器与判别器参数, 因此, 需要分别构建生成器和判别器的误差。

判别器D的损失函数为:

$ L_D=0.5×(L_{\rm real}+L_{\rm fake}) $

(9)

生成器G的损失函数为:

$ L_G=0.5×(L_{\rm FM}+L_{\rm unsupervised}) $

(10)

其中, L_FM=‖E_x~pdata[f(x)]－E_z~pz[f(G(z))]‖₂², 表示特征匹配的二范数损失项。

2.2.2 池化方法

池化方法作为卷积神经网络的重要步骤, 不仅可以有效提取特征, 还可以实现数据降维并防止过拟合。池化是卷积神经网络特征提取的关键步骤, 具有保持平移、旋转、伸缩不变性等特点^[16-17]。常用的池化方法包括均值池化、最大池化和随机池化等。

在DCGAN的应用中, 为使生成的图片更加高清, 在判别网络中使用转置卷积来代替池化。然而, 池化方法在分类问题上具有重要的作用, 因此, 将生成对抗网络与池化方法相结合, 使带池化的生成对抗网络可用于解决分类问题, 不仅可以使生成样本具有多样性, 还可以有效地提取特征。

基于此, 本文提出一种用于分类的生成对抗网络算法CP-ACGAN。该算法在特征匹配和重构损失函数的基础上进行改进, 将ACGAN中判别器的部分卷积层改为池化层, 并将原判别网络中的第3、5卷积层改为池化层, 而生成器结构保持不变。图 5所示为改进后的CP-ACGAN判别网络结构。

2.2.3 可行性分析

在原始GAN、ACGAN的基础上, 本文提出CP-ACGAN分类算法。GAN作为一种生成模型, 由于其较强的数据生成能力而被应用到半监督学习中。与基于GAN的半监督学习方法相比, 本文CP-ACGAN算法有以下2点改进:1)在生成数据时, 潜空间中加入了真实数据标签, 利用判别模型对样本标签做后验估计, 当最小化判别器损失函数时, 可以使生成样本的伪标签与后验估计一致, 同时也可使生成模型产生的图片与输入标签相对应, 从而进一步扩充训练样本的多样性, 提高预测准确率; 2)本文在结构模型上引入池化方法, 在GAN中, 为使生成的图片更加逼真, 通常采用步幅卷积来代替池化, 但步幅卷积分类效果较差, 池化因具有较强的特征提取功能, 更加适合分类问题, 因此本文选用池化方法。

与ACGAN相比, 本文CP-ACGAN算法进行如下2点改进:

1) 调整判别网络的输出层。基于GAN的半监督学习, 取消样本的真假判别, 只输出样本标签的后验估计。同时与ACGAN不同, 本文算法只适用于图片识别, 因此, 在生成网络中采用了池化层而取消卷积层。

2) 改变损失函数。判别网络输出层会改变损失函数, 进而更有利于提高图像识别能力。

与传统的CNN算法相比, 本文CP-ACGAN算法具有较强的图像识别能力, 主要有以下2个原因:

1) 与GAN一样, 本文CP-ACGAN算法具有拟合样本分布的能力, 可以学习到样本数据的内在分布, 能从更高层次理解样本数据的空间分布。

2) 利用GAN的强大生成能力, 不断生成新的、更加多样化的样本, 这本质上是对样本的一种有效扩充, 而CNN仅对给定的样本进行特征提取, 且依赖人为提供的样本特征。

综上, 本文CP-ACGAN算法与GAN半监督学习算法、ACGAN算法和CNN算法都有相似之处, 但又有所不同。CP-ACGAN算法分别利用ACGAN的模型特征、GAN半监督学习中判别网络输出层结构以及CNN池化算法来重构模型结构, 再重构生成器和判别器的损失函数, 从而实现基于生成模型的图像分类。

3 实验结果与分析

为进一步验证本文算法的有效性, 拟在MNIST、CIFAR10、CIFAR100及HTRU这4种数据集上分别进行实验。其中, CP-ACGAN算法的池化层均采用均值池化。

3.1 MNIST数据集

MNIST为手写字体数据集, 共60 000个训练样本以及10 000个测试样本, 每个样本对应0~9中的一个数字, 且均为28像素×28像素的二维图像数据, 展开成向量后为784维。每次训练的batchsize为100, 每组实验共训练100个epoch, 生成器和判别器均采用Adam优化, 学习率均为0.000 2。实验基于深度学习框架Pytorch实现。

对于图像分类问题, 目前最优的方法是深度卷积神经网络算法, 本文将CP-ACGAN算法与CNN算法进行比较。与ACGAN判别器相比, CNN算法的卷积层后面加入池化层, 与本文CP-ACGAN算法的判别器网络结构是一样的。因此, 本文使用CNN的均值池化和最大池化作为对比算法。图 6所示为不同算法在MNIST测试集上的准确率对比结果。

表 1所示为训练完成后不同算法在3种数据集上的最高预测准确率对比。

表 2所示为训练50个epoch后, 网络训练趋于平稳时, 不同算法的平均预测均值与方差情况。

从图 6、表 1、表 2可以看出, 与ACGAN算法相比, CP-ACGAN算法的方差较小, 即具有较好的稳定性。同时, CP-ACGAN算法的最高预测准确率为99.62%, 高于ACGAN算法的99.50%, 50个epoch后的平均预测准确率较高; 与CNN算法相比, CP-ACGAN算法具有较高的最高预测准确率和平均预测准确率。但相比CNN算法, CP-ACGAN算法的方差较大, 即稳定性较差。

图 7所示为100个epoch训练完成后, ACGAN算法与CP-ACGAN算法生成的图像。

从图 7可以看出, 虽然CP-ACGAN算法具有较好的分类效果, 但生成的图像质量比ACGAN算法差, 这与用池化来代替步幅卷积有关。

3.2 CIFAR10数据集

CIFAR10是比MNIST更加复杂的数据集, 每张图像是32像素×32像素的彩色图像, 即图像大小为3×32×32, 共包含10个类别, 每个类别5 000张图像, 即共50 000张训练图像, 另有10 000张测试图片。本文实验的网络结构与MNIST实验结构类似, 只是生成器最后的输出层输出特征数和判别器的输入层特征数均为3。图 8所示为训练完100个epoch后, 不同算法在CIFAR10数据集上的测试准确率对比结果。

表 3所示为训练50个epoch后, 不同算法的均值与方差对比结果。

从图 8、表 1、表 3可以看出, ACGAN算法在MNIST数据集上具有较好的识别效果, 但在处理复杂的CIFAR10数据集时, 识别效果较差。改进后的CP-ACGAN算法表现出极强的适应能力, 在处理复杂的CIFAR10数据集时, 识别效果优于CNN算法, 但稳定性较差。

3.3 CIFAR100数据集

CIFAR100数据集与CIFAR10数据集类似, 都是三通道彩色图像。但CIFAR100数据集共有100个类别, 每个类别共500张训练图像, 即共有50 000张训练图像, 另有10 000张测试图像。CIFAR100数据集实验中不同算法的网络结构与CIFAR10数据集相同。图 9所示为不同算法在CIFAR100数据集上的准确率对比结果。

表 4所示为当训练50个epoch, 网络逐渐趋于稳定后, 不同算法的均值与方差。

从图 9、表 1、表 4可以看出, 与CNN算法相比, ACGAN算法在复杂的CIFAR100数据集中识别效果较差。与CNN算法相比, 本文提出的CP-ACGAN算法在CIFAR100数据集上具有较强的适应能力, 但稳定性较差, 同时与ACGAN算法相比具有更小的方差, 因此, 在测试集中的稳定性较好。

综上可知, 当处理较简单的MNIST数据集时, ACGAN、CP-ACGAN算法均具有较好的分类效果; 当处理复杂的高维数据时, ACGAN表现不如CNN算法, 但本文提出的CP-ACGAN算法具有较好的分类效果。因此, CP-ACGAN算法增强了网络对复杂数据的适应能力, 且识别效果优于CNN算法。

3.4 算法应用

世界上最大口径射电望远镜(FAST)500米射电天文望远镜于2016年在贵州省平塘县建成, 寻找脉冲星是FAST的主要科学目标之一。脉冲星的识别本质上是一个二分类问题, 为确定脉冲星, 在脉冲星候选体HTRU数据集上进行实验并验证本文算法的有效性。该数据集包含1 195个正样本(脉冲星样本)和89 999个负样本(噪声信号样本), 正负样本不平衡是脉冲星侯选体的主要特征之一。图 10、图 11是正、负侯选体样本的时间频率图。

本文实验选取两类样本的Sub-Integrations图并采用自样本叠加, 在不改变样本基本轮廓的情况下将Sub-Integrations图的维度转化为64×64, 将总样本的80%作为训练集, 20%作为测试集。由于正、负样本数量差别较大, 因此本文选择精确率(P_r)、召回率(R)和F1值作为评价指标, 其计算公式如下:

$ P_{r}= \frac{{TP}}{{TP+FP}} $

(11)

$ R= \frac{{TP}}{{TP+FN}} $

(12)

$ F1=\frac{{2×P_{r}×R}}{{P_{r}+R}} $

(13)

其中, TP、FP、FN由混淆矩阵计算而来, TP表示将正类预测为正类数, FP表示将负类预测为正类数, 即误报数, FN表示将正类预测为负类数, 即漏报数。表 5所示为不同算法在HTRU上的参数计算值。

从表 5可以看出, 本文CP-ACGAN算法的各个参数均能显示更优的性能。因此, 本文算法可以对正负样本分布不均衡的脉冲星候选体数据集表现出更好的适应性, 可用于筛选脉冲星候选体。

4 结束语

本文通过分析ACGAN高清图像的合成原理及其判别器性能，提出一种基于ACGAN的图像分类算法CP-ACGAN。在原始ACGAN算法的基础上，CP-ACGAN算法通过特征匹配以改变判别器的输出层结构，引入softmax分类器并采用半监督学习思想重构生成器和判别器的损失函数，并在判别器中加入池化方法。实验结果表明，与ACGAN算法相比，CP-ACGAN算法的分类效果较好，稳定性较高，且具有较好的扩展性。通过实验结果还可以看出，与ACGAN相比，CP-ACGAN算法虽然分类效果更好，但生成的图像样本却较差，这与池化的使用相关，但并非绝对的关系，因此，下一步将分析造成这种现象的原因并提高CP-ACGAN算法生成图像的样本质量。