0 概述

肺癌的前期表现形式为形状大小不同的肺结节, 对肺结节准确检测判断影响肺癌的治愈概率, 而肺结节计算机辅助判断能够对CT图像中的结节进行检测、分割以及判断, 可以提高早期患者的存活率^[1]。因此, 如何通过计算机辅助工具对肺结节良恶性进行准确的识别和判断, 成为提高病患生存概率的关键, 对于治愈肺癌有着重要的意义。

肺部CT影像计算机辅助判断系统的系统性能评价指标, 主要体现在对于早期肺结节的检测与分类能力的准确性以及处理效率等^[2-3]。而相同数据下网络模型的优劣与否所采用的一般都是开源数据库, 如最大的开源肺部CT影像数据集LIDC-IDRI^[4]。LIDC-IDRI数据库中的CT图像, 对于患者肺结节的位置和良恶性级别指标有着明确的信息, 可为训练模型的特征量化过程提供科学的依据^[5]。

常见的计算机辅助工具流程是通过模型的构建以及数据的训练, 能够得到准确的肺结节检测鉴别结果的工具, 帮助影像医师利用科学工具对临床实例产生更加精确的判断^[6]。在肺结节良恶性辅助判断领域, 由训练集进行网络模型训练, 测试集与原始样本集的对照结果表明模型的效率和精确度, 最终完成分类。目前, 比较常用的分类方法包括C-均值分类器、支持向量机(SVM)分类器以及随机森林(Random Forest)分类器等^[7]。文献[8]使用深度置信网络, 通过DBN模型的微调整使得良恶性识别率达到了86%, 但是DBN模型使用的SVM分类器对复杂等级分类和高噪声影响的数据处理效果较差。文献[9]使用模糊C均值(FCM)方法对原始数据集进行特征聚类, 最终敏感率达到87.58%, 但是FCM的缺点是特征提取能力不如卷积神经网络(CNN)。文献[10]在卷积神经网络中, 从肺结节空间三维角度方面进行考虑, 着重对难分辨和小目标图像进行特征提取和学习训练, 最终准确率达到89.93%, 但是针对肺结节特征的提取而言, CNN虽然对图像的特征提取以及学习能力较强, 但是需要大量符合训练要求的肺结节各等级样本。而良恶性结节数量的不平衡给恶性结节图像特征的提取带来了困难, 从而使得神经网络提取特征难度大幅增加^[11-12]。而生成对抗网络的提出, 能够以原始图像和随机噪声为输入, 产生与原始图像相似的图像。然而, 由于GAN网络的不稳定和自由性将会导致输出的不理想、不稳定性以及系统崩溃等问题的产生。

通过以上分析, 本文提出一种基于改进DCGAN模型与半监督FCM结合的SFDG(Semi-supervised Fuzzy C Means Deep Convolutional Generative Adversarial Network)肺结节良恶性分类方法。在肺结节良恶性分类时建立学习率加速策略, 同时使用Adam替代随机梯度下降方法优化网络的参数, 在生成样本检测模块, 运用半监督FCM聚类与CNN网络相结合的方法, 将原始各等级图像作为聚类中心点对生成图像集进行聚类, 辅助判别器网络对聚类结果、原始图像以及生成图像做判断, 以便于调整网络参数权值, 最终训练出模型。

1 相关技术 1.1 深度卷积生成对抗网络

在整个肺结节良恶性识别过程中, 良恶性结节的图像特征提取对最后训练出的网络模型进行分类的准确率有着关键的影响^[13-14], 而卷积神经网络对图像特征具有强大的提取能力和泛化能力, 其局部感知和权值共享特性大幅减少网络参数的设置, 降低了网络模型的复杂性, 同时又提高了解决过拟合问题的能力^[15-16]。DCGAN模型的核心思想为博弈达到纳什平衡, 即判别器和生成器都达到较好的结果。生成器网络G的目的是生成尽可能接近真实图像特征纹理的图像, 提高自己的生成能力且降低判别器的判别能力, 而判别器网络判断输入图像来源以及具体等级。生成器网络以随机噪声Z和图像类别C为输入来输出产生类似图像G(Z)。判别器网络则以类似图像G(Z)和真实样本X进行输入, 输出判断图像的真假。

相对于传统的卷积神经网络^[17], 深度卷积生成对抗网络进行如下改变来保证样本的质量以及收敛速度:

1) 在生成器网络的上采样过程中采用转置卷积操作, 判别器网络将池化层转化成步幅卷积操作。

2) 在生成判别网络中除输入层外使用BN进行稳定的批处理学习, 可以避免因为少数初始化不良而造成的训练崩溃问题。

3) 取消传统CNN全连接隐藏层, 生成网络中除输出层的Tanh函数外都使用Relu激活函数, 而判别网络激活函数采用LeakyRelu函数。

生成网络D的损失函数如式(1)所示:

$\frac{1}{m} \sum\limits_{i=1}^{m}\left[\ln \left(1-D\left(G\left(z^{(i)}\right)\right)\right)\right] $

(1)

判别网络G的损失函数如式(2)所示:

$\frac{1}{m} \sum\limits_{i=1}^{m}\left[\ln D\left(x^{(i)}\right)+\ln \left(1-D\left(G\left(z^{(i)}\right)\right)\right)\right] $

(2)

其中, x为真实图片, D(x)为当前图片是真实图片的概率, z为随机噪声, G(z)为将随机噪声送入模型生成出的假图像, D(G(z))为判别器网络判定当前图像为假图像的概率。由于生成器网络的目标为尽可能使得生成图像接近原始真实纹理图像, 所以损失函数设置为1-D(G(z))来保证判别器输出假图像概率尽可能小。而判别器网络优化目标是提高判断真实图像的能力, 因此, D(x)越大越好, 同时希望噪声影响越小越好, 则损失函数设置为D(x)+1-D(G(z))。

生成器网络结构如图 1所示, 输入为接受随机噪声z, 输出为图像G(z)。整个网络上采样主要采用反卷积算法, 反卷积过程如图 2所示。首先生成器网络模型输入一个随机噪声, 通过全连接层转化为特征映射后, 通过上采样方法经过反卷积层最终形成和真实图像具有相似特征的图像, 其中每一层都使用批标准化处理^[18]。判别器网络为传统的卷积神经网络, 将输入的图像与原始图像进行对比, 经过特征提取和卷积运算等操作后, 最终经过softmax函数输出概率, 设定阈值来决定相应的输出^[19]。

1.2 半监督FCM聚类

FCM算法是一种将未进行划分的、无序无标签的数据进行合理划分的聚类算法, 它把所有数据的特征进行提取和比对, 将具有相同特征或相似度的数据划分到同一种类中, 同时保证不同种类之间的差别尽可能大, 即相似度最小。

半监督聚类方法是通过部分已有标签样本, 来引导整个聚类迭代优化的过程, 属于半监督学习。每个模型的样本信息输入对于聚类效果的影响是直接的, 用户的输入包括标签和限制条件, 在实际应用中, 成对限制条件容易得到, 即分到一类中和不能分到一类中^[20]。在半监督FCM算法中, 当输入的信息为带有标签的样本时, 算法可以将原来的无监督聚类转化为标签样本进行迭代训练处理。

2 肺结节良恶性分类 2.1 模型适用度分析

为解决肺结节良恶性识别中样本之间比例不平衡的问题, 同时利用卷积神经网络的特征学习能力以及GAN生成图像的能力, 在训练过程中达到预防GAN训练不稳定的目的, 因此在分类的过程中, 引入DCGAN网络与半监督FCM算法相结合的模型。

改进DCGAN模型分析如下:

1) 生成网络产出的符合特征要求的图像, 经过图像的翻转、增强, 并加入到训练样本中, 可解决良恶性样本失衡的问题。

2) 通过对生成器图像来源判断过程进行改进, 将原始的输入变为各种类别的真实图像与生成图像, 输出为fake或者当前图像属于真实图像中的哪一种。

3) 在训练迭代的前期, 考虑到随机噪声对生成器网络的影响以及生成、判别器网络能力失衡, 引入半监督FCM聚类方法, 将生成图像提取特征后, 辅助卷积神经网络进行判断以及参数反馈, 优化损失函数, 使得整体网络模型具有更好的鲁棒性。

2.2 改进的DCGAN框架

针对肺结节良恶性分类中目前出现的问题, 对现有的DCGAN框架进行改进并应用到肺结节良恶性分类中, 改进方法如下:

1) 改变整体框架, 将数据来源分类为原来的real和fake, 输出结果变为真实图像等级分类real c=1~5以及fake。

2) 改变原始框架, 训练迭代优化中使用的随机梯度下降方法, 通过Adam方法为不同的参数设计自适应的学习率, 解决DCGAN网络中噪声高的问题。

3) 在判别器网络判别损失函数设计中, 针对前期随机噪声较大的问题, 引入半监督FCM聚类方法, 对于输入到判别器中的未标注类别图像与原始图像集进行特征提取且聚类, 在损失函数中加入FCM聚类方法, 对图像类别进行判定并进行加权设置, 计算出良恶性分类准确率最高的设定。

改进后的网络框架包括生成器网络G以及判别器网络D, 在生成器网络中输入随机噪声z和类别后, 模型输出为生成图像G(z)。判别器网络输入为包含类别等级的真实图像X以及生成图像G(z), 输出结果为判定结果图像等级结果或fake。具体框架对比如图 3~图 6所示。

2.3 特征提取

半监督FCM聚类算法在肺结节良恶性分类中主要应用于特征提取和相关量化。LIDC数据库的XML文件中提供肺结节的各类属性, 其中肺结节的分叶征和毛刺征程度等能直接体现肺结节的恶性程度, 对于提高准确率有较大意义。

对输入图像进行读入后, 计算图像的灰度方差、似圆度、边界的粗糙度和紧凑度、径向均值等, 计算后的值能体现出分叶征和毛刺征等信息, 完成特征提取的目的, 从而辅助判断肺结节良恶性程度。

1) 灰度方差。通过图像的灰度均值以及横纵像素数来计算图像区域的灰度方差, 其中mean为灰度均值。灰度方差计算公式如下:

$f_{v}=\sum\limits_{x=1}^{M} \sum\limits_{y=1}^{N}(I(x, y)-\text { mean })^{2} $

2) 似圆度。似圆度是计算一个图形类似于圆的程度, 可以对肺结节良恶性的判断提供部分参考, 其中A表示结节的面积, p表示周长。似圆度计算公式如下:

$C=\frac{4 \pi A}{p^{2}} $

3) 边界粗糙度。边界粗糙度通过径向距离分解若干小段, 根据公式计算每一段的R(j)值, 得到均值后可以体现出整个图像的粗糙度, 在肺结节中体现为毛刺特征等病理特征。边界粗糙度计算公式如下:

$R(j)=\sum\limits_{i=j}^{L+j}|r(i)-r(i+1)|\\ R_{\text {avg }}=\frac{L}{N} \sum\limits_{j=i}^{L / N} R(j), j=1, 2, \cdots, \left[\frac{N}{L}\right] $

4) 紧凑度。紧凑度可通过内切圆与外切圆的比值反映出肺结节球型度以及其分叶征, 对肺结节良恶性判断起辅助作用。紧凑度计算公式如下:

$\operatorname{comp}=\frac{R_{\mathrm{in}}}{R_{\mathrm{out}}} $

5) 径向取值。径向取值统计肺结节图像边界上像素点到质心距离的均值与方差, 在一定程度上反映结节的分叶征。

特征信息示意图如图 7所示。

2.4 改进DCGAN网络的肺结节良恶性分类

特征提取计算完成后, 与有标签的原始图像各特征进行聚类分析, 判断当前图像各类特征与原始图像特征距离计算后所属类别的标签。将半监督FCM聚类算法应用到肺结节良恶性识别上, 计算原始图像聚类中心与输入未标签图像之间的距离, 未标签图像与每个类别距离进行比较排序, 取最高概率值所在的类别标签作为当前预测标签。这样通过距离最近的样本类别, 可以根据判别器网络对输入图像进行判断时计算出一个参考度, 使未标记的肺结节样本能准确聚类到已标记的样本中。

在完成判别器网络对结节的等级分类判断过程中, 除考虑图像的来源分类以及肺结节类别的损失函数外, 还需对非标记样本的特征进行提取计算, 根据半监督FCM聚类方法对已标注数据集进行相应聚类预测。通过聚类预测与实际图像所属类别之间的差距设定损失函数值, 在判别器网络损失函数的设定中, 包括来源分类、卷积神经网络对肺结节图像判定的等级分类和聚类方法的损失判定。

由于训练集中包含有标签样本X_l以及无标签样本X_u, 生成器产生的样本为I_f。判别器网络接受样本后, 对于肺结节K分类问题(本文K=5), 给出K+1个预测估计概率。

对已有肺结节标签的样本, 考虑模型预测的标签是否正确, 计算分类相应的概率:

$\begin{aligned} L_{\text {label }}=&-\ln [p(y \mid x, y<K+1)]=\\ &-\ln \left[\frac{\exp l_{y}}{\sum\limits_{j=1}^{K} \exp l_{j}}\right]=-l_{y}+\ln \left[\sum\limits_{j=1}^{K} \exp l_{j}\right] \end{aligned} $

对于肺结节训练集中的无标签样本, 将模型预测考虑为是否为真实图像, 即计算不估计为K+1类的概率:

$\begin{aligned} L_{\text {unabel }}=&-\ln [1-p(K+1 \mid x)]=\\ &-\ln \left[\frac{\sum\limits_{j=1}^{K} \exp l_{j}}{\sum\limits_{j=1}^{K} \exp l_{j}+\exp l_{K+1}}\right]=\\ &-\ln \left[\sum\limits_{j=1}^{K} \exp l_{j}\right]+\ln \left[1+\sum\limits_{j=1}^{K} \exp l_{j}\right] \end{aligned} $

对于生成器产生的肺结节图像, 模型预测考虑是否为假图像, 即计算估计为K+1类的概率:

$L_{\text {fake }}=-\ln [p(K+1 \mid x)]=\ln \left[1+\sum\limits_{j=1}^{K} \exp l_{j}\right] $

判别器网络优化目标为:

$L_{D}=L_{\text {label }}+\frac{w}{2}\left(L_{\text {unlabel }}+L_{\text {fake }}\right) $

提取计算完成后, 与有标签的原始图像各特征进行聚类分析, 判断当前图像各类特征与原始图像特征距离计算后所属类别的标签。改进后的DCGAN肺结节良恶性模型流程如图 8所示。

3 实验结果与分析

LIDC数据库中对于肺结节良恶性等级评定为1级~5级, 分别为良性、疑似良性、未知、疑似恶性、恶性共5种。本文从LIDC数据集中提取5 812个经过预处理后64像素×64像素的肺结节图像, 且等级1~5的结节个数分别为277个、1 030个、1 416个、1 231个和1 858个, 其中使用80%的结节图像作为训练集, 剩余的20%作为测试集。

3.1 评价标准

本次实验采用表 1中的肺结节检测评价标准, 主要包括标准定义灵敏度(SEN)、特异度(SPE)和准确率(ACC)3个指标。

3个指标计算公式如下:

$\mathrm{SPE}=\frac{\mathrm{TN}}{\mathrm{TN}+\mathrm{FP}} \times 100 \%\\ \mathrm{ACC}=\frac{\mathrm{TP}+\mathrm{TN}}{\mathrm{TP}+\mathrm{TN}+\mathrm{FP}+\mathrm{FN}} \times 100 \%\\ \mathrm{SEN}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} \times 100 \% $

其中, SEN表示正确预测为恶性结节的概率, SPE表示正确预测为良性结节的概率, ACC表示整体模型的综合判别能力。

3.2 肺结节良恶性分类

本文实验所使用的改进后DCGAN网络与半监督FCM算法相结合的良恶性分类模型, 首先将输入图像的肺结节良恶性类别进行预测, 然后对分类等级结果小于3和大于等于3的数据进行统计, 最后将等级标签小于3的结节作为良性结节, 等级标签大于等于3的作为恶性结节进行统计量化。从表 2可以看出, 改进后的模型D对肺结节良恶性具有良好的分类效果。

在保持相同实验的条件下, 本文将当前经典的相关方法与改进后模型实验结果相比较, 结果如表 3所示, 无论是从灵敏度、特异度和准确率, 都具有比其他方法更高的性能。因此在改进DCGAN网络框架与半监督FCM聚类结合后的模型中, 判别器网络对于肺结节良恶性分类具有良好的判别能力, 且准确率达到90.96%。

3.3 实验对比分析

与传统DCGAN网络应用到肺结节良恶性识别相比, 本文提出的SFDG模型有以下优点:

1) 在传统DCGAN网络的迭代训练过程中, 使用调整参数及更新权重从而优化损失函数的方法为随机梯度下降法, 虽然该方法能够快速更新参数并不断发现损失函数局部最优值, 但是大幅的波动无法准确地给出损失函数的极值。而本文SFDG模型采用的是Adam算法, 能够设定使得各参数自适应的学习率, 从实际效果来看, 自适应方法相对于传统的SGD方法解决了其收敛过慢以及参数更新时损失函数波动较大的问题, 从而使得训练中最佳的优化器保证了模型的优良性能。

2) 在传统DCGAN网络中, 由于生成器网络的输入为随机噪声, 生成的肺结节图像与原始样本差距过大, 这就使得在训练前期生成网络和判别器网络的能力对比差距过大, 需要较长时间的训练以及参数调整。而本文引入的半监督FCM聚类方法, 解决了前期生成网络只依靠随机噪声和等级类别生成图像的现状, 使得生成网络在生成图像时有更好的样本聚类特征参数参考, 可生成更高质量的训练图像。

3) 引入FCM算法后, 判别器网络在最终对输入图像进行识别时, 在依靠卷积神经网络以及特征聚类辅助识别的情况下, 使得判别器具有高效的识别准确率。

4) 与传统卷积神经网络相比, 改进后的DCGAN网络能够通过聚类分析以及生成的图像提供具有高质量的肺结节训练样本, 解决传统CNN网络中符合训练要求样本较少的问题。

本文模型与传统DCGAN模型及半监督FCM的收敛速度和准确率对比结果如图 9、图 10所示。在准确率和收敛速度上, 本文SFDG模型具有明显的优势, 实验结果表明, 在迭代50 000次后, 本文模型具有良好的性能。

通过以上分析, 本文提出模型利用DCGAN网络对图像的生成能力、卷积神经网络对特征提取的能力以及半监督FCM的聚类来辅助提高判别能力。实验结果表明, SFDG模型的准确率达到90%以上, 且具有良好的鲁棒性, 改进后的网络模型具有较好的肺结节分类能力, 且灵敏度达91.45%、特异度达89.27%、准确率达90.96%。

4 结束语

本文采用改进DCGAN框架与半监督FCM算法相结合的模型, 将原始DCGAN框架的图像来源问题改进为肺结节良恶性等级划分问题, 优化了原始目标函数, 在判别器网络D中对输入图像进行卷积计算判别预测的过程中, 通过半监督FCM聚类算法分析输入图像特征并与原始各等级图像进行比对, 完成聚类预测后辅助判别器网络进行判断, 最终迭代训练后得到具有较强肺结节良恶性分类的网络模型, 且准确率达90.96%。本文方法主要针对孤立性肺结节的良恶性判断, 且输入输出的图像均为二维图像, 提高粘连性结节的识别准确率以及对三维图像数据的处理, 仍需要进一步的研究。