0 概述

目前, 许多疾病的诊断仍然依赖于高倍数显微镜对微观细胞或结构进行观测^[1-3], 然而现有的高倍数显微镜价格高, 需要专业人员进行操作且操作步骤复杂, 因此其不利于在落后地区进行大规模部署。

自蒙特利尔大学的GOODFELLOW等人提出了生成式对抗网络^[4](Generative Adversarial Network, GAN)的概念以来, GAN模型得到迅速发展和广泛的应用, 并形成了大量的变体。目前针对超分辨率领域和风格转换方面有SRGAN^[5]、StyleGAN^[6-7]、CycleGAN^[8-9]等。尽管多种GAN的变体^[10-12]在风格迁移或者超分辨率方面取得了重要进展, 并在衡量评分上不断取得突破, 但是在细胞图像由低倍数显微生成高倍数显微图像方面, 单一类型网络都不能达到较好的效果。主要是因为高低两种倍数的显微图片具有如下差异:高倍数细胞显微图像与低倍数细胞显微图像风格不同, 如对比在1 000倍显微镜拍摄的高倍数图像与在400倍显微镜下采集的低倍数图像, 其图像视野中明暗与细胞图像的纹理、色彩、视觉模式有很大不同; 高倍数显微图像中可以观测到细胞内部的微观结构, 如细胞核等, 而在低倍数显微图像中的微观结构表现不明显; 在数据采集过程中, 高倍数显微图像与低倍数显微图像往往是不配对的, 即未必能采集到同一个细胞同一时间与同一环境下的高倍数显微图像与低倍数显微图像, 从而造成训练上的困难。

由于细胞图像特性, 单纯的超分辨率方法只能放大细胞图像而无法还原细胞内部结构信息, 且模型训练需要依赖大量的配对数据。单纯风格转换的模型虽然能推测还原图像, 但不能保证生成图像的准确性。近年来基于CycleGAN的图像重建网络^[13-15]在图像到图像转换方面取得了较好应用。因此, 本文提出基于CycleGAN的高倍数细胞显微图像生成式对抗网络, 旨在利用非配对的高倍数显微图像与低倍数显微图像数据集, 准确地生成低倍数显微图像对应的高倍数显微图像。

1 相关工作 1.1 循环生成对抗网络

生成式对抗网络是近年来在无监督学习上具前景的一种深度学习模型。该模型构架至少包含两个主要的模块:生成器G与鉴别器D。其中, 生成器G负责生成伪造图像来迷惑鉴别器D, 使鉴别器D无法判断生成图片真实与否。鉴别器D负责判断输入图像是否为生成器G生成的伪造图像。随着生成器G与鉴别器D的不断优化, 最终对抗的过程达到一个动态平衡。传统GAN为单向网络, 损失公式见式(1)与式(2)。

重建损失:

$ L({G_{AB}},{G_{BA}},A,B) = {E_{a \backsim A}}[{\left\| {{G_{BA}}({G_{AB}}(a)) - a} \right\|_1}] $

(1)

判别损失:

$ \begin{array}{*{20}{l}} {{L_{{\rm{GAN}}}}({G_{AB}},{D_B},A,B) = }\\ {{E_{b \backsim B}}[{\rm{lo}}{{\rm{g}}_a}{D_B}(b)] + {E_{a \backsim A}}[{\rm{lo}}{{\rm{g}}_a}(1 - {D_B}({G_{AB}}(a)))]} \end{array} $

(2)

由于在风格转换方面使用单纯的GAN网络需要大量的配对图片作为训练数据, 然而这样的配对的图片难以采集。2017年, 朱俊彦提出的CycleGAN网络针对训练数据非配对问题进行了有益探索。

CycleGAN本质上是一个B→A单向GAN加上一个A→B单向GAN, 这样两个镜像对称的GAN构成了一个环形网络。两个GAN共享两个生成器, 并各自带一个判别器, 即共有两个判别器和两个生成器, 同时还提出循环一致性损失, 计算公式如下:

$ \begin{array}{*{20}{l}} {{L_{{\rm{cyc}}}}(F,G,X,Y) = {E_{x \backsim {\rm{Pdata}}(x)}}[{{\left\| {G(F(x)) - x} \right\|}_1}] + }\\ {{E_{y \backsim {\rm{Pdata}}(y)}}[{{\left\| {F(G(y)) - y} \right\|}_1}]} \end{array} $

(3)

其中, F和G为CycleGAN要学习的两个映射, 要求F(G(y))≈y, G(F(x))≈x。CycleGAN最终损失由三部分组成, 计算公式如下:

$ \begin{array}{*{20}{l}} {L = {L_{{\rm{GAN}}}}(F,{D_Y},X,Y) + {L_{{\rm{GAN}}}}(G,{D_X},X,Y) + }\\ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \lambda {L_{{\rm{cyc}}}}(F,G,X,Y)} \end{array} $

(4)

通过训练, 不配对的训练图像可以通过生成器生成与自己配对的图像, 从而解决了数据集不配对的问题。同时随着循环一致性损失的引入, 对生成的配对图像进行有效约束, 保证了生成图像与原图像之间准确的对应关系。

本文应用类似的网络结构来解决训练数据集不配对的情况。但是单纯CycleGAN结构只能根据低倍数显微图片生成高倍数显微下细胞样式的风格, 并不能准确重建还原出细胞内部结构。针对该问题, 本文引入了超分辨率中常用的感知损失^[16], 并将CycleGAN生成器结构参照适用于超分辨率挑战的网络结构进行优化, 帮助生成器准确、真实地重建出细胞内部结构。

1.2 深度学习的风格转化

使用深度学习进行风格转化由文献[12]提出, 其可以将普通图片转化为名画风格。风格转化的主要目的是将一张参考图片的风格应用到另一张原始图片上, 最后生成的图片既保留原始图片的大体内容, 又能展现出参考图片的风格。这里的风格是指一张图片的纹理、色彩和视觉模式等, 内容则是指图片的宏观构造。

在风格转换网络中, 其核心在于最大程度地保持图片原有构造的同时, 对其目标风格进行学习, 并应用于输入图像之上对图像进行重建。风格转换在高倍数细胞显微图像重建任务中非常重要, 因为低倍数显微下拍摄的细胞图像与高倍数显微下拍摄的同种细胞图像, 具有不同的纹理、色彩与视觉模式。风格转换可以有效改善低倍数显微图像的质地, 使其在整体的人体视觉感知上更接近于真实的高倍数显微图片。

本文使用循环生成对抗网络结构, 完成低倍数显微图片到高倍数显微图片的风格迁移任务。

2 高倍数细胞显微图像生成式对抗网络

本文的目的是学习低倍数显微图片域X和高倍数显微图片域Y之间准确可信的映射关系。定义两个域内的数据分布分别为x~p_data(x)和y~p_data(y)。高倍数细胞显微图像生成式对抗网络包含两个映射, 分别是映关系G:X→Y和映射关系F:Y→X。此外, 还包括两个敌对的鉴别器D_x和D_y。D_x的目标是区分图片{x}和图片{F(y)}。与之类似, D_y的目标是区分图片{y}和图片{G(x)}。本文针对高倍数细胞显微图像重建任务的特殊性, 引入对抗损失与循环一致性损失来加强对其高倍数显微图像风格的学习效率与质量, 另外还提出了细节感知损失来保证生成图片信息的有效性与真实性。

2.1 对抗损失

本文将对抗性质损失应用于G、F两种映射。对于映射G:X→Y和鉴别器, 其鉴别器D_y损失函数公式如下:

$ \begin{array}{*{20}{l}} {{L_{{\rm{GAN}}}}(G,{D_Y},X,Y) = {E_{y \backsim {P_{{\rm{data}}}}(y)}}[{\rm{lo}}{{\rm{g}}_a}D(y)] + }\\ {{E_{x \backsim {P_{{\rm{data}}}}(x)}}[{\rm{lo}}{{\rm{g}}_a}(1 - {D_Y}(G(x)))]} \end{array} $

(5)

其中, G负责生成非常接近来自图像域Y的图像G(x), 而D_y负责分辨出真实图像y与生成的伪图像G(x)。生成器G目标是使损失函数最小化, 鉴别器D目标是使其最大化, 计算公式如下:

$ {\rm{mi}}{{\rm{n}}_G}\ {\rm{ma}}{{\rm{x}}_{{D_Y}}}{L_{{\rm{GAN}}}}(G,{D_Y},X,Y) $

(6)

同理, 将其引入本文中的映射方式F:Y→X与鉴别器D_x, 便可得到与其类似的对抗性损失:

$ {\rm{mi}}{{\rm{n}}_G}\ {\rm{ma}}{{\rm{x}}_{{D_Y}}}{L_{{\rm{GAN}}}}(F,{D_X},Y,X) $

(7)

2.2 循环一致性损失

从理论上讲, 单纯使用对抗性损失可以使两个生成器分别学习映射G和F, 但如果容量足够大, 网络可以将同一组输入图像映射到目标域中任意随机排列的图像, 其中任何已知映射都可以诱导与目标分布匹配的输出分布。因此, 单纯的循环一致性损失不能引导网络学习到单个输入x_i到其期望的输入y_i。为进一步减少可能的映射函数空间, 本文引入了循环一致性损失。对于每一张来自于源域X的图像x_i, 在图像x_i经过两个生成器的循环网络之后, 还能得到足够接近原始图像x_i的输出图片, 即x→G(x)→F(G(x))≈x, 定义上述循环为正向循环。相似地, 对于每一张来自于目标域Y的图像y_i, 在图像y_i经过两个生成器的循环网络之后, 还能得到足够接近原始图像y_i的输出图片, 即y→F(y)→G(F(y))≈y, 定义上述循环为反向循环。因此, 可以定义循环一致性损失来激励此行为, 损失公式如下:

$ \begin{array}{*{20}{l}} {{L_{{\rm{cyc}}}}(G,F) = {E_{x \backsim {P_{{\rm{data}}}}(x)}}[{{\left\| {F(G(x)) - x} \right\|}_1}] + }\\ \ \ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {E_{y \backsim {P_{{\rm{data}}}}(y)}}[{{\left\| {G(F(y)) - y} \right\|}_1}]} \end{array} $

(8)

本文尝试使用L2范数来代替L1范数, 但是经过实验证明, 并没有显著的视觉提升, 而且其个别特征过于平滑, 以至于其个别高频特征往往被忽略。在经过多轮训练之后, 源域图像经过正向循环, 目标域图像经过反向循环之后, 均能与其自身图像具有良好的匹配与对应关系。

2.3 细节感知损失

经过单一的循环网络之后, 只能确保生成图像具有高倍数显微图像的风格与相应的细胞结构的重构还原, 但是并不能有效确保肉眼感知的准确。通过对抗损失与循环一致性损失的优化只能保证其在矩阵数值上的优越性, 然而人的感知是复杂且非计算性的, 因此如何加强人体视觉感知在重建细胞高倍数显微图像问题中非常重要。

文献[8]提出感知损失并在SRGAN中进行了扩展, 感知损失先前被定义在预先训练的深层网络的激活层上。将生成图片与目标图片分别经过此深层网络得到激活特征, 并将两者之间距离最小化。不过该方案有两个缺点:1)被激活的特征是非常稀疏的, 特别是在经过非常深的网络后, 矩阵的稀疏性会被得到加强, 稀疏激活提供弱的监督, 从而导致性能较差; 2)使用激活后的特征会造成重建后的图像亮度与真实图像不一致。

本文定义感知损失公式如下:

$ {L_G} = {L_{{\rm{ percep }}}} + \beta {L_1} $

(9)

其中, L₁=E_xi‖G(x_i)－y‖₁是评估恢复图像G(x_i)和真实图像y之间第一范数距离的内容损失, β是用来平衡不同损失项的系数。

综上, 本文整体网络损失计算公式如下:

$ L = {L_{{\rm{GAN}}}} + \lambda {L_{{\rm{cyc}}}} + \eta {L_G} $

(10)

其中, λ、η均为平衡各项损失的系数。

2.4 网络结构

在本文实验中, 模型有两个生成器G_X→Y、G_Y→X与两个鉴别器D_X→Y、D_Y→X。其中, G_X→Y与D_X→Y组合成一个生成式对抗网络GAN_X→Y进行学习映射G:X→Y, G_Y→X与D_Y→X组合成一个生成式对抗网络GAN_Y→X进行学习映射F:Y→X。两个生成式对抗网络组成一个循环结构, 具体结构如图 1所示。

循环网络分成正向循环与反向循环两个阶段。正向循环抽取源域的一张低倍数显微图片x通过GAN_X→Y生成一张伪高倍数显微图像fake_y。随后该fake_y通过GAN_Y→X生成一张近似于原始低倍数显微图像x的生成图像fake_x′, 并对x与fake_x′计算循环一致性损失。反向循环抽取目标域的一张高倍数显微图像y通过GAN_Y→X生成一张伪低倍数图像fake_x。随后该fake_x通过GAN_X→Y生成一张近似于原始高倍数显微图像y的生成图像fake_y, 并对y与fake_y计算循环一致性损失。

经过此双向循环后, 即可得到真实低倍数显微图像x, x对应生成的伪高倍数显微图像fake_y与真实高倍数显微图像y, y对应生成的伪低倍数显微图像fake_x。本文使用经过imagenet^[17], 预训练的Vgg16网络作为特征提取器, 将y、fake_y同时传入特征提取器得到y的特征向量f_y与fake_y的特征向量f_fakey, 利用f_y、f_fakey、y、fake_y计算感知损失, 并对GAN_X→Y进行优化。

为加强生成器G_X→Y、G_Y→X的生成效果, 本文对其进行了以下优化:

1) 去掉BN层。去掉BN层已经被证明有助于增强性能并减少计算复杂度, 并且在超分辨率重建与去模糊重建方面取得了良好的效果。且BN层可能在深网络和生成式对抗网络的训练时为生成图片带来伪影, 这些伪影偶尔出现在迭代和不同设置之间, 不能使网络经过训练之后的性能足够稳定, 因此去除了BN层。

2) 提出全新激活函数。经过实验, BN层可以显著加快网络学习速率, 为保证去掉BN层之后网络仍能具有较快的学习速率, 同时为了克服现行主要激活函数ReLU和Reaky ReLU对特征矩阵中负数信息的弱化, 因此本文提出了全新的激活函数——eLU激活函数:

$ {\rm{eLU}} = \left\{ {\begin{array}{*{20}{l}} {1 - {{\rm{e}}^{ - x}},x \ge 0}\\ {{{\rm{e}}^x} - 1,x < 0} \end{array}} \right. $

(11)

其中, 该函数可证明在定义域内连续且处处可导。其一阶导数如下:

$ {\rm{eLU}} = \left\{ {\begin{array}{*{20}{l}} {{{\rm{e}}^{ - x}},x \ge 0}\\ {{{\rm{e}}^x},x < 0} \end{array}} \right. $

(12)

此函数关于原点呈中心对称, 绝对值相同的数字信息具有相同的信息重量, 有效避免了负数信息被弱化甚至忽略的情况。函数将所有数据映射到[-1, 1], 完成了数据的归一化, 可以代替BN层实现数据归一化。将激活函数应用于Resnet-50多分类问题、CycleGAN风格迁移问题上, 仅将原网络中的激活函数进行替换, 并进行了一系列对比实验, 结果均证明eLU的有效性与高效性。

3) 引入新的生成器结构。在原始CycleGAN生成器主体的结构上使用了新的密集残差块。根据过去的实验, 更多的层与连接总可以提升网络的实际性能。随着残差密集块的引入, 可以将网络中的密集连接变得更多, 具体结构如图 2与图 3所示。

3 实验结果与分析 3.1 数据集

在深度学习中, 质量高且相关性高的数据集对于模型的训练、验证以及测试起着决定性的作用。一个合适的数据集往往决定了模型最终的效果。

在显微图像中, 本文选择弓形虫细胞数据作为实验对象。因为弓形虫病是我国乃至世界范围内较为常见的人畜共患疾病, 对人类具有健康威胁。因此, 本文首先使用400倍医用光学显微镜与1 000倍医用光学显微镜分别对弓形虫入侵图像进行了图像采集, 如图 4所示。

首先对采集数据进行划分, 分别采集1 000张400倍显微镜下多个弓形虫侵入细胞图像与1 000张1 000倍显微镜下多个弓形虫侵入细胞图像作为多细胞数据集, 并使用手工裁剪出单个细胞图像作为单细胞数据集, 将80%的400倍显微图像作为训练源域X_train, 20%的400倍显微图像作为测试源域X_test。同理, 将80%的1 000倍显微图像作为训练源域Y_train, 20%的1 000倍显微图像作为测试源域Y_test。其中, 训练集负责训练网络, 测试负责对网络效果进行效果验证。

3.2 图像还原效果验证

本节对本文方法、原始CycleGAN方法以及将原始CycleGAN第二范式损失函数更改为第一范式(原始CycleGAN-L1)这3种情况进行对比实验。经过200轮训练之后的实验结果如图 5所示。

从图 5可以看出, 原始CycleGAN方法还原信息不够完善, 胞膜还原不清晰, 弓形虫环形结构不明显。使用第一范式后的CycleGAN方法虽然效果有所提升, 但因缺少细节感知损失的约束, 不能有效学习到细胞内部, 尤其对于弓形虫自身环形结构的还原重建效果仍有所欠缺。本文方法在图像质量上, 将弓形虫环形结构与被侵入细胞的结构与形态进行了细致的还原, 并且重建出诸多高倍数显微下才能发现的图像细节。

在证明本文方法使用非配对图像训练高倍数细胞显微图像重建具有显著成效之后, 本文还将高倍数细胞显微图像生成式对抗网络与多种生成式对抗网络进行了对比实验, 旨在证明本文网络单独生成器性能优于目前已知对生成式对抗网络的生成器性能。

此外, 本文还选用BiGAN^[18]、DCGAN^[19]、pixel2pixel^[20]3种方法与HMGAN进行对比实验。BiGAN根据随机噪声作为输入, 学习从随机噪声到高倍数细胞显微图像的映射。DCGAN与BiGAN同样以随机噪声为输入, 但对噪声到高倍细胞显微图像映射有更强约束。pixel2pixel为配对生成算法, 以配对的高倍数与低倍数细胞显微图像作为输入学习两者映射关系。本文将高倍数显微图像进行下采样获得其对应的低倍数显微图像, 将两者作为输入训练pixel2pixel模型。对比实验结果如图 6所示。其中, 第1行为弓形虫细胞, 第2行为红细胞, 第3行为疟原虫细胞, 第4行为巴贝斯虫细胞。

从图 6可以看出多种GAN生成器性能之间的显著差异。BiGAN方法生成的图像不具有高倍数显微下图像的风格, 且不能有效还原被入侵细胞内部结构。DCGAN方法生成图像存在明显的噪声, 细胞内部细节无法准确还原。pixel2pixel方法虽然可以较好地还原出高倍数显微图像, 但是其细胞边界不够清晰, 且弓形虫环形结构仍然模糊。而本文方法对弓形虫形态准确可信地进行了还原重建, 具有微观细节, 人眼辨识度高。

此外, 为检验网络模型的通用性能, 本文进一步分别对血细胞、疟原虫、巴贝斯虫图像进行训练。疟原虫是疟疾的病原体, 巴贝斯虫是一种人血寄生虫, 会引起人的巴贝斯虫病, 两种寄生虫的诊断均需要血液检测。因此, 选取血细胞、疟原虫、巴贝斯虫3种图像验证本文模型的通用性能具有实际意义与衡量结果的可靠性。

本文使用结构相似性指数(SSIM)作为衡量重建图像显示质量的标准。鉴于许多实验结果显示, 峰值信噪比(PSNR)无法和人眼看到的视觉品质完全一致, 有可能PSNR较高的反而比PSNR较低者差。结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性, 并将失真建模为亮度、对比度和结构3个不同因素的组合。用均值作为亮度的估计, 标准差作为对比度的估计, 协方差作为结构相似程度的度量, 其衡量得分与人眼视觉感知高度一致, 因此使用SSIM更具可靠性。对比结果如表 1所示。

上述实验针对的是单个图片的高倍数细胞显微图片的重建效果的测试。在实际的细胞图像中, 一张图片中往往有多个细胞, 本文对此情况也进行了测试, 效果如图 7所示, 本文方法对多细胞图像有很好的重建效果。

3.3 eLU性能测试

本文方法并未使用目前主流的激活函数, 而是提出了一种新的激活函数——eLU激活函数。为证明eLU激活函数对模型的积极作用, 本文对其进行了性能测试。通过Resnet-50六分类问题与CycleGAN风格转换两类领域的对比测试, 评估eLU的综合性能。

3.3.1 eLU多分类测试

本文使用人体六类手势的数据集, 随机抽取80%作为训练集, 将剩余20%作为测试集。使用相同Resnet-50, 分4个网络分别作出如下改动:1)将原网络激活函数换做eLU激活函数; 2)将原网络激活函数换做eLU激活函数并去掉BN层; 3)将原网络BN层去掉; 4)保持原网络不变。通过3 000步的训练, 对比效果如图 8和图 9所示。

实验结果表明, eLU不仅能加快网络训练速度, 而且可以在一定程度上代替BN层, 维持网络处于可训练的状态。

3.3.2 eLU风格转换测试

同样本文将eLU在CycleGAN上进行了对比测试。在经过15 000步之后, 得到效果对比如图 10所示。从图 10中可以清晰地看出, 原始CycleGAN网络可能会出现重建缺失(见圆圈处)。而在相同的步数下, 仅将原始CycleGAN网络中的激活函数换为eLU即可获得较好效果, 且经过循环网络后重建的图像, 与原始输入图像更具有一致性。

可见, eLU在网络训练方面可以有效加快训练速度, 在图像重建方面可以有效保留原始信息, 使得人眼对生成图像有了更真实可信的感受。

4 结束语

本文提出一种高倍数细胞显微图像生成式对抗网络, 在CycleGAN网络基础上, 设计并使用新的激活函数eLU, 将原始生成器去掉BN层, 引入新的残差块结构。为加强高倍数细胞显微图像重建后图像的真实性与可信度, 给出细节感知损失, 改善了高倍数显微重建的效果。实验结果表明, 与BiGAN、DCGAN、pixel2pixel以及原始CycleGAN相比, 本文方法在细胞超分辨率还原方面获得更好的人眼感受。本文模型的开发可以减小细胞图像检测的时间与物质成本, 并应用于生物、医疗等方面。如何利用该模型同时对多种显微生物进行高倍数显微重建, 将是下一步的研究方向。