0 概述

随着计算机技术的快速发展, 精准地从腹部CT扫描影像中分割出肝脏影像, 是早期肝脏疾病诊断、患者肝脏形状大小估测和临床手术规划的关键环节^[1]。由于肝脏与相邻的肌肉、隔膜、心脏、胃、肾脏等器官相连甚密, 准确判断肝脏的边界位置信息具有一定的难度。因此, 肝脏影像分割技术引起研究者的关注, 目前已有多种肝脏影像分割方法被提出。文献[2]提出用基于C-V的水平集方法分割出肝脏影像, 并将其用于CAD预处理的多相CT图像系统。文献[3]通过基于小波变换结合纹理的方法来检测超声波扫描图像中的肝脏病变区域。文献[4]利用基于纹理特征的算法来检测肝脏和肿瘤的位置, 并通过SVM方法对肝脏和肿瘤进行分类、分割等。

自文献[5]提出深度卷积神经网络(Convolutional Neural Network, CNN)以来, CNN已被广泛应用于医学图像分割领域, 可取得准确的分割结果。文献[6]利用一种稀疏算法从CT影像中自动分割出肝脏区域, 其能更好地细分肝脏区域, 相对面积误差为1.7%±0.7%, 面积重叠误差率为3.4%±1.5%。文献[7]提出全卷积神经网络(Fully Convolutional neural Network, FCN)结合sparsity-based的方法, 能够准确检测肝脏病变的位置。文献[8]提出在FCN网络结构进行反卷积时, 通过高层与低层的特征融合, 得到更加精确的肝脏分割结果。文献[9]在FCN中进行批归一化(Batch Normalization, BN)处理, 使加强后的FCN模型达到更好的细分表现, 同时结合条件随机场(Conditional Random Field, CRF)方法优化肝脏分割结果。文献[10]提出Unet网络结构分割方法, 该网络结构具有较好的对称性, 但不能避免过拟合问题。文献[11]通过2个FCN级联的方法对肝脏及肿瘤的影像区域进行分割, 并结合3D-CRF来解释空间信息的相关性。该方法基于解剖学的先验知识很容易引入能量功能, 但传统能量的引入对轮廓线和参数的初始化要求较高。

上述肝脏影像分割方法取得了一定的进展, 但在判断肝脏影像的边界信息方面有待进一步完善。本文在上述研究的基础上提出将一种改进的FCN网络模型用于肝脏影像的分割, 在FCN网络模型的基础上结合残差网络和VGG-16网络(RV-FCN), 实现肝脏影像的自动分割, 并利用CRF优化分割结果。

1 算法流程

如图 1所示, 在CT扫描影像中, 肝脏毗邻其他组织器官, 其边界位置难以分辨。从CT扫描影像中准确地分割出肝脏影像具有一定的挑战性。

针对该问题, 本文通过RV-FCN网络模型和CRF后处理方法从CT影像中分割出肝脏区域, 其整体流程如图 2所示。首先, 对CT扫描影像进行调窗处理, 并将增强后的图像作为网络模型的输入。其次, 利用RV-FCN网络模型对输入图像进行训练测试, 得到肝脏的初始分割结果。最后, 通过CRF^{[9, 11]}优化肝脏的初始分割结果, 并对优化后的二维肝脏切片图进行三维重建。

1.1 数据预处理

在公开数据集3DIRCADb上, 为增强腹部CT扫描影像中各组织器官之间的对比度, 同时避免不相关组织对肝脏灰度值的影响, 本文对CT扫描影像进行调窗处理, 将窗口阈值范围设定为[-63, 179]。为进一步增强图像质量, 减少由CT机扫描过程中光线不均匀所造成的干扰, 本文采用自适应阈值归一化的方法^[12]进行处理。计算每一幅扫描图像的信息熵并计算其最佳阈值, 进行精确的归一化处理, 使图像的灰度值位于[0, 1]之间。

1.2 RV-FCN模型

本文受文献[10, 13]的启发, 提出32层FCN, 具体网络结构如图 3所示。本文将从4个方面对其进行优化。

1) 文献[14]在ReLU函数的基础上提出PReLU激活函数。ReLU函数将矩阵内所有负值均设定为零, 正值部分为线性函数。PReLU函数对ReLU函数进行限制, 在负值部分增加线性变换, 并根据输入模型的训练数据设定斜率值, 其随数据的变化而变化, 并非由预先定义。PReLU函数的正值部分与ReLU函数相同, 通过对神经元的线性变换, 输出非线性结果。当网络进行反向传播^[15]时, 通过动量来更新值, 具体如下:

$ {V_{{a_i}}} = \mu {V_{{a_i}}} + \nu \frac{{\partial \varepsilon }}{{\partial {a_i}}} $

(1)

PReLU激活函数可以自适应地从数据中学习参数, 有效避免神经元在训练过程中出现“死亡”现象, 与其他激活函数相比, 具有收敛速度快、错误率低的特点。当反向传播训练时, 该激活函数要与其他层同时优化, 因此, 本文模型使用PReLU激活函数。

2) 在FCN网络模型中加入RV结构, 即将残差网络(ResNet)^[16]和VGG-16^[17]网络进行结合, 其具体结构如图 4所示。在图 4中, K表示通道个数, m×n表示特征图尺寸。简单地增加网络深度会导致网络退化, 同时考虑增强像素之间的关联性, 本文提出RV网络结构。该结构在增加网络深度时, 可有效解决网络的优化能力随网络深度增加而退化的问题, 以提取出更抽象的特征, 使特征图具有更好的语义信息, 提高分割结果的准确率^[18]。

RV结构的第1层是1×1的卷积核, 该卷积核可降低通道数, 即减少网络中的参数, 降低计算量, 从而提高模型训练速度。当卷积层经过激励层后, 1×1的卷积在前一层的学习表示上添加了非线性激励函数, 网络的表达能力提升。RV结构的第2层将2个3×3的卷积核进行堆叠串联, 其产生的参数比1个5×5的卷积层少, 具有明显优势。同时, 1个像素会与周围5×5个像素产生关联, 在此过程中, 使用2次PReLU激活函数, 以得到更多的非线性变换。通过对2个3×3卷积核的串联, 增加网络深度。对降通道后的特征进行卷积, 以更充分地利用周围的关联像素点, 提高对特征的学习能力。RV结构的第3层是1×1的卷积核, 该卷积核的作用与第1层的作用相反, 主要用于提升通道数。如图 4所示, 第1层的$\frac{K}{2}$个通道在第3层升为K个, 可获取更多的图像特征。

3) 随着网络结构深度的增加, 为加快网络模型的收敛速度, 提高训练精度, 在文本模型结构中增加BN操作^[19]。BN处理在一定程度上解决了深层网络中的“梯度弥散”问题, 使网络模型更容易训练, 网络稳定性提高。本文将PReLU激活函数与BN相结合, 可提高模型在训练数据时的收敛速度, 以及分割肝脏区域时的准确率。

4) RV-FCN网络结构为精确地判定实际输出值与期望输出值的接近程度, 在交叉熵损失函数中引入权重因子α^[9]。同时, 为避免出现过拟合现象, 在交叉函数中引入规范化方法, 具体如式(2)所示。

$ \begin{array}{l} F(w) = -\frac{1}{n}\left\{ {\sum\limits_{i = 1}^N \alpha \left[ {{q_i}\ln {p_i} + \left( {1-{q_i}} \right)\ln \left( {1-{p_i}} \right)} \right]-} \right.\\ \;\;\;\;\;\;\;\;\;\;\;\left. {\frac{\lambda }{2}\sum\limits_i {\left| {w_i^2} \right|} } \right\} \end{array} $

(2)

其中, N表示训练样本的总数, α表示权重因子, λ表示规范化参数, i表示像素值, w表示权重, q_i表示像素i的期望输出值, p_i表示像素i的实际输出值。

1.3 条件随机场

通过RV-FCN网络模型, 对公开数据集进行训练并测试, 自动分割CT影像中的肝脏区域。在自动分割结果中, 肝脏的边缘部位会出现欠分割、过分割等现象。为解决该问题, 本文利用CRF的方法进一步优化肝脏影像的边界信息。CRF属于一种无向图判别式模型, 通过学习训练样本中所有数据的分布特征, 对联合分布概率P(y|x)建模, 解决序列标注中的偏差问题, 以更准确地判别肝脏区域的总体边界信息。定义一个无向图g=(v, e), 对于图像中的每一个像素, 顶点i∈v, 两顶点之间的边为e。本文CRF方法参照文献[9], 其能量函数E的表达式如下:

$ E(y|x, w) = \sum\limits_{i \in v} {{\varphi _i}} \left( {{y_i}|x, w} \right) + \sum\limits_{i, j \in e} {{\varphi _{ij}}} \left( {{y_i}, {y_i}|x, w} \right) $

(3)

其中, x和y分别表示训练样本中任一原图像和其相对应的分割结果, φ_i和φ_ij分别表示一元和二元函数, φ_i(y_ix, w)表示一元对数似然函数, φ_ij(y_i, y_ix, w)表示二元的m个线性核函数, 能量函数越小, 肝脏的边界分割越精准。

2 实验结果与分析

本文采用公开数据集3DIRCADb^[8]作为实验数据集, 该数据集中有20套CT扫描影像(共2 821张), 其中10套为女性检查者的扫描影像, 另外10套为男性检查者的扫描影像。在20位检查者中, 75%患有肝癌。本文随机选择其中16套CT扫描影像作为训练数据, 4套作为测试数据。实验环境如下:Ubuntu16.04 LST 64位操作系统, 64 GB内存, 英特尔(Intel)i7 8700k酷睿六核CPU处理器, 显卡NVIDIA GeForce GTX 1080Ti。

经过RV-FCN网络模型及CRF后处理算法之后, 随机选取自动分割的结果, 如图 5所示。从图 5可以看出, 本文模型的分割效果与专家手工分割结果较为接近, 证明了本文算法的可行性和准确性。

为方便医生观察患者肝脏的大小、形状, 及早发现病灶位置, 需将分割后的二维肝脏切片重建三维立体结构。本文随机选取一套测试数据(3Dircadb1.11), 利用VTK和ITK系统^[20]对分割后的肝脏图像进行三维重建, 结果如图 6所示。

为进一步证明网络模型的可行性, 本文采用体积重叠误差(VOE)、相对体积误差(RVD)、平均对称表面距离(ASD)、最大表面距离(MSD)和重合率(DICE)^[8-9]这5个指标对分割结果进行统计。假设肝脏分割结果的区域为A, 期望分割结果为B, 上述5个指标的定义如下:

1) 体积重叠误差是实际的分割结果体积与期望分割结果体积的误差, 该值越小, 表明肝脏分割的结果越精准。其计算过程如式(4)所示。

$ \mathit{VOE}(A, B) = 1 - \frac{{|A \cap B|}}{{|A \cup B|}} \times 100\% $

(4)

2) 相对体积误差用于判断肝脏实际分割结果是否处于过分割状态或欠分割状态。其计算过程如式(5)所示。

$ RVD(A, B) = \frac{{|B| - |A|}}{{|A|}} \times 100\% $

(5)

3) 平均对称表面距离的计算过程如式(6)所示。

$ \mathit{ASD}{\rm{(}}\mathit{A}{\rm{, }}\mathit{B}{\rm{) = }}\frac{{\sum\limits_{p \in S(A)} d (p, S(B)) + \sum\limits_{q \in S(B)} d (q, S(A))}}{{{\rm{|}}\mathit{S}{\rm{(}}\mathit{A}{\rm{)| + |}}\mathit{S}{\rm{(}}\mathit{B}{\rm{)|}}}} $

(6)

其中, d(p, S(B))表示像素p到表面体素S(B)的最短欧式距离。

4) 最大表面距离也称为对称Hausdorff距离, 取表面距离的最大值, 其计算过程如式(7)所示。

$ \begin{array}{l} MSD(A, B) = \max \left\{ {\mathop {\max }\limits_{p \in S(A)} d(p, S(B))} \right., \\ \left. {\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathop {\max }\limits_{p \in S(B)} d(p, S(A))} \right\} \end{array} $

(7)

5) 重合率的取值范围在[0, 1]之间, 该值越小表明分割越准确。其计算过程如式(8)所示。

$ \mathit{DICE}(A, B) = \frac{{2|A \cap B|}}{{|A| + |B|}} \times 100\% $

(8)

将本文算法与U-net算法^[10]、CFCN算法^[11]、文献[8]算法、文献[9]算法进行对比, 结果如表 1所示。从表 1可以看出, 本文算法可更加精确地分割出CT影像中的肝脏区域。

在RV-FCN算法的基础上, 采用CRF算法进一步优化肝脏区域分割结果, 并将其与FCN算法、RV-FCN算法进行对比, 结果如表 2所示。从表 2可以看出, 利用CRF方法进行后处理优化, 可进一步提高分割准确率。

由于本文算法采用端到端的方式, 在分割过程中仅需执行一次便可获取肝脏的分割结果, 因此算法用时较少。表 3给出4种算法处理1张切片的平均用时对比。由表 3可以看出, 本文算法处理每张扫描切片的平均时间为0.86 s, 低于其他3种算法。

3 结束语

本文提出一种改进的RV-FCN算法, 用于分割腹部CT扫描影像中的肝脏区域。通过卷积神经网络和RV网络结构提取腹部CT影像中肝脏的特征图。利用反卷积以及特征图融合的方法, 自动分割出肝脏区域。通过CRF方法进一步优化分割结果, 提高分割效率。同时可将自动分割肝脏区域的二维切片重建为三维立体结构。实验结果表明, 该算法能够更好地利用CT影像中的空间信息, 提高分割效率和准确率。下一步将通过增加训练数据集和提高训练速率优化算法, 进一步提升肝脏区域自动分割的准确率和效率。