«上一篇 下一篇»
  计算机工程  2022, Vol. 48 Issue (12): 261-269  DOI: 10.19678/j.issn.1000-3428.0063524
0

引用本文  

贺煜航, 刘棪, 陈刚. 基于自适应图卷积网络的心电图多标签分类模型[J]. 计算机工程, 2022, 48(12), 261-269. DOI: 10.19678/j.issn.1000-3428.0063524.
HE Yuhang, LIU Yan, CHEN Gang. Multi-Label Classification Model of Electrocardiogram Based on Adaptive Graph Convolutional Network[J]. Computer Engineering, 2022, 48(12), 261-269. DOI: 10.19678/j.issn.1000-3428.0063524.

基金项目

国家自然科学基金(U1936107)

通信作者

陈刚(通信作者),教授,博士

作者简介

贺煜航(1997—),男,硕士研究生,主研方向为医学图像处理、网络空间安全、深度学习;
刘棪,硕士研究生

文章历史

收稿日期:2021-12-14
修回日期:2022-02-16
基于自适应图卷积网络的心电图多标签分类模型
贺煜航1 , 刘棪1 , 陈刚2     
1. 武汉大学 空天信息安全与可信计算教育部重点实验室, 武汉 430072;
2. 武汉大学 国家网络安全学院, 武汉 430072
摘要:心电图分析是一种被广泛应用的心脏疾病诊断方法。传统的心电图分析严重依赖医生个人水平,容易出现误诊、漏诊现象,效率较低,且不能有效利用高频信号提供的有价值信息。基于卷积神经网络(CNN)的心电图自动分类方法在一定程度上提高了诊断效率,但依然存在对高频信息利用不充分的问题,且单一的卷积神经网络由于受感受野的限制和权重共享的影响,导致无法充分利用全局信息,分类准确率有待提高。提出一种基于注意力机制与图卷积网络的心电图多标签分类模型MLECG-AGCN,通过设计基于注意力机制的CNN网络,提高网络对高频信号的利用率。引入图卷积网络,以有效利用全局信息和特征空间邻域样本信息,从而协助样本进行分类,提高分类结果的准确率。基于注意力机制的CNN网络通过高通滤波器突出原始信号的高频位置,生成注意力图,并将注意力图嵌入到原始信号中,增强网络关注高频信号的能力。在PTB-XL数据集上的实验结果表明,基于注意力机制的CNN网络与自适应图卷积网络的结合有效提高了心电图分类精度,与Multi-ECGNet、ResNet18、ResNet101等模型相比,MLECG-AGCN模型取得了较高的AUROC值,为0.943 639。
关键词心电图    图卷积网络    残差神经网络    注意力机制    多标签分类    PTB-XL数据集    
Multi-Label Classification Model of Electrocardiogram Based on Adaptive Graph Convolutional Network
HE Yuhang1 , LIU Yan1 , CHEN Gang2     
1. Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, Wuhan University, Wuhan 430072, China;
2. School of Cyber Science and Engineering, Wuhan University, Wuhan 430072, China
Abstract: Electrocardiogram(ECG)analysis is a widely used diagnostic method for heart diseases..Traditional ECG analysis relies heavily on the personal level of doctors, which is prone to misdiagnosis and missed diagnosis.Moreover, it is inefficient and cannot effectively use the valuable information provided by high-frequency signals.The ECG automatic classification method based on Convolutional Neural Network(CNN) has improved the diagnostic efficiency to a certain extent; however, there is still the problem of insufficient utilization of high-frequency information, where a single CNN cannot make full use of the global information due to the restriction of the receptive field and the influence of weight sharing.Therefore, the classification accuracy needs to be improved.This paper proposes a Multi-Label Classification Model of Electrocardiogram Based on Attention Mechanism and Graph Convolutional Network(MLECG-AGCN).This model improves the network's utilization of high-frequency signals by designing CNN based on attention mechanism.The GCN is introduced to effectively use the global information and the neighborhood sample information of the feature space, to help the samples to classify and improve the accuracy of the classification results.Among them, the CNN based on attention mechanism highlights the high frequency position of the original signal through a high pass filter, generates an attention map, and embeds the attention map into the original signal to enhance the network's ability to focus on high frequency signals.Experimental results on PTB-XL dataset show that the combination of CNN based on attention mechanism and adaptive GCN effectively improves the classification accuracy of ECG.Compared with Multi-ECGNet, ResNet18, ResNet101, and other models, MLECG-AGCN model achieved a macro average the Area Under Receiver Operating Characteristic Curve (AUROU) value of 0.943 639, which is higher than the aforementioned models.
Key words: Electrocardiogram(ECG)    Graph Convolutional Network(GCN)    Residual Neural Network(ResNet)    attention mechanism    multi-label classification    PTB-XL dateset    

开放科学(资源服务)标志码(OSID):

0 概述

根据世界卫生组织2019年的研究报告,心脏疾病已经成为全球最主要的死亡原因之一[1]。心脏疾病泛指由高脂血症、血液粘稠、动脉粥样硬化、高血压等导致的心脏缺血性或出血性心脏病。心脏疾病发作之前,通常有明显的心血管异常表现,如心悸、晕厥、胸痛、气短等。如果能够在这些疾病早期症状出现时,精确诊断所患疾病,并介入治疗,将有助于控制疾病发展。

心电图(Electrocardiogram,ECG)分析[2]是一种被广泛应用的重要心脏疾病诊断方法。传统心电图诊断需要医生人工分析被测量者的心电图,判断被测量者的病情。但传统心电图分析严重依赖医生的个人水平,由于心脏疾病种类多样、隐匿性心脏病的存在等,易出现误诊、漏诊现象,且效率较低。同时,已有研究表明,心电图中的高频信号对心脏的健康情况能进行更全面的分析[3-4]。为了提高诊断准确率和效率,如何进行高效、准确的心电图自动分类并更好地利用其中的高频信息是一个亟需解决的问题。

在深度学习发展前,已有多种传统机器学习方法被应用于心电图自动分类问题。CEYLAN等[5]使用离散小波变换对心电图RR间期进行特征提取,构建前馈神经网络对心电图进行分类,取得较好成果。WANG等[6]将主成分分析(Principal Components Analysis,PCA)及主题模型方法应用于心电图特征提取,并构建概率神经网络(Probabilistic Neural Network,PNN)分类器对心电图进行分类。ZIDELMAL等[7]使用小波变换对心电图进行去噪及特征提取,通过支持向量机对心电图进行分类。上述机器学习方法首先从心电图中人工提取特征,然后将提取特征输入到决策树、支持向量机等判别模型中进行分类预测,其表现依赖于人工提取特征和判别模型。而人工提取的特征存在一些不足:难以准确表示心电图信息,易导致错误;需要大量专业医学知识用于特征工程,这会降低整体效率。

近年来,深度学习成为人工智能领域的核心话题,并逐渐应用于心电图分类任务。深度学习通过网络模型自动提取特征,有效地解决了传统方法中人工提取特征的局限性。其中,以卷积神经网络(Convolutional Neural Network,CNN)为基础的模型被越来越多地应用于心电图分类任务并取得了一定的成果。CAI等[8]提出以残差神经网络(Residual Neural Network,ResNet)为基础,结合深度可分离卷积、通道域注意力(Squeeze and Excitation,SE)模块构建的Multi-ECGNet模型,取得了较好的分类效果。WANG等[9]提出并构建了基于非局部卷积注意模块的卷积神经网络模型Automated-ECG,通过非局部注意力获取心电图数据空间、通道及时间上的信息,并结合学习矩阵进行融合,学习矩阵在上述三类信息中挖掘关系信息并最终完成分类,该模型在多个数据集中取得了较好的结果。

上述CNN模型在进行分类时,均通过适当的方法增强模型的表征能力,以提取有效的心电图特征,并用于心电图分类。但一方面,单一的卷积神经网络由于受感受野的限制和权重共享的影响,不能很好地利用全局信息,对特征空间邻域中其他样本提供的信息利用不够,影响了分类结果的准确率。另一方面,在实际病例中,心脏疾病患者常同时出现多种症状,且部分症状是不独立的,而目前的大部分网络模型倾向于关注一种或几种心脏疾病,并没有对多标签进行分析研究。

本文提出一种基于注意力机制与图卷积网络的心电图多标签分类模型(Multi-Label Classification Model of Electrocardiogram Based on Attention Mechanism and Graph Convolutional Network,MLECG-AGCN),并结合损失函数和评价指标从多标签角度考虑分类,以高效利用高频信号及特征空间中的全局信息和邻域信息。

1 相关研究 1.1 注意力机制

注意力机制最初被用于机器翻译[10],现已成为神经网络领域的一个重要概念。注意力机制的基本思想是使模型忽略无关信息而关注重点信息。一般而言,在神经网络学习中,模型参数越多则模型的表达能力越强,模型所存储的信息量也越大,但这会带来信息过载的问题。通过引入注意力机制,在众多的输入信息中聚焦于对当前任务更关键的信息,降低对其他信息的关注度,甚至过滤掉无关信息,就可以解决信息过载问题,提高任务处理的效率和准确性。

近年来,注意力机制被逐渐应用于计算机视觉领域,并在图像分类、图像识别等任务中取得良好的效果。JADERBERG等[11]提出一种将注意力机制应用于空间域进行图像分类的模型(Spatial Transformer Networks,STN),通过将基于注意力机制的空间转换器模块代替卷积神经网络中的池化层,将原始图片的空间信息变换至另一空间并聚焦关键信息,提升图像分类准确率。HU等[12]提出一种显示建模通道间相互依赖性的通道域注意力机制网络(SE Networks,SENet),在所使用数据集上获得高于基线网络的效果。WANG等[13]提出一种残差注意力网络(Residual Attention Network),并设计一种注意力残差学习训练方法训练此网络模型,该网络模型在CIFAR-10和CIFAR-100数据集上表现良好,对噪声标签具有较强的鲁棒性。CAI等[8]在其心电图像分类模型中添加SE模块,为网络引入注意力机制,提升了模型的分类性能。

本文针对心电图特点,构建基于拉普拉斯滤波器和SE模块的注意力机制模块,将注意力机制应用于心电图特征提取,增强网络关注心电图高频信号的能力,提取更有效的心电图特征。

1.2 图卷积网络

图卷积网络(Graph Convolutional Network,GCN)最初被用于文本分类[14],因其强大的结构表示能力,近年来已在图像[15-16]、文本[17]、非欧式数据[18]等领域中表现出优越性能。GCN的基本思想是通过在节点间传递信息来更新节点表示,与标准卷积不同,GCN的目标是学习图g上的函数$ f(\cdot , \cdot ) $g以特征描述$ {H}^{l}\in {\mathbb{R}}^{N\times d} $和矩阵$ \boldsymbol{A}\in {\mathbb{R}}^{N\times N} $为输入,更新节点特征为$ {H}^{l+1}\in {\mathbb{R}}^{N\times {d}^{\text{'}}} $,每一个GCN层都可以表示为一个非线性函数,如式(1)所示:

$ {H}^{(l+1)}=f({H}^{l}, \boldsymbol{A}) $ (1)

通过卷积运算,$ f\left(\cdot , \cdot \right) $可以表示为式(2)所示:

$ {H}^{(l+1)}=h\left(\widehat{\boldsymbol{A}}{H}^{l}{\boldsymbol{W}}^{\boldsymbol{l}}\right) $ (2)

其中:$ {\boldsymbol{W}}^{l}\in {\mathbb{R}}^{d\times {d}^{\text{'}}} $为学习变化矩阵;$ \widehat{\boldsymbol{A}} $为归一化的相关矩阵$ \boldsymbol{A} $$ h\left(\cdot \right) $为非线性运算,GCN以此对节点间复杂的相互关系进行构建和学习。由式(1)和式(2)可知,与CNN不同,GCN在得到节点表示时,关注图中的全局信息和邻域节点信息,GCN通过对节点间关系进行构建、学习得到节点的输出表示。

根据图卷积的定义,GCN可分为光谱法和空间法。基于光谱的GCN[19-21]一般指基于图傅里叶变换(Graph Fourier Transform)的卷积,而基于空间的GCN[17, 22]是直接对图节点及其邻域节点进行人工定义的卷积。在应用方面,GCN可以同时处理转换设置[20-21]和归纳设置[17, 22]问题。在转换设置中,训练数据和测试数据是同一固定图中的节点,而在归纳设置中,模型需要跨不同的图进行推理。

本文将拥有强大结构表示能力的GCN与CNN网络相结合,改善单一卷积神经网络受感受野的限制和权重共享的影响,解决无法充分利用全局信息的问题,有效利用特征空间中的全局信息和邻域信息。

2 本文网络结构

心电图数据首先经过数据加载模块,该模块使用wfdb库读取心电图数据,得到预处理后的数据$ \boldsymbol{X}\in {\mathbb{R}}^{N\times C\times L} $,其中:N为训练集样本总数;C为通道数;L为时序信号长度,将其作为MLECG-AGCN的输入。

MLECG-AGCN由两部分网络组成:用于心电图特征提取的基于注意力机制的CNN网络(以下简称注意力机制CNN);用于多标签分类的自适应GCN。MLECG-AGCN网络流程如图 1所示。

Download:
图 1 MLECG-AGCN网络结构 Fig. 1 MLECG-AGCN network structure

图 1(b)为本文设计的注意力机制CNN网络,用来提取心电图特征。该网络结构包含2个分支,一个分支是心电图基本特征提取模块(图 1(b)左侧分支),用于提取心电图基本特征;另一个分支为注意力机制模块(图 1(b)右侧分支),用于增强心电图高层特征。数据X经过图 1(b)输出信息增强的特征$ {\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times {d}_{\mathrm{o}\mathrm{u}\mathrm{t}}} $,作为图 1(c)的输入。

图 1(c)为自适应GCN网络,用来构建、提取样本上下文信息特征并应用于分类。其中的节点为每个心电图样本经图 1(b)后提取的特征向量,图的构建使用转换设置,即数据集中训练集、测试集样本均构建在同一图Gin 中,通过掩码进行划分。图Gin经过自适应GCN,输出包含样本上下文信息的特征$ {Z}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times D} $D为类别总数),最后经过Sigmoid完成分类。

MLECG-AGCN模型的总体设计思路是,首先通过基于拉普拉斯滤波器设计的注意力机制CNN,增强对心电图高频信号的利用率,提高网络的表征能力。然后,自适应图卷积模块采用图的形式对样本间的相互依赖关系进行建模,这是一种在特征空间中捕获拓扑结构的灵活方法。在模型结构层面,MLECG-AGCN模型将各心电图样本经注意力机制CNN提取的特征作为节点组织成图,使用自适应图卷积显式地建模样本依赖关系,通过GCN中自适应更新的邻接矩阵,吸收邻域中相关节点的信息,并对节点特征进行更新。自适应图卷积网络经过学习得到各样本的分类器,这些分类器能更有效地利用全局信息和特征空间邻域样本信息,并可直接应用于心电图特征进行分类,提高分类准确率。

2.1 心电图基本特征提取模块

心电图基本特征提取模块的结构如图 1所示(图 1(b)左侧分支),首先,输入X经过一维卷积、一维批量归一化(Batch Normalization,BN),非线性激活函数激活和池化层池化输出浅层特征$ {\boldsymbol{X}}_{1}\in {\mathbb{R}}^{N\times {C}_{1}\times {d}_{1}} $后,X1经过堆叠特别设计的残差单元[23],输出高层特征$ {\boldsymbol{X}}_{2}\in {\mathbb{R}}^{N\times {C}_{2}\times {d}_{2}} $,残差单元结构如图 2所示,然后,在其中使用深度可分离卷积[24]代替常规卷积,降低参数量,并结合非线性激活函数层增强模型非线性表达能力。最后,X2经维度展平操作得到输出$ {\boldsymbol{X}}_{\mathrm{f}\mathrm{e}\mathrm{a}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}}\in {\mathbb{R}}^{N\times {d}_{\mathrm{f}\mathrm{e}\mathrm{a}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}}} $

Download:
图 2 残差单元结构 Fig. 2 Structure of residual unit
2.2 注意力机制模块

在心电图中,大多数疾病均能通过其中的高频信号显示。这部分波形相较于其余部分有着波形突变性强的特征,而拉普拉斯滤波器的特点是可以突出图像中强度发生快速变化的区域。

基于上述特点,本文构建如图 1所示的注意力机制模块(图 1(a)右侧分支),网络输入为经过预处理的心电图$ \boldsymbol{X}\in {\mathbb{R}}^{N\times C\times L} $,第1层为拉普拉斯滤波器层,对X中波形突变性较强的部分进行增强,得到更关注心电图高频信号的输出特征$ \boldsymbol{Y}\in {\mathbb{R}}^{N\times C\times L} $。拉普拉斯滤波器层使用一维高斯拉普拉斯滤波器(Laplacian of Gaussian,LoG),先利用一维高斯平滑滤波对输入降噪,再使用一维拉普拉斯算子的离散卷积核[1, -2, 1]对降噪后的心电图进行滤波操作,得到输出特征YY经过一维卷积层、一维BN层、非线性激活函数层和池化层输出浅层特征$ {\boldsymbol{Y}}_{1}\in {\mathbb{R}}^{N\times {C}_{1}\times {d}_{1}} $Y1经过堆叠的注意力机制残差单元得到更高层特征$ {\boldsymbol{Y}}_{2}\in {\mathbb{R}}^{N\times {C}_{2}\times {d}_{2}} $,注意力机制残差单元结构如图 2(b)中RES Attention Module所示,其中SE模块通过学习的方式自动获取各通道重要程度,以此筛选网络对通道的注意力。特征Y2经池化层池化和维度展平后,得到注意力机制模块的输出$ {\boldsymbol{Y}}_{\mathrm{a}\mathrm{t}\mathrm{t}}\in {\mathbb{R}}^{N\times {d}^{\text{'}}} $YattXfeature拼接得到最终输出特征$ {\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times {d}_{\mathrm{o}\mathrm{u}\mathrm{t}}} $

大多数心脏疾病与心电图中高频信号相关,而传统CNN对高频信息利用不充分。因此,注意力机制模块使用拉普拉斯滤波器,突出心电图中强度发生快速变化的区域,得到增强心电图高频信号的特征,再通过堆叠特别设计的RES Attention Module对其进行高层特征提取,以此实现对心电图高频信号的注意力增强,并得到增强后的心电图高层特征。注意力机制CNN网络通过级联操作拼接增强心电图高层特征和心电图基本特征,全面保留了信息增强后的心电图高层特征和心电图提取的基本特征,并将拼接后特征作为后续模型的输入,有效利用了先验信息,增加了提取特征的信息量。

2.3 自适应GCN网络

自适应GCN网络以图Gin为输入,其包含初始节点特征矩阵$ {\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times d} $N为样本总数,d为样本特征向量的维度)和初始邻接矩阵$ \boldsymbol{A}\in {\mathbb{R}}^{N\times N} $,参数可更新。Gin的初始化流程如图 3所示。首先计算并记录节点特征向量间的欧式距离$ \mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}\left(\boldsymbol{X}, \boldsymbol{Y}\right)=\sqrt{\sum\limits_{i=1}^{n}{\left({\boldsymbol{X}}_{i}-{\boldsymbol{Y}}_{i}\right)}^{2}} $,之后新建邻接矩阵$ \boldsymbol{A}\in {\mathbb{R}}^{N\times N} $,根据KNN算法寻找各节点的邻域节点(如图 3(b)所示),在矩阵A中进行记录,各节点对应行中的邻域节点位置设置值为1。最后遍历各节点,完成图Gin的初始化。

Download:
图 3 图初始化流程 Fig. 3 Initialization procedure of graph

自适应GCN网络结构如图 1(c)所示,第1层为图卷积层,计算式如(3)所示:

$ {\boldsymbol{Z}}_{1}=\sigma \left(\left[{\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}//{\boldsymbol{G}}_{{}_{\mathrm{o}\mathrm{u}\mathrm{t}}}^{X}\right]\boldsymbol{W}\right) $ (3)

其中:$ \boldsymbol{G}=g\left({\boldsymbol{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}, \boldsymbol{A}\right) $表示大小为$ N\times N $的聚合矩阵,每行之和为1,$ g\left(\cdot \right) $XoutA的一个函数;操作符“//”表示沿着特征维度进行拼接;W为权重矩阵,维度为$ 2d\times {d}_{1} $$ \sigma \left(\cdot \right) $为非线性激活函数。

图卷积层运算主要包括两步。第1步为XoutG相乘,对节点邻域节点的信息进行聚合;然后输入节点特征Xout与邻域聚合信息$ {\boldsymbol{G}}_{\mathrm{o}\mathrm{u}\mathrm{t}}^{X} $在特征维度上进行拼接。第2步为对融合特征通过一组线性滤波器进行转换,其参数为可学习的权重矩阵W。经图卷积层,输出图G1,包含变换后的节点特征矩阵$ {\boldsymbol{{\rm Z}}}_{1}\in {\mathbb{R}}^{N\times {d}_{1}} $d1为输出特征维度)和邻接矩阵$ {\boldsymbol{A}}_{1}\in {\mathbb{R}}^{N\times N} $。第2层为非线性激活函数层,Z1经激活输出$ {\boldsymbol{Z}}_{2}\in {\mathbb{R}}^{N\times {\mathrm{d}}_{2}} $。第3层为图卷积层,以G1为输入,包含Z2A1,经图卷积层,输出节点高层特征矩阵$ {\boldsymbol{Z}}_{3}\in {\mathbb{R}}^{N\times {d}_{3}} $和更新后邻接矩阵$ {\boldsymbol{A}}_{2}\in {\mathbb{R}}^{N\times N} $Z3经过ReLU非线性函数激活层、线性等维映射层和PReLU非线性激活函数层,线性分类器层输出$ {\boldsymbol{Z}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times D} $D为类别总数),最后经过Sigmoid完成分类。

与标准GCN不同,本文的自适应GCN模块将邻接矩阵A设置为参数自适应更新,能够自适应地调整邻域节点的权重,在多次迭代中效果较好。

自适应GCN模块通过基于GCN的映射函数从输入Gin中学习相互依赖的对象分类器$ {\boldsymbol{Z}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times D} $,其中D表示类别总量;N表示样本总数。基于GCN的映射函数在构建中通过级联操作拼接输入节点特征信息和邻域节点聚合信息,有效利用了节点特征空间的邻域样本信息,又不丢失节点自身信息。GCN网络通过每一个GCN层更新节点状态,每一个节点对应一个样本的分类器,经过两个堆叠的GCN层后,最终节点的特征向量长度达到总类别数D,再通过sigmoid即可完成分类。

2.4 损失函数

本文采用加权的二元交叉熵函数作为损失函数,其表达式如下:

$ \mathrm{l}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{c}}\left(x, y\right)=\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}\left\{{L}_{\mathrm{c}}\right\}=\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}\left\{{\left\{{l}_{1, c}, {l}_{2, c}, \cdots , {l}_{N, c}\right\}}^{T}\right\} $ (4)
$ {l}_{n, c}=-{\boldsymbol{w}}_{n, c}[{\boldsymbol{p}}_{c}{y}_{n, c}\times \mathrm{l}\mathrm{o}{\mathrm{g}}_{a}\boldsymbol{\sigma }\left({x}_{n, c}\right)+\left(1-{y}_{n, c}\right)\times \\ \mathrm{l}\mathrm{o}{\mathrm{g}}_{a}\left(1-\boldsymbol{\sigma }\left({x}_{n, c}\right)\right) $ (5)

其中:x表示预测值;y为真实标签;$ \sigma (\cdot ) $表示Sigmoid激活函数;c表示类别总数,此处设置为44;N表示每一个batch样本数;pc表示各类别的权重系数;w为各样本权重,实验中设置为1。

pc的定义如式(6)所示:

$ {p}_{{}_{C}}=1/\mathrm{l}\mathrm{o}{\mathrm{g}}_{a}\left(\mathrm{n}\mathrm{u}\mathrm{m}\left(c\right)+1\right) $ (6)

其中:num(c)表示类别c的样本总数,各类别对应的权重系数与其数量成反比,以此提高小样本类预测时对损失函数的影响,解决因数据集分布不均匀可能导致的分类偏差。

3 实验结果与分析 3.1 数据集与预处理

本文选用PTB-XL数据集[25]进行实验,PTB-XL数据集是一个大型心电图数据集,包含来自18 885名患者长度为10 s的21 837个临床12导联心电图。PTB-XL数据库的采样频率为500 Hz。经数据加载,得到形如$ \boldsymbol{X}\in {\mathbb{R}}^{N\times C\times L} $的原始心电图数据,其中:N为心电图数据集样本总数;C为通道数;L为单个样本单导联的时序信号值长度。

PTB-XL数据集针对诊断类标签给出了超类-子类-具体类的层次结构,其中超类包含NORM(正常心电图)、CD(传导干扰)、MI(心肌梗塞)、HYP(肥大)、STTC(ST/T段改变)。本文针对样本的诊断类标签具体类别进行多标签分类,将所研究问题转化为一个44类多标签分类问题,表 1给出了其中4个样例类的详细说明,包括该类标签名、该类标签的详细描述、其在数据集中的样本数以及所属超类。

下载CSV 表 1 样例类详细说明 Table 1 Sample class details

本文采用PTB-XL数据集推荐的训练集和测试集进行实验。其中训练集数据为19 267条,测试集数据2 163条,推荐的测试集数据拥有高质量的标签且数据分布与训练集数据类似。

3.2 实验环境

设备:CPU使用的是4核32 GB内存,GPU使用Tesla-V100-SXM-32 GB×1。环境:Pytorch1.7.1+ cuda10.0。

3.3 对比模型

本文分别基于下列基准模型进行实验对比:

1)ResNet18[23]:ReseNet18是一个18层的残差结构CNN,在本实验中使用一维卷积代替二维卷积,对ResNet18进行了微调。

2)ResNet101[23]:ResNet101是一个101层的残差结构深度CNN,对原网络结构使用一维卷积进行微调。

3)Multi-ECGNet[8]:以残差神经网络为基础,结合深度可分离卷积、SE模块构建残差块的CNN网络。

4)XceptionNet[24]:XceptionNet是以Inception V3为基础,使用深度可分离卷积改进的CNN,使用一维卷积对原网络结构进行微调。

5)InceptionNet[26]:InceptionNet是由多个大小卷积核提取图像不同尺度信息并进行融合的CNN。一维卷积进行微调。

6)注意力机制CNN+线性分类层:使用本文设计的注意力机制CNN网络提取特征,并结合线性分类层完成分类的网络。

7)注意力机制CNN+非自适应GCN:使用本文设计的注意力机制CNN网络提取特征,并结合非自适应GCN完成分类的网络。

3.4 评价指标

本文所针对的分类任务为多标签分类任务,参考现有心电图多标签分类研究所使用指标[9, 27],本文选择宏平均受试者工作特征线下面积值(Area Under the Receiver Operating Characteristic Curve,AUROC)作为主评价指标。另外,使用3种常见的多标签分类评价指标[28-29]作为副评价指标,包括标签集排序损失(Label Ranking Loss,RL)[30],最大概率预测标签错误率(OE)[31],全覆盖偏差(Coverage Error,Cov)[28]。其中AUROC值越高代表模型该指标越好,RL、OE、Cov值越低代表模型该指标越好。

3.5 实验结果

图 4所示为MLECG-AGCN模型各类别的AUROC值。如图 4所示,MLECG-AGCN模型在INJIL、3AVB等样本数量较小的类别上均取得了大于0.99的AUROC值,在NORM、IMI等样本数量较大的类别上分别取得了0.946、0.935的AUROC值,这从侧面验证了本文所用损失函数的合理性。本文模型在LAO/LAE、IVCD等个别类上表现不佳,这可能是由于该类样本数量过少,或其在高频心电图中与其他疾病相似度过高等原因导致,但总体来说,MLECG-AGCN模型在绝大多数类别的分类中表现较好。

Download:
图 4 MLECG-AGCN模型的各类别AUROC值 Fig. 4 AUROC value for each class of MLECG-AGCN model

自适应图卷积网络测试集上的AUROC值及其他评价指标值,以及训练集及测试集损失随训练轮数变化如表 2所示。不同于CNN模型的训练方式,自适应图卷积网络在训练时,需要构建原始图,以原始图为输入进行训练。自适应图卷积网络每一个epoch只对模型进行一次更新,因此需要更多的迭代轮数以使loss收敛。本文设置epoch为4 000轮,由表 2可知,MLECG-AGCN模型在数据训练开始后快速收敛,且并未欠拟合或过拟合。在初始20~50轮迭代中,AUROC值从0.661快速提升至0.684;经500轮迭代后,AUROC值提升至0.870,在500轮迭代前模型尚未稳定,AUROC值的提升较快。经2 000轮迭代后,AUROC值达到0.934,已经接近ResNet101基准模型的最高值。经过4 000轮迭代后,AUROC值为0.941,训练中测试集AUROC值最高值达到0.943,在这部分的迭代中,模型逐渐稳定,AUROC值缓慢提升。

下载CSV 表 2 自适应图卷积网络的实验结果 Table 2 Experimental results of adaptive graph convolutional network

表 3所示为不同模型在PTB-XL数据集下,使用采样频率为500 Hz心电图数据进行对比实验的结果,由表 3可知,ResNet101模型相较于ResNet18模型的分类准确率更高,AUROC值提升了0.011。为了验证深度可分离卷积模型的有效性及其效果,将XceptionNet与IncetionNet模型进行对比,发现前者的AUROC值提高了0.053。此外,将本文设计的注意力机制CNN+线性分类层网络与Multi-ECGNet对比,结果发现,结合了本文注意力机制和深度可分离卷积的注意力机制CNN网络取得了更好的结果,AUROC值达到0.941,这验证了本文设计的注意力机制CNN在提高模型性能方面具有一定作用。MLECG-AGCN模型与注意力机制CNN+非自适应GCN相比,使用自适应GCN的MLECG-AGCN模型取得了更好的效果,这验证了邻接矩阵参数自适应更新在一定程度上能提高模型性能。MLECG-AGCN模型与注意力机制CNN+线性分类层相比,AUROC值提高0.002,达到最高的0.943,这说明MLECG-AGCN模型中自适应GCN模块对提高模型性能具有重要作用。

下载CSV 表 3 不同模型在PTB-XL数据集(500 Hz)下的实验结果对比 Table 3 Comparison of experimental results of different models in PTB-XL dataset (500 Hz)

为更全面地验证MLECG-AGCN模型对不同类型心电图数据的多标签分类能力,本文还使用PTB-XL数据集中采样频率为100 Hz的心电图数据对各模型进行了对比实验,结果如表 4所示。由表 4可知,MLECG-AGCN模型取得了最高的AUROC值0.930,同时其他指标值也略高于对比模型。实验结果表明,MLECG-AGCN模型通过图卷积网络可以更有效地利用特征空间中的全局信息和邻域信息,提高分类准确率。

下载CSV 表 4 不同模型在PTB-XL数据集(100 Hz)下的实验结果对比 Table 4 Comparison of experimental results of different models in PTB-XL dataset (100 Hz)

综合上述实验结果,与Multi-ECGNet模型[8],以及以ResNet18、ResNet101、Xception等为代表的基准模型相比,MLECG-AGCN模型取得了最高的主评价指标值,达0.943 639。同时,本文提出的注意力机制CNN结合线性分类层在Cov评价指标上取得了最高值,其他指标值略低于MLECG-AGCN模型,验证了本文注意力机制的优越性。

4 结束语

本文提出一种基于自适应图卷积网络的心电图多标签分类模型MLECG-AGCN,通过基于拉普拉斯滤波器设计的注意力机制CNN,增强对心电图高频信号的利用率,提高网络的表征能力。使用自适应图卷积,有效利用全局信息和特征空间邻域样本信息进行样本分类,提高分类准确率。此外,本文设计并使用适用于多标签分类的损失计算方法和评价指标,从多标签角度考虑问题,从而高效利用高频信号。实验结果表明,注意力机制CNN与自适应图卷积网络的结合有效提升了心电图分类精度,MLECG-AGCN模型能适用于心电图分类工作。下一步将使自适应图卷积网络与CNN网络进行端到端结合,提高心电图多标签分类准确率。

参考文献
[1]
WHO. Top ten causes of death[EB/OL]. [2021-11-10]. https://www.who.int/zh/news-room/fact-sheets/detail/the-top-10-causes-of-death.
[2]
李志平, 张福利, 马学博. 心电研究与现代心电图检测法建立的历史回顾[J]. 中华医史杂志, 1999(4): 215-219.
LI Z P, ZHANG F L, MA X B. A historical review of the study of electrical activity of heart and origination of electrocardiography[J]. China Journal of Medical History, 1999(4): 215-219. (in Chinese)
[3]
FLOWERS N C, HORAN L G, THOMAS J R, et al. The anatomic basis for high-frequency components in the electrocardiogram[J]. Singapore Medical Journal, 1969, 39(4): 531-539.
[4]
ABBOUD S, ZLOCHIVER S. High-frequency QRS electrocardiogram for diagnosing and monitoring ischemic heart disease[J]. Journal of Electrocardiology, 2006, 39(1): 82-86. DOI:10.1016/j.jelectrocard.2005.09.007
[5]
CEYLAN R, ÖZBAY Y, KARLIK B. A novel approach for classification of ECG arrhythmias: type-2 fuzzy clustering neural network[J]. Expert Systems with Applications, 2009, 36(3): 6721-6726. DOI:10.1016/j.eswa.2008.08.028
[6]
WANG J S, CHIANG W C, YANG Y T C, et al. An effective ECG arrhythmia classification algorithm[C]//Proceedings of the 7th International Conference on Intelligent Computing: Bio-inspired Computing and Applications. Berlin, Germany: Springer, 2011: 545-550.
[7]
ZIDELMAL Z, AMIROU A, OULD-ABDESLAM D, et al. ECG beat classification using a cost sensitive classifier[J]. Computer Methods and Programs in Biomedicine, 2013, 111(3): 570-577. DOI:10.1016/j.cmpb.2013.05.011
[8]
CAI J X, SUN W W, GUAN J F, et al. Multi-ECGNet for ECG arrythmia multi-label classification[J]. IEEE Access, 2020, 8: 110848-110858. DOI:10.1109/ACCESS.2020.3001284
[9]
WANG J K, QIAO X, LIU C C, et al. Automated ECG classification using a non-local convolutional block attention module[J]. Computer Methods and Programs in Biomedicine, 2021, 203: 106006-106012. DOI:10.1016/j.cmpb.2021.106006
[10]
BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[EB/OL]. [2021-11-10]. https://www.semanticscholar.org/paper/Neural-Machine-Translation-by-Jointly-Learning-to-Bahdanau-Cho/fa72afa9b2cbc8f0d7b05d52548906610ffbb9c5.
[11]
JADERBERG M, SIMONYAN K, ZISSERMAN A. Spatial transformer networks[J]. Advances in Neural Information Processing Systems, 2015, 28: 17-25.
[12]
HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2018: 7132-7141.
[13]
WANG F, JIANG M Q, QIAN C, et al. Residual attention network for image classification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2017: 6450-6458.
[14]
YAO L, MAO C S, LUO Y. Graph convolutional networks for text classification[J]. Proceedings of AAAI Conference on Artificial Intelligence, 2019, 33: 7370-7377. DOI:10.1609/aaai.v33i01.33017370
[15]
QIN A Y, SHANG Z W, TIAN J Y, et al. Spectral-spatial graph convolutional networks for semisupervised hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 241-245. DOI:10.1109/LGRS.2018.2869563
[16]
WANG Z D, ZHENG L, LI Y L, et al. Linkage based face clustering via graph convolution network[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2019: 1117-1125.
[17]
HAMILTON W L, YING R, LESKOVEC J. Inductive representation learning on large graphs[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Washington D. C., USA: IEEE Press, 2017: 1025-1035.
[18]
LI Q M, HAN Z C, WU X M. Deeper insights into graph convolutional networks for semi-supervised learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence. New Orleans, USA: AAAI Press, 2018: 65-72.
[19]
ESTRACH J B, ZAREMBA W, SZLAM A, et al. Spectral networks and deep locally connected networks on graphs[EB/OL]. [2021-11-10]. https://www.doc88.com/p-7856953882676.html.
[20]
DEFFERRARD M, BRESSON X, VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering[J]. Advances in Neural Information Processing Systems, 2016, 29: 3844-3852.
[21]
KIPF T, WELLING M. Semi-supervised classification with graph convolutional networks[EB/OL]. [2021-11-10]. https://www.semanticscholar.org/paper/Semi-Supervised-Classification-with-Graph-Networks-Kipf-Welling/36eff562f65125511b5dfab68ce7f7a943c27478.
[22]
VELIČKOVIĆ P, CUCURULL G, CASANOVA A, et al. Graph attention networks [EB/OL]. [2021-11-10]. https://www.xueshufan.com/publication/2963858333.
[23]
HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2016: 770-778.
[24]
CHOLLET F. Xception: deep learning with depthwise separable convolutions[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2017: 1800-1807.
[25]
WAGNER P, STRODTHOFF N, BOUSSELJOT R D, et al. PTB-XL, a large publicly available electrocardiography dataset[J]. Scientific Data, 2020, 7(1): 154-161. DOI:10.1038/s41597-020-0495-6
[26]
SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D. C., USA: IEEE Press, 2016: 2818-2826.
[27]
STRODTHOFF N, WAGNER P, SCHAEFFTER T, et al. Deep learning for ECG analysis: benchmarks and insights from PTB-XL[J]. IEEE Journal of Biomedical and Health Informatics, 2021, 25(5): 1519-1528. DOI:10.1109/JBHI.2020.3022989
[28]
ZHANG M L, ZHANG K. Multi-label learning by exploiting label dependency[C]//Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM Press, 2010: 999-1008.
[29]
ZHANG M L, ZHOU Z H. A review on multi-label learning algorithms[J]. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(8): 1819-1837. DOI:10.1109/TKDE.2013.39
[30]
JAIN H, PRABHU Y, VARMA M. Extreme multi-label loss functions for recommendation, tagging, ranking & other missing label applications[C]//Proceedings of the 22nd ACM International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM Press, 2016: 935-944.
[31]
CHEN W, LIU T Y, LAN Y, et al. Ranking measures and loss functions in learning to rank[J]. Advances in Neural Information Processing Systems, 2009, 22: 315-23.