1 引言
随着医学影像技术的高速发展,冠心病的临床诊断方式多种多样。常用冠脉成像模式的图像有冠状动脉造影、血管内超声成像、计算机断层图像。冠状动脉造影术需要引入压力导丝,容易引发术后不良反应,对医生操作要求高且价格昂贵。血管内超声是无创性的超声技术与有创性的导管技术相结合,通过超生探头对血管腔内部的声波发射及回收,用于检查血管内壁情况。冠脉CTA的检查设备是螺旋CT,经过CT扫描后可以通过计算冠脉重建信息,直观地观察狭窄和钙化情况,由于其非侵入性、操作简单等特点,成为临床上应用最广泛的冠心病检查手段之一[1]。但是冠脉 CTA 图像无法评价冠状动脉的功能意义。因此大量学者为了预防和提高对冠心病的理解,利用冠状动脉CT血管造影图像进行心血管疾病的量化描述和血管三维重建。而研究的前提都是要通过图像处理技术实现冠脉血管的分割提取[2]。
现有的传统算法主要通过基于模型、基于统计学的方法实现冠脉CTA血管分割。基于模型的三维分割算法对噪声比较敏感,在处理灰度不均匀图像时、模型容易提前终止出现丢失部分血管的情况。文献[3]提出了一种使用圆柱结构建模的方法,为每个血管段寻找最合适的圆柱模板,用来重建整个血管树。该算法以人工在动脉最远端指定的种子点相主动脉迭代进行,当确定血管与主动脉的连接处时停止。文献[4]定义了基于强度的血管模型来提取CTA数据中的冠状动脉。从图像强度中构造二阶张量用于驱动血管分割演化。模型在单个种子点初始化,通过自动分支检测算法分割整个血管树。统计学的方法比较常用的是基于状态估计的血管追踪方法,可以实现线性或非线性系统中的目标跟踪。文献[5]提出基于主动轮廓模型和卡尔曼滤波器的三维CT血管半自动分割和跟踪算法。通过为主动轮廓模型手动选择足够数量的初始点完成血管边界分割,并使用卡尔曼滤波器跟踪切片之间血管边界的位置和形状变化,该算法在分割和跟踪方面表现出了良好的性能。文献[6]提出了一种基于两阶段的主动轮廓算法,用于分割三维冠状动脉CT图像中冠状动脉树。第一阶段定义最佳的二值标签,通过基于区域统计的活动轮廓方法完成冠状动脉的整个树结构的提取。第二阶段通过提出的逐帧校正算法去除类似血管的结构。
传统的图像处理方法无法针对每个病例做出准确分割。近年来,神经网络在二维视网膜图像分割[7]、核磁共振图像(MRI)颅骨剥离[8]、脑肿瘤分割[9]等许多应用场景中显示出优于传统医学图像处理方法的优势[10]。医疗数据通常为3D形式,而现有的神经网络主要是2D形式[11-12]。从医学图像中自动分割出目标是个艰巨的任务,因为医学图像具有较高的复杂性且缺少简单的线性特征。文献[13]提出了 U-net 神经网络,实现了对生物细胞图像的自动分割,与FCN网络不同的是,U-net网络使用跳连结构将下采样层和上采样层相连,这使得像素定位更加准确。U-net网络在医学图像分割领域表现非常优秀,很多学者将U-net网络作为基础框架[14]。文献[15]使用3D U-net神经网络进行冠状动脉CTA分割,同时调整CTA数据为适合网络的小体积数据,调整内核、层数以及批次大小进行机器学习。 文献[16]提出的一种基于3D卷积的V-net网络用于MRI前列腺医学图像分割,解决了2D网络忽略了第三维的空间信息的问题。
本文提出一种多阶段冠状动脉CTA三维分割算法,首先利用基于自适应阈值的分割方法提取心脏区域,消除其他组织及外部干扰的影响,为网络提供良好的训练样本。然后利用改进的V-net网络实现冠脉CTA图像的三维分割,与2D神经网络不同之处在于,它通过3D卷积核来共享三维空间信息。最后利用水平集函数迭代优化网络预测结果的边缘轮廓,以进一步提高血管分割结果的正确性和平滑性。本文得到的结果不仅可以用于医生的观察诊断,还能用于后续的一些相关计算中,比如目前国际上推广的血流储备分数计算等。
2 总体算法流程
在本节中,我们主要介绍整体的算法流程。由于全卷积网络需要接受监督学习训练,训练样本的好坏对模型效果影响较大[17]。所以本文提出多阶段方法将冠脉血管以从粗到细的方式逐级分割。本文方法主要分为三个阶段,2.1节描述第一阶段基于自适应阈值的心脏区域提取,将冠脉血管保留在一个相对干净的区域[18]。2.2节描述第二阶段基于全卷积网络的冠脉血管分割,全卷积网络旨来逐步地学习冠脉血管的辨别特征,从而实现精确的血管分割。2.3节描述第三阶段基于水平集对网络输出的结果进行边缘优化。
图1 总体算法流程图
Fig.1 Overall algorithm flow chart
2.1 基于自适应阈值的心脏区域提取
冠脉CT图像中血管与背景之间的对比度低,并不利于冠状动脉血管的分割。针对这个问题,在进行分割之前,运用形态学中的高低帽变换增强血管与背景的对比度。高帽变换采用开运算检查灰度图像中的灰度峰值,能将亮目标从背景中有效地分离出来。反之,低帽变换采用闭运算检查灰度图像中的灰度谷值[19]能将暗目标从亮背景中凸显出来。高帽变换和低帽变换的定义分别为:
ftop_hat=f-(f∘b)=f-fopen
(1)
fbottom_hat=f-(f•b)=f-fclose
(2)
其中: f表示图像,fopen表示开运算,fclose表示闭运算,b表示形态学中的结构元素。所以高、低帽变换结合使用,可以使图像前景和背景灰度进一步被拉伸,突显相关目标和细节,起到图像增强的作用。图像增强过程可以表示为:
fenhance=ftop_hat-fbottom_hat
(3)
fenhance即为增强后的冠脉CT图像。
针对CTA医学图像的特点,阈值小于-244的为非包含CTA内容元素全部置为背景,使用全局阈值分割方法将冠脉CTA图像置为只包含背景和目标的二值图像。肺是胸部CT扫描中的主要器官,考虑到肺部的特殊性。采用基于连通域的分割方法优先排除冠脉CTA二值图像肺部区域。通过保留最大连通域,填补肺部小连通域的方法去除掉了肺部。
其次进行心脏组织的粗分割,利用自适应阈值的方法提取CT图像中心脏所在的区域。单一的全局阈值分割通过实验证明并不能得到较好的结果,为了得到合适的阈值,本文研究各种不同的阈值处理技术,最后使用最大类间法效果最佳。选择阈值的方法不仅查看图像实际范围,还要查看其分布,病人切片像素的直方图分布如图2所示。
图2 切片的像素分布图
Fig.2 Pixel distribution of the slice
上图中有两个峰值,在理论情况下,最理想的阈值就是在两个峰值之间的波谷处,但是这种基于直方图的全局阈值技术仅对光线条件均匀的图像处理很好,在医疗图像上无法获得满意的结果。本文采用最大类间方差法,寻找合适的阈值。假设对于单阈值图像被分割为两类,前景和背景的分割阈值记作T。属于前景的像素点数占整幅切片图像的比例为P0,其平均灰度为μ0,背景像素点数占整幅切片图像的比例为p1,其平均灰度为μ1。
图像的平均灰度级表示为:
μ=P0μ0+P1μ1
(4)
图像的类间方差表示为:
δ2(T)=P0(μ0-μ)2+P1(μ1-μ)2
(5)
当类间方差达到最大是该灰度级T为最优分割阈值。
我们将经过自适应阈值分割后的心脏区域视为一个整体结构,并且心脏区域分割结果为下一阶段的精确分割提供相对良好的初始值。自适应阈值的心脏提取阶段总体流程图如图3所示。
图3 心脏区域分割流程图
Fig.3 Heart area segmentation flow chart
2.2 基于全卷积网络的冠脉血管分割
全卷积网络需要接受监督学习训练,训练样本的好坏对模型效果影响较大。为了保障模型训练的效果,引入心脏区域预提取阶段,在提取的心脏区域和原始切片之间执行点积操作,结合对应标签作为训练数据,为3D全卷积网络提供良好的初始值,从而实现心脏区域内的血管精准分割。
图4 全卷积网络结构图
Fig.4 Full convolution network structure
传统的FCN网络针对冠脉血管的分割结果会出现粗糙,易丢失边缘细节信息等现象,导致分割的精度不高。图4提供了全卷积神经网络的结构图,采用跳跃连接构建编码器-解码器结构全卷积神经网络,将编码器部分对应的低层特征与高层语义信息融合,通过反卷积操作进行上采样,构成一个对称的分割网络。本文采用监督学习的方法来训练模型,丢弃传统的完全连接层并使用全卷积层,这利用了3D空间上血管之间的连续性保留了空间信息。
同时利用残差块进一步学习细节和纹理特征[15]。网络的编码器-解码器分为不同的阶段,每个阶段包括一到三个卷积层,与文献[16]中提出的方法类似,每个阶段学习残差函数,这种结构可以保证网络模型在短时间内收敛。在每个阶段中使用卷积核为5×5×5,步长为1的卷积。用卷积替换传统池化操作,这样可以减小网络训练时的内存占用,每个阶段的末尾使用卷积核为2×2×2,步长为2的卷积,特征大小缩小一半,这样同样可以减少内存占用。除了最后一层卷积后使用sigmoid激活函数。整个网络都是使用文献[21]中的PReLU非线性单元。网络最后一层使用大小为 1×1×1 的卷积,处理成与输入一样大小的数据。最后得到表征每个像素是血管的概率值[20]。
在医学图像中,感兴趣的分割区域仅占据扫描非常小部分的情况并不罕见。这通常会导致学习过程陷入损失函数的局部最小值,这样网络的预测更偏向于背景,而造成前景区域经常丢失或仅部分检测到的结果。许多研究方法通过给像素分配权重来解决这个问题。本文使用基于dice系数的损失函数,无需为不同类别的样本分配权重即可以在前景和背景体素之间建立适当的平衡,并且训练以后有良好的分割效果。D是一个介于0和1之间的数值,网络的目标是最大化dice系数,定义如下:
(6)
其中N是体素的数量,pi∈P是网络预测的二值分割volume,gi∈G是ground truth二值分割。
2.3 基于水平集的边缘优化
水平集分割方法是基于几何形变模型,它根据心脏结构确定冠脉血管不同部位的阈值范围和冠脉血管的分布范围,从而解决由于边界模糊产生的冠脉血管分割不准确问题。在计算过程中不断地进行迭代运算,改变零水平集,直到曲线收敛到稳定状态为止,得到血管轮廓。而我们的深度学习模型分割结果通常是非平滑且模糊,因此使用水平集算法对网络预测结果的边缘轮廓进行迭代优化,以进一步提高血管分割结果的平滑性。水平集函数的演变满足以下基本方程式:
φt+F|
φ|=0
(7)
其中φ是水平集函数,其零水平集代表目标轮廓曲线,即Γ(t)={x|φ(x,t)=0},φ表示水平集函数的梯度范数;F为曲面法线方向上的速度函数,控制曲线运动。一般F包括与图像有关的项(如梯度信息等)以及曲线的几何形状有关的项。
3 实验与结果
3.1 实验环境
实验环境基于Ubuntu16.04,64位操作系统,训练平台为Keras,GPU型号为NVIDIA GTX 1080 Ti。数据集是由胸部医学CT图像文件和对应的血管标注组成。该数据集是与项目合作的上海中山医院共同收集,用于辅助判断血管堵塞程度。共收录了70个研究实例,涉及11480张CT图像。对于血管标注图像,都是由经验丰富的医生标注。CT数据格式为DICOM,标注数据为tif格式。对于病例0001,处理的数据为三维矩阵即512×512×181的矩阵,一共181张切片,每张大小为512×512。我们选取50个研究实例,各实例选取96张进行训练,20个实例用来完成测试。
3.2 实验结果与分析3.2.1 心脏区域分割
本文研究在CTA数据集上进行提取心脏区域分割实验,随即选取同一个病人第10、40、70幅切片的心脏区域分割的阶段结果显示在图3中。图5(a)显示原始CT切片。图5(b)显示了二值化的CT图像。CTA数据经过了形态学高低帽变换增强了血管与背景的对比度,然后采用了连通域方法去除肺部区域的阶段结果显示在图5(c)。图5(d)中显示采用自适应阈值方法去除人体除了心脏部位的其他组织,提取的心脏区域二值图。图5(e)显示提取的心脏区域二值图与对应原始CT切片执行点积操作,得到算法最终的结果图。本文提出的方法可以产生增强后完整的分割结果,尽管会失去一些边缘细节,但是它可以为冠脉分割提供更有价值的初始值。
3.2.2 冠脉血管分割
网络模型在一个GPU上训练了500个epochs,训练时间为10个小时,并使用Adam算法用于优化网络模型,初始学习率设置为0.00001,batchsize设置为1。实验中的三维冠脉CTA数据大小为512×512×181,由于运行内存设置,我们将数据输入大小为128×128×96。图6为实验结果的可视化效果图,图6中的每一行分别对应冠脉CTA数据的不同阶段,第一行对应于仅包含主动脉,冠状动脉尚未出现的阶段。第二行对应于主动脉以及冠状动脉同时存在的阶段,第三行对应于不存在主动脉仅存在细小的冠脉血管的阶段。图6(a)是原始CT图像及对应血管标签,黄色标记框为主动脉,红色标记框为冠状动脉。图6(b)为使用原始Dicom数据经过V-net网络模型预测的冠脉血管结果。图6(c)为使用原始Dicom数据经过改进后的V-net网络模型预测的冠脉血管结果。图6(d)为采用心脏区域预提取后的Dicom数据,经过改进后的V-net网络模型预测的冠脉血管结果。图6(e)为在图6(d)方法的基础上使用Levelset算法优化边缘轮廓分割出的冠脉血管结果。
图5 心脏区域分割结果图
Fig.5 Heart area segmentation result map
图6 可视化分割结果
Fig.6 Visual segmentation results
图6中虚线标记框为各方法网络预测表现欠佳的血管。图6(1)中显示不同方法分割冠脉血管结果图,由图可知,只使用V-net网络分割的主动脉血管边界存在缺陷,而improved V-net网络分割的主动脉边缘仍会存在一定的丢失情况,但通过预提取心脏区域和水平集函数优化,主动脉的分割精度有显著提升。图6(2)中显示不同方法在处理同时包含主动脉及冠状动脉情况下的分割效果图,由图可知,V-net网络在主动脉分割上仍存在缺陷问题,并且在冠脉分割上呈现假阴性情况。improved V-net网络未出现假阴性情况,可以追踪到冠脉血管,但是主动脉及冠脉同时存在边缘丢失的现象,通过心脏预提取模块经过改进后的网络模型在冠脉血管分割上表现稍有提升,但边界轮廓仍然存在丢失的情况,最后采用本文提出的最终方法,用水平集函数对前面的得到的结果进行进一步边缘优化,效果显著提升。图6(3)显示不同方法在处理仅包含冠状动脉情况下的分割效果图,由图可知,V-net网络的预测结果在边缘细小冠脉血管上表现不佳,假阴性与假阳性情况同时存在,improved V-net在边缘细小冠脉上并没有出现假阳性仅出现了假阴性情况。通过本文的方法来进一步精确边缘细小血管的分割,减少假阳性和假阴性情况。分割结果的可视化如图6所示。
从分割结果图上可以清楚地观察到模型的有效性,我们的算法可以追踪细小血管,同时使血管边界更加准确和平滑,很大程度上改善了血管分割的假阳性与假阴性情况。在模型的基础上,继续测试了基于水平集算法产生的优化结果,并与无优化版本进行比较,有了明显提升。定量地,通过Jaccard指数和Dice相似系数得分来评估冠状动脉分割的效果。两个值的范围介于0和1之间,值越高,分割精度越好。Jaccard和Dice的计算公式可以定义为:
(8)
(9)
其中Y是真实标签,Yp是预测的分割结果。
表1 本文方法与V-net网络结果对比
Tab.1 Comparison of the method proposed in this paper with V-net network results
MethodJaccardDiceV-net0.7630.834Improved V-net0.7960.848HeartExtract+Improved V-net0.8090.879Proposed Method0.8130.903
本文提出的方法与V-net网络模型结果在数据集上的对比情况如表1所示。对于20组测试患者数据,首先使用V-net网络对冠脉CTA数据进行评估,平均的Jaccard系数和Dice系数为0.763和0.834。V-net网络可以分割出主动脉的位置,但是在细小血管的表现欠佳,存在严重的假阴性和假阳性问题。Improved V-net在数据集上的表现优于V-net的性能。然后将提取心脏区域与Improved V-net相结合,对于分割血管精度上存在明显改善。但是分割结果仍存在边界不平滑的问题。因此我们使用水平集的方法来优化边缘轮廓。最后Proposed Method是在HeartExtract+Improved V-Net之后使用水平集函数优化血管边缘轮廓,在数据集上取得的平均Jaccard系数和Dice系数为0.813和0.903,相比之前的方法有了显著提升。从表1中的定量分析来看,文中的方法在精度方面明显优于V-net性能。
4 结论
在大规模医学数据背景下,提出了多阶段冠状动脉CTA三维分割算法,首先通过提取完整的心脏区域,将分割的心脏区域作为训练数据,输入到端到端的3D全卷积神经网络用于冠脉CTA的分割。最后利用水平集函数迭代优化网络预测结果的边缘轮廓,以进一步提高血管分割结果的正确性和平滑性。在对比实验中,本文所提方法与V-net网络进行对比,实验效果通过Jaccard指数和Dice相似系数得分来评估冠状动脉分割的效果。实验结果表明本文算法能更准确的分割冠脉CTA血管,并确保分割血管的边界平滑性。
[1] 马丽媛, 吴亚哲, 王文, 等. 《中国心血管病报告 2017》要点解读[J]. 中国心血管杂志, 2018, 23(1): 3- 6.
Ma Liyuan, Wu Yazhe, Wang Wen, et al. Interpretation of the “China Cardiovascular Disease Report 2017”[J]. Chinese Journal of Cardiovascular Medicine, 2018, 23(1): 3- 6.(in Chinese)
[2] Kang W W, Wang K, Zhang L B. Segmentation method of coronary arteries based on fusion algorithm[J]. Computer Engineering and Applications, 2010(12): 139-142.
[3] Fotin S V, Giger M L, Karssemeijer N, et al. Segmentation of coronary arteries from CT angiography images[J]. Proceedings of SPIE-The International Society for Optical Engineering, 2007, 6514: 651418.
[4] Cetin S, Demir A, Yezzi A, et al. Vessel tractography using an intensity based tensor model with branch detection[J]. IEEE Transactions on Medical Imaging, 2013, 32(2): 348-363.
[5] Lee S H, Lee S. Adaptive Kalman snake for semi-autonomous 3D vessel tracking[J]. Computer Methods and Programs in Biomedicine, 2015, 122(1): 56-75.
[6] Wang Y, Liatsis P. An Automated Method for Segmentation of Coronary Arteries in Coronary CT Imaging[C]∥International Conference on Developments in Esystems Engineering. London, UK, 2010: 12-16.
[7] Zhang J, Cui Y, Jiang W, et al. Blood Vessel Segmentation of Retinal Images Based on Neural Network[C]∥Image and Graphics. Tianjin, China, 2015: 11-17.
[8] Lucena O, Souza R, Rittner L, et al. Convolutional Neural Networks for Skull-stripping in Brain MR Imaging using Consensus-based Silver standard Masks[C]∥Artificial Intelligence In Medicine, 2019: 48-58.
[9] Havaei M, Davy A, Warde-Farley D, et al. Brain Tumor Segmentation with Deep Neural Networks[J]. Medical Image Analysis, 2015, 35: 18-31.
[10] Chen L, Xie Y, Sun J, et al. 3D intracranial artery segmentation using a convolutional autoencoder[C]∥IEEE International Conference on Bioinformatics and Biomedicine. Kansas, USA, 2017: 714-717.
[11] Long J, Shelhamer E, Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640- 651.
[12] Noh H, Hong S, Han B. Learning Deconvolution Network for Semantic Segmentation[C]∥IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 1520-1528.
[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Springer, Cham, 2015: 234-241.
[14] 韩文忠, 康莉, 江静婉, 等. 深度全卷积网络对MRI膀胱图像的分割[J]. 信号处理, 2019, 35(3): 443- 450.
Han Wenzhong, Kang Li, Jiang Jingwan, et al. Segmentation of MRI Bladder Images by Deep Fully Convolutional Network[J]. Journal of Signal Processing, 2019, 35(3): 443- 450.(in Chinese)
[15] Huang W, Huang L, Lin Z, et al. Coronary Artery Segmentation by Deep Learning Neural Networks on Computed Tomographic Coronary Angiographic Images[C]∥International Conference of the IEEE Engineering in Medicine and Biology Society. Hawaii, US, 2018: 608- 611.
[16] Milletari F, Navab N, Ahmadi S A. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation[C]∥IEEE International Conference on 3D Vision. California, USA, 2016: 565-571.
[17] Fukushima K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics, 1980, 36(4): 193-202.
[18] Xu Y, Mao Z, Liu C, et al. Pulmonary Vessel Segmentation via Stage-Wise Convolutional Networks With Orientation-Based Region Growing Optimization[J]. IEEE Access, 2018, 6: 71296-71305.
[19] 陶治江, 高原, 黄华. 基于相位一致性的眼底图像视网膜血管分割[J]. 计算机工程与设计, 2012, 33(8): 3139-3143.
Tao Zhijiang, Gao Yuan, Huang Hua. Retinal blood vessel segmentation of fundus image based on phase consistency[J]. Computer Engineering and Design, 2012, 33(8): 3139-3143.(in Chinese)
[20] He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification[C]∥International Conference on Computer Vision. Santiago, Chile, 2015: 1026-1034.
[21] 郑婷月, 唐晨, 雷振坤. 基于全卷积神经网络的多尺度视网膜血管分割[J]. 光学学报, 2019, 39(2): 80- 83.
Zheng Tingyue, Tang Chen, Lei Zhenkun. Multiscale retinal vessel segmentation based on full convolutional neural network[J]. Journal of Optics, 2019, 39(2): 80- 83.(in Chinese)
