视网膜眼底血管宽度、角度、分支状态等特征[
Acta Optica Sinica, Volume. 40, Issue 2, 0210002(2020)
Retinal Vessel Segmentation Based on Super-Pixel Affinity Propagation Clustering
A retinal vessel segmentation method based on the affinity propagation clustering of superpixels was proposed herein. First, the maximum Hessian eigenvalue, the Gabor wavelet, and the B-COSFIRE filtering features were extracted from the preprocessed image to construct the three-dimensional fundus image. The fundus image was segmented into superpixel blocks, which were screened based on a pixel consistency criterion to select the best candidates; these candidates were considered as sample points and their statistical average pixel values were used as the feature vectors. Two clustering centers of the vessel and background classes were obtained by performing affinity propagation clustering on the feature space. Based on these clustering centers, the fundus pixels were classified via the nearest neighbor method for retinal vessel segmentation. The experimental results show that the accuracies are 94.63% and 94.30% for the DRIVE and STARE fundus image databases, respectively. Compared with K-means clustering, FCM (Fuzzy C-means), and other clustering methods, the proposed technique presents a high recognition degree for blood vessels and better continuity and integrity of the segmented retinal vessels.
1 引言
视网膜眼底血管宽度、角度、分支状态等特征[
仿射传播[
本文提出一种基于超像素AP聚类的视网膜血管分割的ASLICAP(Adaptive Simple Linear Iterative Clustering Affinity Propagation)方法。超像素的引入降低了AP聚类相似度矩阵的复杂度,降低了AP聚类算法收敛的计算时间。超像素能充分利用局部像素间邻近灰度和空间的关联性。超像素的特征由超像素块内所包含像素的特征统计平均得到,具有较好的特征表征稳定性和可靠性。AP聚类的视网膜血管分割方法具有较强的稳健性和抗噪性,能解决基于K-means和FCM分割方法对初始聚类中心选取敏感,离群点对聚类中心影响较大的问题。
2 基于超像素仿射传播聚类的视网膜血管分割
首先对彩色眼底图的绿通道进行预处理操作得到血管增强图,对血管增强图进行特征提取,包括每个像素的Hessian最大本征值、Gabor小波和B-COSFIRE滤波的三维像素特征,并进行特征归一化;同时对预处理的血管增强图进行超像素分割得到超像素块,依据超像素块内像素点特征值的一致性进行筛选,得到候选超像素块,并将其作为样本点,用候选超像素块所包含像素点的每维均值特征表示该超像素样本点的特征,在特征空间上进行AP聚类,产生血管类和背景类两个聚类中心;最后对图像所有像素点与两聚类中心在特征空间上采用基于曼哈顿距离的最近邻分类器进行分类,将眼底图像像素分为血管类和背景类,根据像素空间的邻域信息对少量与两个聚类中心距离近似相等的边界模糊点,采用K近邻进行再分类,通过后处理得到最终分割图。ASLICAP具体流程如
2.1 预处理
绿通道眼底图具有对比度较高、噪声少、血管脉络清晰的特点[
Figure 1.Framework diagramfor ASLICAP method
Figure 2.Image pre-processing. (a) Color fundus image; (b) green channel fundus image; (c) CLAHE fundus enhanced image
2.2 眼底图像像素特征提取
2.2.1 Hessian最大本征值
本文采用标准差为σ的高斯核函数对预处理后的图像进行平滑滤波,滤波后的图像表示为I,图像I的Hessian[
式中:H为Hessian矩阵,是一个二阶偏导数构建的实对称矩阵;Ixx、Ixy、Iyx、Iyy为图像I关于像素位置坐标(x,y)的二阶偏导数。
Hessian矩阵能较好地描述视网膜血管的线结构,依据Hessian矩阵的两个本征值的特性:在平滑背景处两个本征值较小,在血管处两个本征值一大一小,在分叉点和交叉点两个本征值都较大,可知Hessian矩阵在眼底图中无论是血管点还是血管分叉点,都至少存在一个较大的本征值η。本文实验设置σ=[1,3,5,7,9],将高斯滤波后图像Hessian矩阵本征值的最大值作为眼底图像像素的特征。
2.2.2 Gabor小波变换
多尺度Gabor小波变换[
式中:A=diag[ε-1/2,1],A为一个的2×2对角矩阵,ε≥1, 定义过滤器的各向异性;w0为复指数频率,定义基本频率向量。通过Gabor小波与图像的标量积的快速傅里叶变换(用“^”符表示),实现二维Gabor小波变换,即
式中:cψ为归一化常数;μ、b、θ分别为膨胀尺度、平移量、旋转角度;rθ=(xcos θ-ysin θ,xsin θ+ycos θ),θ∈[0,2π];f为原图像。
本文设置w=[0,2.7],μ=[2,3],ε=4, 以10°为步长构造18个不同方向的Gabor滤波器,采用不同方向和尺度下的最大响应模值作为特征输出。
2.2.3 B-COSFIRE滤波
COSFIRE滤波器[
Figure 3.B-COSFIRE filter configuration. (a) B-COSFIRE schematic; (b) symmetric B-COSFIRE; (c) asymmetric B-COSFIRE
B-COSFIRE滤波响应由一组DoG滤波响应的乘积加权几何平均得到。其DoG滤波公式为
式中:σ为高斯标准差。DoG滤波器沿同心圆进行滤波响应,响应最大的位置表征强度变化最大的点,即关键点。用一组响应集合V记录关键点的信息,为提高各点位置的容错性,对DoG滤波响应进行模糊和移位操作,即对集合V中每个位置极坐标邻域进行最大加权阈值计算,再将该响应进行加权几何平均操作,得到B-COSFIRE滤波器响应公式。B-COSFIRE滤波器响应公式为
式中:
为了匹配眼底血管的多方向性,将滤波器旋转12个方向,将得到的最大响应值作为匹配血管输出的滤波结果。
Figure 4.Response mapfor each feature. (a) Hessian maximum eigenvalue; (b) Gabor wavelet transform; (c) B-COSFIRE filter
对预处理的眼底图进行Hessian最大本征值、Gabor小波和B-COSFIRE滤波的特征提取,其特征响应如
式中:uγ为第γ个特征的响应值,γ=1,2,3;
2.3 候选超像素块的获取
2.3.1超像素分割
ASLIC(adaptive simple linear iterative clustering)由Achanta等[
通过对预处理绿通道像素点h的空间位置xh,yh和像素灰度值gh构建距离度量D,即
式中:dc为像素点h和o值域空间的欧氏距离;ds为像素点h和o像素空间的欧氏距离; mc和ms为前一次K-means迭代中在2Q×2Q块区域观察到dc和ds的最大值,用来标准化K-means聚类的近邻度,Q=
通过指定产生K个超像素块,在2Q×2Q块区域内进行K-means迭代聚类,直到满足最大迭代次数或目标函数时,达到最优,进而完成对眼底图的ASLIC分割,得到超像素块。
2.3.2 筛选候选块
眼底图经过ASLIC分割后存在既含有血管又含有背景的像素点部分超像素块,对这些混合块进行后续操作最终会影响其分割性能,因此需要对超像素块进行筛选。
由于对图像像素进行特征提取会增强像素点的信息,本文把像素特征的每一维特征按线性量化表示为[0,255],共256个量化级,统计第n个超像素块内每个量化级出现的概率,将超像素块内像素特征分布的一致性表示为
式中:l为量化级;L为量化级别总数;v(l)为每个量化级概率;n∈[1,K];γ∈[1,3]为特征维度。
计算每块所有灰度级每维特征的一致性,通过对每块三维特征设置权值系数λHessian、λGabor、λB-COSFIRE,计算每块三维特征的加权一致性Gn,即
对每块特征加权一致性进行升序操作,设置阈值系数为α,找到第α×K处位置块的加权归一性值,并将该值作为阈值Gthr,对各像素块进行阈值比较筛选候选块:若该像素块的加权一致性值大于或等于阈值Gthr ,则该像素块记作候选块;反之将该像素块舍弃。在特征响应图中,Hessian最大本征值可以较好地检测到视网膜血管的交叉点、分叉点和细小血管;Gabor小波的多尺度、多方向描述能力有利于描述不同方向和尺度的视网膜血管;B-COSFIRE滤波响应能较好地表征血管的连通性和完整性。因多数混合块存在细小血管、交叉、分叉处区域,筛选时需要对细小血管、交叉点、分叉点较好识别的特征响应设置较大的权重,本文在DRIVE和STARE两数据库中的权值系数λHessian、λGabor、λB-COSFIRE设置为0.5、0.25、0.25较为合理。
根据加权一致性原则,采用升序的方案剔除混合块,因考虑到带有重要信息的细小血管像素块的加权一致性值不高,需将阈值系数α设置为较小值。在DRIVE和STARE数据库,测试集中分别有4张和10张病变眼底图,在眼底图病变区域的混合像素块的特征响应较大,导致加权一致性值较高,会影响候选块的筛选,因此将α分别设置为0.15和0.35时,分割效果较好。
2.3.3 候选块的特征表征
将筛选后的候选块记作样本点,找到样本点内所有像素点的每维特征向量均值,得出候选超像素块的特征向量
2.4 AP聚类的视网膜血管分割
AP聚类根据q个数据点之间的相似度构建q×q的相似度矩阵S,并进行聚类。元素S(i,j)代表用欧氏距离表示数据点xi和xj的相似程度。AP算法传递两种信息,分别为吸引度r(i,k)和归属度a(i,k)。r(i,k)为从数据点i传向聚类中心k的信息值,表示k点成为i点聚类中心的支持程度;a(i,k)为从聚类中心k传向数据点i的信息值,表示i点选取k点作为聚类中心的倾向程度。AP算法旨在寻找最优的类别代表点,使得所有数据点与其距离最近类别中心点的相似度之和达到最大[
经过ASLIC分割和筛选得到Z个超像素样本点R(z),其中z,i,j∈[1,Z]。将带有三维均值特征向量
式中:s(i,k)为像素点i、k间负的欧氏距离;i'为前一次迭代时i像素点;k'为前一次迭代时k像素点。
在迭代更新过程中,为防止数值振荡,引入阻尼因子λ∈[0,1] 缓解聚类更新的速度,λ值越大,算法收敛越快。更新公式为
式中:old和new分别为前一次和本次更新[
上述AP聚类得到样本点两个聚类中心的类别标签,需要对两个聚类中心进行血管类和背景类判别。由特征响应
2.5 像素点分类
初始近邻分类:统计眼底图中感兴趣区域的各像素点,和AP聚类得到样本点的两个聚类中心在特征空间上的曼哈顿距离值,依据距离值的大小进行近邻分类。由于存在某些像素点到两聚类中心的距离近似相等的问题,通过设置阈值ξ进行判别,得到分类的精确像素点和边界的模糊像素点。其思路如
K近邻(KNN)再分类:对于初分类出现的边界模糊点,采用KNN思想统计该模糊点3×3像素空间邻域内精确的血管类和背景类像素点的个数信息,利用此信息来判定该模糊点的类别:若该邻域内精确的血管类像素点多于精确的背景类像素点,则该模糊点被判定为血管点;反之则将该模糊点被判定为背景点。其思路如
Figure 5.Pixel point classification diagram. (a) Initial nearest neighbor classification; (b) KNN reclassification
2.6 形态学后处理
对眼底图进行分割后得到的二值图可能会出现噪声等问题,为了提高分割准确度和图像可视性,采用基于连通区域的面积阈值法去除血管中面积小于6 pixel的空隙以及面积小于25 pixel,被误分为血管的孤立点块,得到最终的视网膜血管分割图。
3 实验结果与分析
3.1 实验数据
本文采用国际上两个公开且大量使用的DRIVE[
DRIVE数据库共有40张图片,其中7张为病变图,33张为未病变图。训练集和测试集各20张。图像分辨率为768 pixel×584 pixel。40张图都有各自对应的掩模图、2位专家手动标记的分割图。
STARE数据库共有20张图片,其中10张为病变图,其余正常,图像分辨率为605 pixel×700 pixel。20张图没有各自的掩模图,但有2位专家手动标记的分割图。
3.2 评价指标
为了验证视网膜血管分割方法的性能,将血管分割结果和专家手动标记图进行比较。NTP(真阳性)表示正确分割的血管点,NTN(真阴性)表示正确分割的背景点,NFP(假阳性)表示分割错误的血管点,NFN(假阴性)表示分割错误的背景点[
3.3 实验结果及分析
3.3.1 实验结果
用ASLICAP方法分别在DRIVE和 STARE数据库的测试集中对眼底图进行实验,将两数据库第1位专家的分割金标准进行性能测试和分析。在DRIVE和STARE数据库中,本方法均将块数分别设置为2500和4750。实验数据见
|
由
3.2.2 对比分析
为验证ASLICAP方法分割的有效性,将本方法同机器学习中最常见的K-means和FCM算法进行对比分析,在预处理以及特征提取(Hessian最大本征值、Gabor滤波、B-COSIFRE)参数设置完全一致的情况下,对三种算法进行定量和定性分析。定量分析结果见
Figure 6.Segmentation diagrams of ASLICAP method in two databases. (a) DRIVE database; (b) STARE database
|
由
第三行选取了第一行图像中的血管分叉和细小血管局部区域进行放大并进行细节对比。由图可知,FCM算法将许多重要的细小血管和血管分叉处错误地分割成了背景,影响了分割的准确性;K-means算法在血管末端和分叉处存在断裂,从而影响了分割的灵敏度;ASLICAP分割方法对眼底血管具有较好地识别性能,能够较大程度地保留细小血管,对血管断裂、分叉和交叉处血管的遗失等问题具有较大的改善。FCM和K-means算法在视网膜血管分割中,因其自身存在聚类中心的随机选取,易导致出现局部最优和易受到离群点的干扰等问题,而ASLICAP血管分割方法则具有较强的抗干扰性和稳定性。
为了进一步证明本方法在眼底图分割中的有效性,在DRIVE和STARE数据库中均选用分割算法的准确率Acc、灵敏度Se、特异性Sp作为性能指标。将ASLICAP方法与其他非监督的视网膜血管分割方法进行定量对比分析,结果见
由
Figure 7.Segmentation diagrams of three clustering methods under the same conditions. (a) Original picture; (b) gold standard; (c) ASLICAP; (d) K-means; (e) FCM
|
综上所述,相较于FCM和K-means 等其他聚类算法,ASLICAP方法对血管的识别度高,具有较强的稳健性和稳定性,对未病变的眼底图具有较好的分割效果,在保证高准确率的同时,具有较高的灵敏度,能够准确地识别血管和有效地分割视网膜血管。
4 结论
提出一种基于超像素AP聚类的视网膜血管分割方法,超像素的引入降低了AP聚类相似度矩阵的复杂度,降低了AP聚类算法收敛的计算时间。在 DRIVE 和 STARE 眼底图像数据库中进行仿真实验,在同等条件下,与K-means、FCM、其他聚类算法的定性的对比可知,本文分割方法具有较高的分割准确率,对细小血管、交叉及分叉和血管连通性具有大大的改善,也对未病变的血管具有很好的分割效果,能较好地解决基于K-means和FCM分割方法对初始聚类中心选取敏感,离群点对聚类中心影响较大的问题。本文方法在有病变眼底图的分割性能还有待提升,这将是进一步研究要解决的问题。
[1] Zhu C Z, Zou B J, Xiang Y et al. A survey of retinal vessel segmentation in fundus images[J]. Journal of Computer-Aided Design & Computer Graphics, 27, 2046-2057(2015).
[2] Li Y Y, Cai Y H, Gao X R. Retinal vessel segmentation algorithm based on hybrid phase feature[J]. Journal of Computer Applications, 38, 2083-2088(2018).
[3] Liang L M, Liu B W, Yang H L et al. Supervised blood vessel extraction in retinal images based on multiple feature fusion[J]. Chinese Journal of Computers, 41, 2566-2580(2018).
[4] Wu K, Cai D M, Jia P et al. Retinal vessel segmentation based on 2D Gabor wavelet and combined line operators[J]. Science Technology and Engineering, 16, 106-112(2016).
[8] Chen L, Chen X Y. Retinal vessel segmentation based on feature combination and multimodel learning[J]. Computer Engineering and Applications, 55, 214-220(2019).
[10] Yavuz Z, Köse C. Blood vessel extraction in color retinal fundus images with enhancement filtering and unsupervised classification[J]. Journal of Healthcare Engineering, 2017, 4897258(2017).
[11] Frey B J, Dueck D. Clustering by passing messages between data points[J]. Science, 315, 972-976(2007).
[12] Zhou Y. Retinal vasular segmentation based on local feature space guided by matching filter of affinity propagation clustering[D]. Guangzhou: South China Normal University(2019).
[13] Azzopardi G, Strisciuglio N, Vento M et al. Trainable COSFIRE filters for vessel delineation with application to retinal images[J]. Medical Image Analysis, 19, 46-57(2015).
[15] Staal J, Abramoff M D, Niemeijer M et al. Ridge-based vessel segmentation in color images of the retina[J]. IEEE Transactions on Medical Imaging, 23, 501-509(2004).
[16] Hoover A D, Kouznetsova V, Goldbaum M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response[J]. IEEE Transactions on Medical Imaging, 19, 203-210(2000).
[17] Bankhead P, Scholfield C N. McGeown J G, et al. Fast retinal vessel detection and measurement using wavelets and edge location refinement[J]. PLoS One, 7, e32435(2012).
[18] Yin Y, Adel M, Bourennane S. Automatic segmentation and measurement of vasculature in retinal fundus images using probabilistic formulation[J]. Computational and Mathematical Methods in Medicine, 2013, 260410(2013).
[20] Wang W H, Zhang J Z, Wu W Y. New approach to segment retinal vessel using morphology and Otsu[J]. Application Research of Computers, 36, 2228-2231(2019).
[21] Nguyen U T V, Bhuiyan A, Park L A F et al. An effective retinal blood vessel segmentation method using multi-scale line detection[J]. Pattern Recognition, 46, 703-715(2013).
[22] Yin B J, Li H T, Sheng B et al. Vessel extraction from non-fluorescein fundus images using orientation-aware detector[J]. Medical Image Analysis, 26, 232-242(2015).
Get Citation
Copy Citation Text
Yanbing Xu, Yang Zhou, Canbiao Li, Chujun Zheng, Rungu Zhang, Wenbin Wang. Retinal Vessel Segmentation Based on Super-Pixel Affinity Propagation Clustering[J]. Acta Optica Sinica, 2020, 40(2): 0210002
Category: Image Processing
Received: Aug. 1, 2019
Accepted: Sep. 19, 2019
Published Online: Jan. 2, 2020
The Author Email: Zheng Chujun (cjzheng@scnu.edu.cn)