1 引言
人的生物特征因本身具有唯一、可靠、便携、安全等特点,已在身份识别领域得到了广泛应用。如人脸识别、虹膜识别、指纹识别、静脉识别等技术都占据了不同的市场份额。然而,在实际应用中,单模态生物特征识别技术也并非完美。一些单模态生物特征本身就存在防欺骗性差,容易被攻击等固有的应用缺陷。如指纹特征易于被盗取,打印的静脉图案可实现对指静脉识别系统的欺骗[1]。当前,诸多实践表明多模态融合特征不仅在识别性能上更加稳定,而且在安全性与普遍性上也优势明显[2-5]。本文针对手指多模态生物特征融合识别中的一些基本问题进行了探索研究,提出了一些新的观点并取得了一些较为可靠的结论。另外,由于手指本身具有低配合、高便携等实际特点,手指多模态特征融合识别技术的发展前景也十分广阔[6-8]。
手指多模态特征的同步采集是实现手指特征融合识别过程的一个关键环节。人的手指包含指静脉、指纹和指节纹等三种比较成熟的模态信息。指纹位于指端,一般通过接触式成像;指静脉成像区域一般位于指腹处[9-10],利用近红外光透射成像;指节纹成像区域位于指背侧[11-13],利用可见光反射成像。本文选取指部的指静脉和指节纹作为研究对象。主要由于两者成像区域大部分都位于手指中端指骨处,两者之间联系紧密,便于同时采集。并且,指静脉和指节纹双模态融合特征防伪性高,有助于提高身份识别系统的安全性。传统上,采集这两种模态图像时,由于两者的成像空间不同,成像姿态的一致性很难得到有效保障。姿态不一致会造成不同模态图像之间的随机性增加,从而降低融合识别精度。文献[14]将指静脉成像区域改为手指背侧,实现了指静脉、指节纹的同侧成像,手指姿态的一致性得到了提高。但是改变指静脉成像区域后,指静脉在成像上面临三个新的问题:①光的散射会严重弱化相邻静脉血管之间的位置关系;②平放手指会凸显背侧指关节皮肤褶皱,干扰静脉血管成像;③光源靠近掌侧加大了指静脉成像质量随手指个体变化的差异性。指静脉和指节纹双模态ROI的精确定位,有利于提高后续融合识别精度。在手指多模态特征融合识别系统中,通常采用文献[10]和[12]中提出的ROI定位方法对指静脉和指节纹ROI进行定位[8]。当指静脉成像区域改为指背侧后,指静脉背侧成像会严重弱化关节腔透光特性,致使基于关节腔的指静脉ROI定位方法失效[10,15]。
为了改善指静脉成像质量和探索新的指静脉、指节纹ROI定位方法,并提高ROI定位精度,本文首先设计了一种手指拱起的双模态成像系统。然后,利用手指拱起产生的拐点,定位出指节纹基准线,利用指静脉、指节纹在双目摄像头中各自成像空间之间的位置关系,定位出指静脉基准线。最后,根据基准线分别提取指静脉、指节纹ROI。实验表明本文设计的成像系统提高了指静脉的成像质量,并且在此成像系统基础上设计的ROI定位方法使指静脉、指节纹ROI定位精确,稳定性较好。
2 手指成像系统设计
2.1 手指拱起成像设计
手指向上拱起时,静脉血管得到舒展,可使相邻静脉血管趋于分离,增加手指的透光度。在此状态下,手指自然放松,利于血液流通,可使成像更清晰。因此,本文设计的手指拱起成像方案如图1所示。
图1 手指拱起成像示意图
Fig.1 The schematic diagram of the finger arch imaging
手指拱起时,中节指骨与水平面之间所成的夹角(θ),即为手指拱起角度,如图2所示。测量近端指关节处与水平面之间的距离(d)(见图3)可等价于测量角度值(θ),如公式(1)。其中,参数c为系统偏移量,参数l为手指中节指骨长度。
图2 手指拱起角度
Fig.2 The arch angle of a finger
图3 手指拱起模型示意图
Fig.3 The schematic diagram of the finger arch model
(1)
2.2 近红外光源优化设计
利用多光谱光源,可增加图像对比度,得到不同波段下指静脉信息[16]。由于850 nm近红外光透射性好,760 nm近红外光吸收性好,所以采用了760 nm、850 nm双波段近红外光。滤光片为760 nm～850 nm近红外带通滤光片(如图1所示)。
调节近红外光源多亮度等级,可满足不同类型手指的指静脉成像光源亮度需求。本文设计了四个亮度等级,通过STC89C52单片机控制亮灯的个数,达到控制不同亮度的效果,控制过程如图4所示。
图4 近红外光亮度控制模块流程图
Fig.4 The flow chart of the NIR brightness control module
2.3 拐点成像设计
手指拱起时,在近端指关节处产生一个拐点(A点,如图5所示)。在指静脉、指节纹ROI定位过程中,需要利用拐点定位出指节纹基准线。因此,本文设计的拐点成像方案如图6所示。受文献[17]启发,利用平面反射镜使手指侧面成像在平面镜中,可使摄像头采集到手指侧面图。其中,黑色挡板可净化平面镜成像背景,利于拐点检测。指节纹、指静脉实际采集结果如图7所示,分别记为Ifkp和Ifν。其中,在指节纹、指静脉采集图像中左侧为手指正面成像区域,分别记为Ifkp_l和Ifν_l;右侧为手指侧面成像区域,分别记为Ifkp_r和Ifν_r。
图5 手指侧面图
Fig.5 One side of a finger arch image
图6 拐点成像示意图
Fig.6 The schematic diagram of the inflection point imaging
图7 具有手指侧面信息的手指双模态采集图
Fig.7 The dual-modal finger images with their corresponding finger arch images
3 指静脉与指节纹ROI定位
为了精确获得ROI区域,本文提出了一个稳定有效的方案。首先,利用拐点定位出指节纹基准线。然后,利用指静脉、指节纹在双目摄像头(见图1)中各自成像空间之间的位置关系,定位出指静脉基准线。最后,再根据基准线分别提取指静脉、指节纹ROI。具体步骤如下:
第1步:拐点检测。
对指节纹采集图Ifkp裁剪后的图像Ifkp_r进行Canny边缘检测,得到边缘检测图Ifkp_c,如图8(a)、(b)。选取图Ifkp_c最右侧外边缘线中较稳定的区域,间隔适当行数提取此区域轮廓的点坐标,坐标组记为{(xs,m , ys,m)},m=1,2,…k。利用公式(5)求出公式(2)中n阶拟合曲线方程的系数向量A0,利用A0进行曲线拟合,得到图8(c)。其中,n=11。
图8 指节纹基准线定位过程
Fig.8 The localization procedure of a finger-knuckle-print baseline
拟合曲线方程为:
(2)
矩阵形式为
Y=X0A0
(3)
其中:
(4)
(5)
求取拟合曲线中每一点的斜率的倒数,然后取其绝对值,找出最小值K对应的点(A点),即为拐点,如图8(c)、公式(6)、(7)所示。
(6)
(7)
其中,(xi,yi)为拟合曲线中某一点坐标,i=1,…,N。N为选取点的总个数。
第2步:伪拐点去除。
由于手指个体存在较大差异,有时会出现伪拐点(Ae点),如图9所示。实验发现,真正的拐点(A点)之前的一段曲线较平缓,而伪拐点(Ae点)之前的一段曲线较陡,基本成竖直状态。
假设A点坐标为(xl,yl),l∈[1,N],Ae点坐标为(xm,ym),m∈(l,N]。
图9 伪拐点检测
Fig.9 False inflection point detection
(8)
xl-xl-σ≫xm-xm-σ
(9)
其中,α∈[1,l-1],σ为一固定值。对公式(7)求得的斜率的倒数值进行升序排列,找出满足公式(8)、(9)的点,即为真正的拐点(A点)。
第3步:指节纹基准线定位修正。
由于手指侧面与正面成像存在镜向反差,侧面拐点A与正面拐点A′存在位置差异,如图10所示。为解决此问题,本文利用自制刻度板,进行类似相机标定的比例映射方法,来修正手指正面成像区域基准线的定位误差,具体步骤如下。
图10 指节纹基准线定位误差
Fig.10 The localization error of a finger-knuckle-print baseline
图11 指节纹基准线修正过程
Fig.11 The correction procedure of finger-knuckle-print baseline
首先,利用刻度板在摄像头下成像,进行画面标定,如图11(a)所示。然后,使刻度板在手指正面成像区域与手指侧面成像区域分别成像,在这两区域相同刻度处画线。将标定后的结果在像素坐标系下建立一个标定参考图,如图11(b)所示。最后,根据标定参考图构建一个比例映射图(如图11(c)所示),利用公式(10)求出A′点y坐标,并在此点处画基准线。其中,A′点为要求得的手指正面成像区域拐点,A点为手指侧面成像区域拐点,可由步骤1、2求得。
(10)
第4步:指静脉基准线定位。
求出指节纹基准线位置后,根据公式(11),求出指静脉基准线位置。指静脉基准线定位过程如图12所示。
图12 指静脉基准线定位过程
Fig.12 The localization procedure of a finger-vein baseline
yfν=yfkp+Δ-δ
(11)
其中,yfν、yfkp分别为指静脉、指节纹基准线y坐标;Δ为在相同像素坐标系下,手指同一位置在双目摄像头不同成像空间之间的位置差值;δ为实验所得值。
第5步:指静脉、指节纹ROI边界定位。
首先,根据文献[18]中方法,对指静脉ROI进行水平和垂直方向上定位。然后,将指静脉ROI垂直方向上的边界位置映射到指节纹图像中,作为指节纹ROI垂直方向上的边界位置。最后,利用文献[18]方法确定指节纹ROI在水平方向的边界位置。
4 实验结果与分析
4.1 手指放置模式对指静脉成像质量的影响
为了验证本文提出的手指拱起成像方式在指静脉成像方面的性能,分别进行如图13所示的相关实验。图13中上面一行是手指平放成像结果,下面一行对应手指拱起成像结果,两种成像光源均为固定亮度单波段光源。可以看出,手指拱起成像方式对提高静脉血管清晰度有所帮助(如图13(a)、(b))。手指拱起可使手指背侧关节皮肤拉伸,进而减弱皮肤褶皱对指静脉成像的影响(如图13(c))。但对于一些较薄的手指,成像质量也未有明显提升(如图13(d))。因此,为了获得质量较为稳定的图像,还需改进成像光源。
图13 不同手指成像方式下指静脉成像结果对比
Fig.13 Comparison of finger-vein images acquired in different finger imaging ways
4.2 近红外光源对指静脉成像质量的影响
本文采用了多波段、多亮度等级的光源结构。第一、第二亮度等级以透射性及聚光性好的850 nm近红外激光光源为主光源,760 nm、850 nm 双波段LED灯为辅助光源。第三、第四亮度等级以760 nm、850 nm 双波段LED灯为主光源。系统可根据成像图像的灰度值自动调整LED波段组合和亮度级别。根据图14(b)可看出,手指静脉区域的成像得到了较好提升。
图14 不同近红外光源下指静脉成像结果对比
Fig.14 Comparison of FV images captured in a transillumination imaging way using different NIR light sources
4.3 伪拐点去除算法的性能分析
由于手指个体存在较大差异,有时会出现伪拐点。伪拐点会导致指节纹基准线定位错误,影响后续指静脉基准线定位结果。所以,当拐点检测错误后,需对其进行修正以获得真正的拐点。图15为伪拐点去除前后的拐点检测结果对比。从图中可知,本方法可有效解决伪拐点对基准线定位的影响,使拐点检测更加准确。
4.4 指节纹基准线定位修正算法的性能分析
在实际实验中,手指正面成像区域拐点A′靠上,则画出的基准线处于A′点下方,如图16中O1、O2所示。若手指正面成像区域拐点A′靠下,则画出的基准线处于A′点上方,如图16中O3所示。经过基准线定位修正后,对应结果如图16中
所示。从图中可知,本文设计的指节纹基准线定位修正算法能有效解决上述出现的问题,在手指正面成像区域可准确的定位出指节纹基准线的位置。
图15 拐点检测结果对比
Fig.15 Comparison of the inflection point detection
图16 指节纹基准线定位结果对比
Fig.16 The results comparison of locating baseline in finger-knuckle-print images
4.5 ROI定位方法的性能分析
根据本文提出的指静脉和指节纹ROI定位方法,部分ROI定位结果如图17所示。从直观上看,指静脉、指节纹基准线定位准确,所定位的ROI区域包含了大部分有用信息。
图17 手指双模态图像的ROI定位结果
Fig.17 ROI localization results of dual-modal finger images
为了进一步验证本方法的ROI定位的准确性,我们采集了100个不同的手指样本图像,每个手指样本的指静脉和指节纹图像各10幅。采集时考虑到了(1)手指双模态图像同步采集;(2)在不同时刻采集同一个手指样本图像。
本文中,采用归一化相关系数匹配法作为图像两两匹配的度量标准,如公式(12)所示。该方法所得结果值越大相似度越大,1表示完全匹配,-1表示糟糕匹配,而0表示没有任何相关性。
(12)
(13)
其中,
T′(x′,y′)=T(x′,y′)-1/(w·h)·∑x″,y″T(x″,y″)
(14)
I′(x+x′,y+y′)=I(x+x′,y+y′)-
1/(w·h)·∑x″,y″I(x+x″,y+y″)
(15)
并且S代表相似度,I和T分别代表要计算相似度的两幅图像,R代表对比结果的映射图像,W和H分别是图像I的宽和高,w和h分别是图像T的宽和高,x和y是图像R的坐标值,x′和y′是图像T的坐标,x″和y″也是图像T的坐标值。
分别用本文的手指双模态ROI定位方法以及文献[12]的指节纹ROI提取方法对所建数据库中的图像提取ROI。提取到的ROI数据库分别记为data1_fv、data2_fkp、data3_fkp。由于本文所采集的指静脉图像的成像区域为指背侧,指静脉背侧成像会严重弱化关节腔透光特性,致使文献[10]中基于关节腔的指静脉ROI定位方法失效。因此,选用文献[10]的指静脉ROI数据库(记为data4_fv)作为对比实验样本。根据公式(12)、(13),对数据库data1_fv、data2_fkp、data4_fv、data3_fkp中ROI图像分别计算平均类内相似度,结果如图18、19、20、21所示。观察每一点的值和折线整体走势可以看出,本文设计的指静脉和指节纹ROI定位方法,在指静脉ROI提取的稳定性上略差于文献[10]的方法,但是整体上其稳定性较高。对比图19和图21的统计结果可知,本文设计的ROI定位方法在稳定提取指节纹ROI性能方面优于文献[12]的方法。因此,本方法能够从同一手指不同时刻采集的指静脉和指节纹图像中提取出相似度较高的感兴趣区域,有助于后续融合识别。
图18 data1_fv中指静脉图像类内相似度统计图
Fig.18 Intra-cluster similarity statistics of FV images from data1_fv
图19 data2_fkp中指节纹图像类内相似度统计图
Fig.19 Intra-cluster similarity statistics of FKP images from data2_fkp
图20 data4_fv中指静脉图像类内相似度统计图
Fig.20 Intra-cluster similarity statistics of FV images from data4_fv
图21 data3_fkp中指节纹图像类内相似度统计图
Fig.21 Intra-cluster similarity statistics of FKP images from data3_fkp
从图18、19中可看出,虽然每个手指样本的指静脉和指节纹ROI图像类内相似度都较高,但仍然存在一些相似度较低的值。图22、23分别给出图18、19中用圆圈和方框标注的点对应的手指样本在不同手指姿态下提取到的部分指静脉和指节纹ROI图像。其中,圆圈标注的点对应第19个手指样本,记为F19,方框标注的点对应第23个手指样本,记为F23。
图22 手指样本F19的部分指静脉和指节纹ROI图像
Fig.22 Some ROI images of FV and FKP of finger sample F19
由图22可看出,手指样本F19的手指姿态发生了轻微的轴向转动。结合图18、19中的数据可知,手指轴向转动对指静脉ROI提取影响较大。
图23 手指样本F23的部分指静脉和指节纹ROI图像
Fig.23 Some ROI images of FV and FKP of finger sample F23
直观上看,图23中指静脉和指节纹ROI图像十分相似。但实际上,各个图像之间存在微小差别。主要由于手指样本F23的手指长度较短,检测到的拐点类似于图16中O1所示的拐点(A点),其特征不如图16中O2所示的拐点(A点)特征明显。所以,该类别手指被检测到的拐点y坐标值存在两到三个像素值的误差,从而导致提取到的ROI图像之间存在微小不同。结合图18、19中的数据可知,短手指拐点检测存在的这种误差对指节纹ROI的稳定提取影响较大。
5 结论
针对手指静脉成像质量差和指静脉成像区域改为手指背侧后,基于关节腔的指静脉ROI定位方法通用性降低的问题,文本首先提出了一种手指拱起的双模态成像系统。然后,利用手指拱起产生的拐点,设计了一种指静脉、指节纹ROI定位方法。经实验验证,本文提出的方法可提高指静脉成像质量和精确定位指静脉、指节纹ROI。本文设计的方法并非完美,仍然存在可以改进之处,如指静脉和指节纹ROI定位算法没能解决手指轴向转动和短手指拐点检测不十分精准对指静脉和指节纹ROI提取的影响。在这方面,还有待于进一步改进。
[1] Tome P, Vanoni M, Marcel S. On the vulnerability of finger vein recognition to spoofing[C]∥Biometrics Special Interest Group. IEEE, 2014: 1-10.
[2] Ghayoumi M. A review of multimodal biometric systems: Fusion methods and their applications[C]∥IEEE/ACIS International Conference on Computer & Information Science. IEEE, 2015: 131-136.
[3] Haghighat M, Abdel-Mottaleb M, Alhalabi W. Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition[J]. IEEE Transactions on Information Forensics and Security, 2016, 11(9): 1984-1996.
[4] Paul P P, Gavrilova M L, Alhajj R. Decision Fusion for Multimodal Biometrics Using Social Network Analysis[J]. IEEE Transactions on Systems Man & Cybernetics Systems, 2014, 44(11): 1522-1533.
[5] Supreetha Gowda H D, Hemantha Kumar G, Imran M. Multi-modal biometric system on various levels of fusion using LPQ features[J]. Journal of Information and Optimization Sciences, 2018, 39(1): 169-181.
[6] Shi Y, Zhong Z, Yang J. A New Finger Feature Fusion Method Based on Local Gabor Binary Pattern[C]∥Chinese Conference on Biometric Recognition, 2016: 317-325.
[7] KhellatKihel S, Abrishambaf R, Benyettou M, et al. Multimodal fusion of the finger vein, fingerprint and the finger-knuckle-print using Kernel Fisher analysis[J]. Applied Soft Computing, 2016, 42(C): 439- 447.
[8] Yanng J, Zhong Z, Jia G, et al. Spatial Circular Granulation Method Based on Multimodal Finger Feature[J]. Journal of Electrical and Computer Engineering, 2016, 2016: 1-7.
[9] Yang J, Shi Y. Towards finger-vein image restoration and enhancement for finger-vein recognition[J]. Information Sciences, 2014, 268(6): 33-52.
[10] Yang J, Shi Y. Finger-vein ROI localization and vein ridge enhancement[J]. Pattern Recognition Letters, 2012, 33(12): 1569-1579.
[11] Zhang L, Zhang L, Zhang D, et al. Ensemble of local and global information for finger-knuckle-print recognition[J]. Pattern Recognition, 2011, 44(9): 1990-1998.
[12] Zhang L, Zhang L, Zhang D, et al. Online finger-knuckle-print verification for personal authentication[J]. Pattern Recognition, 2010, 43(7): 2560-2571.
[13] Nigam A, Tiwari K, Gupta P. Multiple texture information fusion for finger-knuckle-print authentication system[J]. Neurocomputing, 2016, 188: 190-205.
[14] Yang W, Ji W, Liao Q. Significance of Being Unique from Finger Patterns: Exploring Hybrid Near-infrared Finger Vein and Finger Dorsal Patterns in Verifying Human Identities[C]∥Chinese Conference on Biometric Recognition, 2015: 529-535.
[15] 杨金锋, 张海金. 手指静脉图像感兴趣区域提取方法研究[J]. 山东大学学报, 2012, 42(3): 6-12.
Yang Jinfeng, Zhang Haijin. Study of region of interest extraction from finger-vein images[J]. Journal of Shan Dong University, 2012, 42(3): 6-12.(in Chinese)
[16] 杨金锋, 刘源山. 多光谱手指静脉成像与采集系统设计[J]. 中国民航大学学报, 2012, 30(2): 24-29.
Yang Jinfeng, Liu Yuanshan. Design of multispectral finger vein imaging and capturing system[J]. Journal of Civil Aviation University of China, 2012, 30(2): 24-29.(in Chinese)
[17] 闫丽, 段发阶. 单目立体视觉传感器的优化设计及精度分析[J]. 传感技术学报, 2006, 19(2): 349-352.
Yan Li, Duan Fajie. Optimum Design and Accuracy Analysis of Monocular Stereoscopic Vision Sensor System[J]. Chinese Journal of Sensors and Actuators, 2006, 19(2): 349-352.(in Chinese)
[18] Yang J, Li X. Efficient Finger Vein Localization and Recognition[C]∥International Conference on Pattern Recognition. IEEE Computer Society, 2010: 1148-1151.
