(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210671731.3 (22)申请日 2022.06.15 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 郭剑　涂嘉翔　朱楂　姜依凡　 陈若星　王书轩　张勤　韩崇　 王娟　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杭行 (51)Int.Cl. G06V 40/70(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于指纹和指静脉的多 模态识别方法 (57)摘要 一种基于指纹和指静脉的多模态识别方法， 将采集到的指纹、 指静脉图片， 分别作为网络的 独立输入， 用于特征提取和分析； 分别从通道与 空间的维度， 通过注意力机制， 分析指纹与对应 的指静脉之间的相关性， 融合指纹与指静脉特 征； 使用Softmax函数， 确定最终的生物特征识别 结果。 本方法预处理操作简单， 只需要提取指纹、 指静脉的ROI即可， 可以最大限度地保存 图像中 的细节特征， 减少额外的计算机资源消耗； 相比 于现有使用单一生物模态的生物特征识别方法， 本发明提出融合指纹、 指静脉图像， 可显著增加 生物特征的判别性特征， 通过挖掘不同生物特征 之间的互补性信息， 提高生物特征识别系统的准 确率。 权利要求书2页 说明书5页 附图2页 CN 114913610 A 2022.08.16 CN 114913610 A 1.一种基于指纹和指静脉的多模态 识别方法， 其特 征在于： 所述方法包括如下步骤： 步骤1： 获取指纹、 指静脉图像数据； 通过采集设备， 记录被采集人的指纹、 指静脉图像 数据； 步骤2： 将步骤1 获得的所有数据， 提取相对应的感兴趣区域ROI； 步骤3： 构建网络模型， 进行特征提取、 融合与分类， 使用步骤2获取的采集数据对模型 进行训练， 获得最佳的模型参数； 网络模型主 要包含两个分支网络和一个多特 征融合模块； 步骤3.1： 构建分支网络； 第一分支网络用于提取指纹特征， 包含多个卷积、 池化、 归一 化、 激活函数层； 将步骤2 提取的指纹ROI图像输入到网络中提取特征； 第二分支网络用于提 取指静脉特征， 包含多个卷积、 池化、 归一化、 激活函数层； 将步骤2 提取的指静脉ROI图像输 入到网络中提取 特征； 步骤3.2： 构建多特征融合模块； 该模块接受两个分支网络的输出， 将其作为输入， 再使 用通道、 空间注意力机制融合 不同模态的特 征并输出； 步骤3.3： 使用采集到的指纹、 指静脉图像数据对上述网络模型进行训练， 获得最佳的 模型参数； 步骤4： 应用模型； 向网络模型输入所需识别的指纹、 指静脉图像， 模型输出相应的识别 结果。 2.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 1中， 使用的采集设备为高清摄 像头。 3.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 3.1中， 第一分支网络包含5个卷积层， 其中第一个卷积层包含1个7 ×7的卷积层、 1个归一化 层、 1个激活函数层、 1个3 ×3的最大池化层， 其余四个卷积层均包含1个3 ×3的卷积层、 1个 归一化层、 1个激活函数层、 1个3 ×3的最大池化层。 4.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 3.1中， 第二分支网络用于提取指静脉对应的特征信息矩阵， 包含5个卷积层和1个自适应池 化层， 其中第一个卷积层包含1个7 ×7的卷积、 1个归一化、 1个激活函数、 1个3 ×3的最大池 化， 其余四个卷积层均包 含1个3×3的卷积、 1个归一 化、 1个激活函数、 1个3 ×3的最大池化。 5.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 3.1中， 两个分支网络的输出的维度均为512 ×3×6， 分别表示的是经CNN网络提取后的指 纹、 指静脉 特征信息矩阵。 6.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 3.2中， 多特征融合模块包含通道注 意力模块、 空间注 意力模块和两个 sigmoid层， 其中通道 注意力模块包含2个1 ×1的卷积层、 1个激活函数层、 1个自适应池化层， 空间注意力模块包 含2个7×7的卷积层、 2个归一 化层、 1个激活函数层、 1个sigmo id层。 7.根据权利要求6所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 3.2中， 多特征融合模块中， 首先将两个分支网络模块的输出作为输入， 经过初始特征聚合 IFI， 获得矩阵Finitial， 其计算公式如公式(1)所示： ： Finitial＝Ffp⊕Ffv (1) 其中Ffp为指纹特 征信息矩阵， Ffv为指静脉 特征信息矩阵， ⊕代表逐元素加； 将Finitial输入到通道注意力模块， 得到矩阵Fc； 将Fc输入sigmoid1之后， 得到经通道注权　利　要　求　书 1/2 页 2 CN 114913610 A 2意力模块的指纹指静脉融合系数 Fc_final和1‑Fc_final； 将Fc输入到空间注意力模块， 得到另一个矩阵Fs； 将Fs输入sigmoid2之后， 得到经空间 注意力模块的指纹指静脉融合系数 Fs_final和1‑Fs_final； 经上述步骤后， 根据式(2)计算出指纹、 指静脉 特征融合后的输出 结果Output： 其中， 代表逐元素相乘， ⊕代表逐元素相加。 8.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 3.3中， 使用Adam优化器计算每个参数的自适应学习率， 再通过测试集判定网络模 型的识别 性能， 确定最优参数， 保存最终训练所 得的最优网络模型。 9.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法， 其特征在于： 步骤 4中， 网络模型依次包括两个分支网络、 多特 征融合模块、 全连接层和Softmax分类 器。权　利　要　求　书 2/2 页 3 CN 114913610 A 3