(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443563.2 (22)申请日 2022.04.26 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 霍华骑　陆璐　冼允廷　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 杨望仙 (51)Int.Cl. G06V 40/30(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于孪生视觉Tran sformer网络的签名鉴定 方法和系统 (57)摘要 本发明人工智能、 计算机模式识别领域， 具 体涉及基于孪生视觉Tran sformer网络的签名鉴 定方法和系统， 该方法包括步骤： 签名图片预处 理； 对签名进行真真、 真伪配对， 构建数据集； 构 建孪生多尺度视觉Transformer神经网络模型； 对模型进行训练； 使用模型进行签名鉴定。 本方 法与传统的方法相比， 采用了深度学习领域的视 觉Transformer模型作为骨干网络， 并改进提出 了多尺度分块方法， 可以更好的提取签名的特 征， 提高了鉴定的精度； 同时采用端到端的方式， 输入两张对比的图片， 即可输出距离用于真伪判 定， 不需要额外训练分类器或者使用其他度量算 法， 使得模型易于训练和使用。 权利要求书2页 说明书8页 附图3页 CN 114898472 A 2022.08.12 CN 114898472 A 1.基于孪生视觉Transformer网络的签名鉴定方法， 其特 征在于， 所述方法包括： S1、 签名图片预处理， 将签名图片等比缩放， 采用基于统计的阈值对签名图片进行二值 化； S2、 对每个签名的真实签名照片、 伪 造签名照片进行配对， 得到每个签名的正样本和 负 样本， 构建样本数据集； S3、 构建孪生视觉Transformer网络模型， 孪生视觉Transformer网络模型为基于孪生 网络架构， 使用改进多尺度视觉Transformer作为骨干网络， 使用多层感知机进 行距离计算 的神经网络模型； S4、 采用样本数据集对孪生视觉Transformer网络模型进行训练， 使用梯度下降的逼近 方法使得孪生视 觉Transformer网络模型收敛； S5、 使用训练后的孪生视觉Transformer网络模型对待鉴定签名图片进行鉴定， 输出鉴 定结果。 2.根据权利要求1所述的签名鉴定方法， 其特征在于， 所述将签名图片等比缩放包括： 将签名图片等比缩放为固定大小， 使每一张签名图片居中嵌入在固定大小的 白色背景图片 中， 当签名图片周围有空 白就填充显示背景 的白色； 所述阈值通过在原始签名图片 中进行 抽样获取， 对于每张原始签名图片的所有像素点， 每间隔若干个像素点进 行采样， 取所有采 样点的灰度值的平均数作为阈值T。 3.根据权利要求2所述的签名鉴定方法， 其特征在于， 所述采用基于统计的阈值对签名 图片进行二值化包括： 对于签名图片中的每个像素点进 行二值化， 当像素点灰度值小于0.8 ×T， 则令像素点 为黑色0， 当大于 0.8×T则令像素点 为白色25 5。 4.根据权利要求1所述的签名鉴定方法， 其特征在于， 所述步骤S2包括： 将每个签名的 若干张真实签名照 片两两配对得到正样本， 正样本的标签为0； 将 每个签名的若干张真实签 名和若干张伪造签名进 行两两配对得到负样本， 负样本标签为1； 将正样本和负样本构建为 样本数据集。 5.根据权利要求1所述的签名鉴定方法， 其特征在于， 所述孪生视觉Transformer网络 模型使用端到端的孪生网络架构， 将参考签名图片和待鉴定签名图片分别输入改进的多尺 度视觉Transformer得到两个特征向量， 将两个特征向量做差后取绝对值并输入多层感知 机， 输出两张签名图片的距离 。 6.根据权利要求5所述的签名鉴定方法， 其特征在于， 所述改进的多尺度视觉 Transformer有3个不同尺度， 采用无重叠的切割方法对图片分块； 将原始视觉Transformer 的最后分类层移除， 直接输出特征向量作为签名图片的特征， 将3个不同尺度的视觉 Transformer输出的特 征向量进行融合。 7.根据权利要求6所述的签名鉴定方法， 其特征在于， 所述改进的多尺度视觉 Transformer的3个不同尺度分别是8 ×16、 16×32、 28×40， 3个不同尺度的Transformer的 堆叠的编码器层数分别为2、 4和6； 所述将 3个不同尺度的Transformer输出的特征向量进行 融合方法为将3个不同尺度的Transformer输出的特 征向量相加后除以3 。 8.根据权利要求1所述的签名鉴定方法， 其特征在于， 所述对孪生视觉Transformer网 络模型进行训练包括： 采用样本数据集的训练集对孪生视觉Tr ansformer网络模型进行训 练； 损失函数使用二分类交叉熵 函数， 在损失函数中添加L2 正则项； 完整的损失函数的公式权　利　要　求　书 1/2 页 2 CN 114898472 A 2为： 其中， N为训练时候的样本数量， i代表每个样本下标， yi是样本的标签， Oi代表模型的 预测输出； 公式的第二项为L2正则项， 用于防止过拟合， 其中λ是超参数， w是模型的可学习 参数。 9.根据权利要求1所述的签名鉴定方法， 其特征在于， 所述步骤S5包括： 将参考签名图 片和待鉴定签名图片 输入使用训练后的孪生视觉Transformer网络模 型对待鉴定签名图片 进行鉴定， 输出参考签名图片和待鉴定签名图片的距离值； 当距离值小于预设阀值则认为 待鉴定签名图片是真实的， 当距离值大于预设阀值则认为是待鉴定图片是伪造的或者待鉴 定图片与参 考签名图片是不同。 10.基于孪生视觉Transformer网络的签名鉴定系统， 其特 征在于， 所述系统包括： 签名图片预处理模块， 用于签名图片预处理， 将签名图片等比缩放， 采用基于统计的阈 值对签名图片进行二 值化； 签名图片配对模块， 用于对每个签名的真实签名照片、 伪 造签名照片进行配对， 得到每 个签名的正样本和负 样本， 构建样本数据集； 模型构建模块， 用于构建孪生视觉Transformer网络模型， 孪生视觉Transformer网络 模型为基于孪生网络架构， 使用改进多尺度视觉Transformer作为骨干网络， 使用多层感知 机进行距离计算的神经网络模型； 模型训练模块， 用于采用样本数据 集对孪生视觉Transformer网络模型进行训练， 使用 梯度下降的逼近方法使得孪生视 觉Transformer网络模型收敛； 签名鉴定模块， 用于使用训练后的孪生视觉Transformer网络模型对待鉴定签名图片 进行鉴定， 输出鉴定结果； 所述孪生视觉Transformer网络模型使用端到端的孪生网络架构， 将参考签名图片和 待鉴定签名图片分别输入改进的多尺度视觉Tr ansformer得到两个特征向量， 将两个特征 向量做差后取绝对值并输入多层感知机， 输出两张签名图片的距离； 所述改进的多尺度视 觉Transformer有3个不同尺度， 采用无重叠的切割方法对图片分块； 将原始视觉 Transformer的最后分类层移除， 直接输出特征向量作为签名图片的特征， 将3个不同尺度 的视觉Transformer输出的特 征向量进行融合。权　利　要　求　书 2/2 页 3 CN 114898472 A 3