(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211192532.0 (22)申请日 2022.09.28 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 武文琦　 (74)专利代理 机构 北京晋德允升知识产权代理 有限公司 1 1623 专利代理师 王戈 (51)Int.Cl. G06V 40/40(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种活体 检测方法、 装置及设备 (57)摘要 本说明书实施例中公开了一种活体检测方 法、 装置及设备。 该方案可以包括： 获取待检测图 像的语义特征信息及视觉特征信息， 对获取到的 语义特征信息和视觉特征信息进行特征融合处 理， 从而得到待检测图像的融合特征向量。 然后 利用基于注意力机制搭建的活体检测模型对融 合特征向量进行处理， 进而 得到针对待检测图像 的活体检测结果。 权利要求书4页 说明书15页 附图4页 CN 115546908 A 2022.12.30 CN 115546908 A 1.一种活体 检测方法， 包括： 获取待检测图像的语义特 征信息及视 觉特征信息； 对所述视觉特征信 息及所述语义特征信 息进行特征融合处理， 得到所述待检测图像的 融合特征向量； 利用基于注意力机制搭建的活体检测模型， 对所述融合特征向量进行处理， 得到针对 所述待检测图像的活体 检测结果。 2.如权利要求1所述的方法， 所述获取待检测图像的语义特 征信息， 具体包括： 利用预设语言模型对所述待检测图像进行特征提取处理， 得到所述待检测图像的语义 特征向量； 其中， 所述预设语言模型为用于针对输入图像生成 图像描述信息的深度学习模 型。 3.如权利要求2所述的方法， 所述获取待检测图像的语义特 征信息， 还 包括： 针对所述待检测图像的语义特征向量进行位置编码处理， 得到位置编码后的目标语义 特征向量。 4.如权利要求3所述的方法， 所述获取待检测图像的视 觉特征信息， 具体包括： 利用预设卷积神经网络模型对所述待检测图像进行特征提取处理， 得到所述待检测图 像的视觉特征向量； 其中， 所述预设卷积神经网络模型为用于针对输入图像执行包括卷积 处理在内的处 理操作的模型； 针对所述待检测图像的视觉特征向量进行位置编码处理， 得到位置编码后的目标视觉 特征向量。 5.如权利要求4所述的方法， 所述对所述视觉特征信息及所述语义特征信息进行特征 融合处理， 得到所述待检测图像的融合特 征向量， 具体包括： 针对所述目标语义特征向量以及所述目标视觉特征向量进行特征拼接处理， 得到所述 待检测图像的融合特 征向量； 其中， 所述融合特征向量的维度为所述目标语义特征向量的维度与 所述目标视觉特征 向量的维度之和； 或者， 所述融合特征向量的维度、 所述目标语义特征向量的维度及所述目标视觉特征向量的 维度均相等。 6.如权利要求1 ‑5中任意一项所述的方法， 所述基于注意力机制搭建的活体检测模型 包括： 基于自注意力机制搭建的编码器， 以及， 基于自注意力机制搭建的解码器； 所述利用基于注意力机制搭建的活体检测模型， 对所述融合特征向量进行处理， 得到 针对所述待检测图像的活体 检测结果， 具体包括： 将所述融合特 征向量输入所述编码器， 得到所述编码器输出的编码向量； 利用所述 解码器基于所述编码向量， 生成针对所述待检测图像的活体 检测结果。 7.如权利要求6所述的方法， 所述基于注意力 机制搭建的活体检测模型还包括： 基于通 道注意力机制及空间注意力机制搭建的特 征处理子模型； 所述利用所述解码器基于所述编码向量， 生成针对所述待检测图像的活体检测结果， 具体包括： 根据所述编码向量构建二维特 征矩阵， 得到待处 理特征图； 将所述待处理特征图输入所述特征处理子模型， 得到所述特征处理子模型输出的目标权　利　要　求　书 1/4 页 2 CN 115546908 A 2特征图； 针对所述目标 特征图进行切分， 得到多个目标 特征子图； 对从各个所述目标 特征子图中提取 出的特征向量进行拼接， 得到目标 特征向量； 将所述目标特征向量输入所述解码器， 得到所述解码器输出的针对所述待检测图像的 活体检测结果。 8.如权利要求7所述的方法， 所述编码器为Transformer模型中的编码器， 所述解码器 为所述Transformer模 型中的解码器； 所述特征处理子模 型包括： 通道注 意力模块及空间注 意力模块； 所述编码器的输出端与所述通道注意力模块的输入端连接， 所述通道注意力模块的输 出端与所述空间注意力模块的输入端连接， 所述空间注意力模块的输出端与所述解码器的 输入端连接 。 9.如权利要求8所述的方法， 所述基于注意力 机制搭建的活体检测模型为分类模型； 所 述解码器输出的针对所述待检测图像的活体检测结果为分类结果； 所述分类结果用于指示 所述待检测图像中的目标对象是否为活体。 10.如权利要求9所述的方法， 所述利用基于注意力机制搭建的活体检测模型， 对所述 融合特征向量进行处 理， 得到针对所述待检测图像的活体 检测结果之前， 还 包括： 获取训练样本集合， 所述训练样本集合中的训练样本为对样本图像的视觉特征向量样 本及语义特征向量样本进 行特征融合处理得到的融合特征向量样本； 所述训练样本携带有 用于指示所述样本图像中的指定对象是否为活体的分类标签数据； 利用所述训练样本集合对基于注意力 机制搭建的初始 活体检测模型进行训练， 得到训 练后的基于注意力机制搭建的活体 检测模型。 11.一种活体 检测装置， 包括： 第一获取模块， 用于获取待检测图像的语义特 征信息及视 觉特征信息； 融合模块， 用于对所述视觉特征信息及所述语义特征信息进行特征融合处理， 得到所 述待检测图像的融合特 征向量； 处理模块， 用于利用基于注意力机制搭建的活体检测模型， 对所述融合特征向量进行 处理， 得到针对所述待检测图像的活体 检测结果。 12.如权利要求1 1所述的装置， 所述第一获取模块， 具体包括： 第一提取单元， 用于利用预设语言模型对所述待检测图像进行特征提取处理， 得到所 述待检测图像的语义特征向量； 其中， 所述预设语言模型为用于针对输入图像生成图像描 述信息的深度学习模型。 13.如权利要求12所述的装置， 所述第一获取模块， 还 包括： 第一编码单元， 用于针对所述待检测图像的语义特征向量进行位置编码处理， 得到位 置编码后的目标语义特 征向量。 14.如权利要求13所述的装置， 所述第一获取模块， 还 包括： 第二提取单元， 用于利用预设卷积神经网络模型对所述待检测图像进行特征提取处 理， 得到所述待检测图像的视觉特征向量； 其中， 所述预设卷积神经网络模型为用于针对输 入图像执 行包括卷积处 理在内的处 理操作的模型； 第二编码单元， 用于针对所述待检测图像的视觉特征向量进行位置编码处理， 得到位权　利　要　求　书 2/4 页 3 CN 115546908 A 3