(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210450243.X (22)申请日 2022.04.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 孙准　冯原　郑弘晖　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孙翠贤　高莺然 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/55(2019.01) G06F 16/583(2019.01) (54)发明名称 一种特征提取模 型的训练方法、 对象检索方 法以及装置 (57)摘要 本公开提供了一种特征提取模型的训练方 法、 对象检索方法以及装置， 涉及人工智能技术 领域， 具体为深度学习、 图像处理、 计算机视觉技 术领域， 可应用于图像检索等场景。 具体实现方 案为： 确定待训练的特征提取模型； 将表征相同 语义的样 本对输入特征提取模型， 得到第一提取 网络的各特征提取层输出的第一样 本特征， 以及 第二提取网络的各特征提取层输出的第二样本 特征； 基于第一样本特征和第二样本特征， 构建 用于表征相同语义的正样本特征对， 以及用于表 征不同语义的负样本特征对； 响应于基于正样本 特征对和负样本特征对， 确定特征提取模型未收 敛， 调整模型参数。 可见， 通过本方案， 可以在较 少样本对资源的情况下， 训练得到精度较高的特 征提取模型。 权利要求书4页 说明书15页 附图5页 CN 114782719 A 2022.07.22 CN 114782719 A 1.一种特 征提取模型的训练方法， 包括： 确定待训练的特征提取模型； 其中， 所述特征提取模型包括针对第一模态对象的第一 提取网络和针对第二模态对象的第二提取网络， 所述第一提取网络和所述第二提取网络均 包括多个特 征提取层； 将表征相同语义的样本对输入所述特征提取模型， 得到所述第 一提取网络的各特征提 取层输出的第一样本特 征， 以及所述第二 提取网络的各 特征提取层输出的第二样本特 征； 基于所述第一样本特征和所述第二样本特征， 构建用于表征相同语义的正样本特征 对， 以及用于表征不同语义的负 样本特征对； 响应于基于所述正样本特征对和所述负样本特征对， 确定所述特征提取模型未收敛， 调整所述特 征提取模型的模型参数。 2.根据权利要求1所述的方法， 其中， 所述基于所述第一样本特征和所述第二样本特 征， 构建用于表征相同语义的正样本特征对， 以及用于表征不同语义的负样本特征对， 包 括： 利用第一类提取层针对所述表征相同语义的样本对所提取的样本特征， 构建所述正样 本特征对； 其中， 所述第一类提取层包括所述第一提取网络和所述第二提取网络中属于相 同位置的两个特 征提取层； 利用第二类提取层针对所述表征相同语义的样本对所提取的样本特征， 构建所述负样 本特征对； 其中， 所述第二类提取层包括所述第一提取网络和所述第二提取网络中属于不 同位置的两个特 征提取层。 3.根据权利要求2所述的方法， 其中， 所述方法还 包括： 基于所述第一样本特征和所述第二样本特征， 构建特征矩阵； 其中， 所述特征矩阵中， 行的维度数量为所述第一提取网络对所述表征相同语义的样本对所提取的样本特征的数 量， 列的维度数量为所述第二提取网络对所述表征相同语义的样本对所提取的样本特征的 数量， 且矩阵元素为关于所述第一样本特征和所述第二样本特征 的特征对， 行 的各个维度 的排布方式与 列的各个维度的排布方式相同； 所述利用第 一类提取层针对所述表征相同语义的样本对所提取的样本特征， 构建所述 正样本特 征对， 包括： 从所述特 征矩阵中， 选取主对角线上的矩阵元 素， 得到所述 正样本特 征对； 所述利用第二类提取层针对所述样本对所提取的样本特征， 构建所述负样本特征对， 包括： 从所述特征矩阵中， 选取主对角线上的矩阵元素以外的矩阵元素， 得到所述负样本特 征对。 4.根据权利要求1所述的方法， 其中， 基于所述正样本特征对和负样本特征对， 确定所 述特征提取模型 是否收敛的方式包括： 基于所述 正样本特 征对和所述负 样本特征对， 确定所述特 征提取模型的模型损失； 利用所述模型损失， 判断所述特 征提取模型 是否收敛。 5.根据权利要求4所述的方法， 其中， 所述基于所述正样本特征对和所述负样本特征 对， 确定所述特 征提取模型的模型损失， 包括： 计算所述 正样本特 征对的特 征相似度， 以及所述负 样本特征对的特 征相似度；权　利　要　求　书 1/4 页 2 CN 114782719 A 2基于所述正样本特征对的特征相似度与第 一真值的差异， 以及所述负样本特征对的特 征相似度与第二真值的差异， 确定所述特 征提取模型的模型损失； 其中， 所述第一真值为表征语义相同的相似度真值， 所述第二真值为表征语义不同的 相似度真值。 6.根据权利要求1 ‑5任一项所述的方法， 其中， 所述第 一提取网络中的多个特征提取层 包括基于第一编码器构建的特征提取层， 以及属于神经网络层的特征提取层， 所述第一编 码器为针对第一模态对象的编码器； 所述第二提取网络 中的多个特征提取层包括基于第 二编码器构建的特征提取层， 以及 属于神经网络层的特 征提取层， 所述第二编码器为针对第二模态对象的编码器。 7.一种对象检索方法， 包括： 获取作为检索依据的目标对象； 其中， 所述目标对象属于第一模态； 将所述目标对象输入特征提取模型中的第 一提取网络， 以使所述第 一提取网络的多个 特征提取层提取所述目标对象的特征， 得到所述目标对象的第一特征； 其中， 所述特征提取 模型为按照权利要求1 ‑6任一项方法训练得到的模型； 所述第一提取网络的多个特征提取 层中， 前一级特征提取层的输出为后一级特征提取层的输入， 且第一级特征提取层的输入 为所述目标对象； 基于预先构建的特征库以及所述第一特征， 从包含有属于第二模态的对象的数据库 中， 确定与所述目标对象相匹配的对象， 作为所述目标对象对应的检索结果； 其中， 所述特征库包括所述数据库中的对象的第二特征， 所述数据库中的对象的第二 特征是利用所述特征提取模型中第二提取网络的多个特征提取层， 对所述数据库中的对象 进行特征提取得到； 所述第二提取网络的多个特征提取层中， 前一级特征提取层的输出为 后一级特 征提取层的输入， 且第一级特 征提取层的输入为所述数据库中的对象。 8.一种特 征提取模型的训练装置， 包括： 确定模块， 用于确定待训练的特征提取模型； 其中， 所述特征提取模型包括针对第一模 态对象的第一提取网络和针对第二模态对象的第二提取网络， 所述第一提取网络和所述第 二提取网络均包括多个特 征提取层； 样本特征提取模块， 用于将表征相同语义的样本对输入所述特征提取模型， 得到所述 第一提取网络的各特征提取层输出的第一样本特征， 以及所述第二提取网络的各特征提取 层输出的第二样本特 征； 构建模块， 用于基于所述第一样本特征和所述第二样本特征， 构建用于表征相同语义 的正样本特 征对， 以及用于表征不同语义的负 样本特征对； 调整模块， 用于响应于基于所述正样本特征对和所述负样本特征对， 确定所述特征提 取模型未收敛， 调整所述特 征提取模型的模型参数。 9.根据权利要求8所述的装置， 其中， 所述构建模块， 包括： 第一构建子模块， 用于利用第 一类提取层针对所述表征相同语义的样本对所提取的样 本特征， 构建所述正样本特征对； 其中， 所述第一类提取层包括所述第一提取网络和所述第 二提取网络中属于相同位置的两个特 征提取层； 第二构建子模块， 用于利用第 二类提取层针对所述表征相同语义的样本对所提取的样 本特征， 构建所述负样本特征对； 其中， 所述第二类提取层包括所述第一提取网络和所述第权　利　要　求　书 2/4 页 3 CN 114782719 A 3