(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210667349.5 (22)申请日 2022.06.13 (71)申请人 深圳市腾讯计算机系统有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 李宗蔚　姜文浩　郑锋　 (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张筱宁 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/532(2019.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06F 40/289(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 数据处理方法、 模型训练方法、 装置及电子 设备 (57)摘要 本申请实施例提供了一种数据处理方法、 模 型训练方法、 装置及电子设备， 涉及云技术、 人工 智能技术领域。 该数据处理方法包括： 获取待匹 配的图像和文本； 将图像和文本输入至训练好的 多模匹配模型， 通过多模匹配模型执行以下操 作， 得到图像和文本的匹配结果： 基于图像和文 本， 从图像中分别确定与文本中各个 分词对应的 中心子图像， 根据各个分词与对应的各个目标子 图像间的相关程度， 获得图像和文本的匹配结 果。 本申请实施例通过各个分词与对应的各个目 标子图像间的相关程度确定图像和文本的匹配 结果， 有效简化了多模态特征计算， 提升了特征 匹配的效率。 权利要求书3页 说明书25页 附图7页 CN 115129918 A 2022.09.30 CN 115129918 A 1.一种数据处 理方法， 其特 征在于， 包括： 获取待匹配的图像和文本； 将所述图像和文本输入至训练好的多模匹配模型， 通过所述多模 匹配模型执行以下操 作， 得到所述图像和文本的匹配结果： 基于所述图像和文本， 从所述图像中分别确定与 所述文本 中各个分词对应的中心子图 像， 根据各个分词与对应的各个目标子图像间的相关程度， 获得所述图像和文本的匹配结 果； 其中， 所述中心子 图像与对应分词的相关程度大于预设阈值； 所述各个目标子 图像包 括所述中心子图像以及位于所述中心子图像周边预设范围内的周边子图像； 所述匹配结果 用于表征 所述图像和文本的语义相似度。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述图像中分别确定与 所述文本中 各个分词对应的中心子图像， 包括： 获取所述文本 中各个分词的第 一文本特征， 以及所述图像中各个子图像的第 一图像特 征； 对于每个分词， 根据所述分词的第一文本特征和各个子 图像的第一图像特征， 确定所 述分词与各个子图像间的相关程度； 根据所述分词与各个子图像间的相关程度， 确定与所述分词相关程度 大于预设阈值的 中心子图像。 3.根据权利要求2所述的方法， 其特征在于， 所述获取所述文本中各个分词的第 一文本 特征， 以及所述图像中各个子图像的第一图像特 征， 包括： 获取所述文本中各个分词的初始文本特征以及所述图像中各个子图像的初始图像特 征； 根据所述各个分词的初始文本特征间的相关程度以及所述多模匹配模型中训练好的 文本信息匹配权 重， 确定各个分词的第一文本特 征； 根据所述多模匹配模型中训练好的图像信息索引权重和所述各个子图像的初始图像 特征， 确定各个子图像的第一图像特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述各个分词的初始文本特征间 的相关程度以及所述多模匹配模型中训练好的文本信息匹配权重， 确定各个分词的第一文 本特征， 包括： 基于所述各个分词的初始文本特 征之间的相关程度， 确定各个分词对应的第一权 重； 根据所述各个分词对应的第 一权重对所述各个分词的初始文本特征进行加权， 得到所 述各个分词的第二文本特 征； 根据所述文本信 息匹配权重对所述各个分词的第 二文本特征进行加权， 得到所述文本 中各个分词的第一文本特 征。 5.根据权利要求3所述的方法， 其特征在于， 所述根据各个分词与对应的各个目标子图 像间的相关程度， 获得 所述图像和文本的匹配结果， 包括： 对于每个分词， 根据 所述各个目标子图像的第 二图像特征以及所述分词与 各个目标子 图像间的相关程度， 获得 所述分词与所述各个目标子图像间的融合特 征； 根据所述各个分词与对应的所述各个目标子图像间的融合特征， 获得所述图像和文本权　利　要　求　书 1/3 页 2 CN 115129918 A 2的匹配结果； 其中， 所述第 二图像特征是根据所述多模匹配模型中训练好的图像信 息存储权重以及 所述各个子图像的初始图像特 征确定的。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述各个目标子图像的第 二图像 特征以及所述分词 与各个目标子图像间的相关程度， 获得所述分词与所述各个目标子图像 间的融合特 征， 包括： 确定所述各个目标子图像对应的第二权重， 根据所述各个目标子图像对应的第二权 重， 对所述分词与所述各个目标子图像间的相关程度进行加权， 获得所述分词与所述各个 目标子图像间的加权后相关程度； 以所述分词与 所述各个目标子图像间的加权后相关程度， 对所述各个目标子图像的第 二图像特 征加权， 获得 所述分词与所述各个目标子图像间的融合特 征。 7.根据权利要求6所述的方法， 其特征在于， 所述确定所述各个目标子图像对应的第 二 权重， 包括： 对于每个分词对应的任意一个目标子图像， 根据 所述目标子图像与每个分词对应的中 心子图像的距离， 确定所述目标子图像对应的第二权 重； 其中， 所述距离的大小与所述第二权 重成反比。 8.一种多模匹配模型的训练方法， 其特 征在于， 包括： 获取预设的训练集； 其中， 所述训练集中包括多个文本样本和图像样本对， 以及所述文 本样本和图像样本对所对应的样本匹配标签； 从所述图像样本 中分别确定与所述文本样本 中各个分词样本对应的中心子图像样本； 其中， 所述中心子图像样本与对应分词样本的相关程度大于预设阈值； 根据所述各个分词样本与对应的各个目标子图像样本间的相关程度， 确定所述图像样 本和文本样本的样本匹配结果； 其中， 所述各个目标子图像样本包括所述中心子图像样本 以及位于所述中心子图像样本周边关注 距离内的周边子图像样本； 基于所述样本匹配结果与样本匹配标签的差异， 确定损失函数； 基于所述损 失函数迭代更新所述初始模型的参数， 直至所述初始模型收敛， 获得所述 多模匹配模型； 其中， 所述初始模型的参数包括所述关注 距离。 9.根据权利要求8所述的方法， 其特征在于， 所述初始模型的参数包括文本信 息匹配权 重和图像信息索引权 重； 所述从所述图像样本中分别确定与所述文本样本中各个分词样本对应的中心子图像 样本， 包括： 根据所述文本样本 中各个分词样本的初始文本特征， 与 所述初始模型的文本信 息匹配 权重， 确定所述各个分词样本的第一文本特 征； 根据所述初始模型中的图像信 息索引权重和所述各个子图像样本的初始图像特征， 确 定所述各个子图像样本的第一图像特 征； 对于每个分词样本， 根据所述分词样本的第 一文本特征和所述各个子图像样本的第 一 图像特征， 确定所述分词样本与各个子图像样本间的相关程度； 根据所述分词样本与 各个子图像样本间的相关程度， 确定与 所述分词样本对应的中心 子图像样本 。权　利　要　求　书 2/3 页 3 CN 115129918 A 3