(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210452241.4 (22)申请日 2022.04.27 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 申世伟　金伟　卢佳乐　殷健源　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 李娜 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 文案的配图确定方法、 装置、 电子 设备、 介质 及程序产品 (57)摘要 本公开关于一种文案的配图确定方法、 装 置、 电子设备、 介质及程序产品， 该方法包括以下 步骤： 获得目标文案； 提取目标文案的文本 特征； 分别确定待选图像集中每张待选图像的图像特 征与目标文案的文本特征的相似度； 根据相似 度， 在待选图像集中确定目标文案的配图。 应用 本公开实施例所提供的技术方案， 通过确定待选 图像的图像特征与 目标文案的文本特征的相似 度， 可以简单快捷的在待选图像集中确定出目标 文案的配图， 提高了文案的配图的确定效率， 不 需要依赖于是否能够准确查找到相似文案， 直接 在待选图像集中确定目标文案的配图， 提高了配 图的匹配精准度。 权利要求书2页 说明书18页 附图3页 CN 114782720 A 2022.07.22 CN 114782720 A 1.一种文案的配图确定方法， 其特 征在于， 包括： 获得目标文案； 提取所述目标文案的文本特 征； 分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似 度； 根据所述相似度， 在所述待选图像集中确定所述目标文案的配图。 2.根据权利要求1所述的文案的配图确定方法， 其特征在于， 通过以下步骤获得所述待 选图像集： 基于所述目标文案的文本特 征， 确定所述目标文案所属的目标类目； 在素材库中查找属于所述目标类目的素材图像， 并将查找到的素材图像作为待选图像 加入到所述待选图像集中。 3.根据权利要求2所述的文案的配图确定方法， 其特征在于， 通过以下步骤确定所述素 材库中每张素 材图像所属的类目： 提取所述素材库中每张素 材图像的图像特 征； 基于每张素 材图像的图像特 征， 确定每张素 材图像所属的类目。 4.根据权利要求1所述的文案的配图确定方法， 其特征在于， 所述提取所述目标文案的 文本特征， 包括： 通过配图网络模型中文本分类分支提取 所述目标文案的文本特 征； 相应的， 所述待选 图像集中每张待选 图像的图像特征为： 通过所述配图网络模型中图 像分类分支提取 得到； 相应的， 所述分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本 特征的相似度， 包括： 通过所述配图网络模型中图文相似匹配分支分别确定待选图像集中每张待选图像的 图像特征与所述目标文案的文本特 征的相似度。 5.根据权利要求4所述的文案的配图确定方法， 其特征在于， 通过以下步骤预先训练获 得所述配图网络模型： 获得训练数据集， 所述训练数据集包括多个训练数据对， 每个训练数据对包括训练图 像和训练文本， 每张训练图像和每 个训练文本均有对应的类目标签； 利用所述训练数据集以及每个训练数据对中训练图像和训练文本对应的类目标签， 对 预先构建的配图网络初始模型进行迭代训练， 所述配图网络初始模型包括文本分类分支、 图像分类分支和图文相似匹配分支； 迭代训练完成后， 获得 所述配图网络模型。 6.根据权利要求5所述的文案的配图确定方法， 其特征在于， 所述利用所述训练数据集 以及每个训练数据对中训练图像和训练文本对应的类目标签， 对预先构建的配图网络初始 模型进行迭代训练， 包括： 依次将所述训练数据集中每个训练数据对确定为当前训练数据对， 将所述当前训练数 据对中的训练图像输入到预先构建的配图网络初始模型的图像分类分支中， 基于所述图像 分类分支的输出结果和所述当前训练数据对中训练图像对应的类目标签， 确定所述当前训 练数据对中训练图像对应的图像分类损失；权　利　要　求　书 1/2 页 2 CN 114782720 A 2将所述当前训练数据对中的训练文本输入到所述配图网络初始模型的文本分类分支 中， 基于所述文本分类分支的输出结果和所述当前训练数据对中训练文本对应的类目标 签， 确定所述当前训练数据对中训练文本对应的文本分类损失； 通过所述配图网络初始模型的图文相似匹配分支确定所述当前训练数据对对应的模 态对比损失； 基于所述当前训练数据对中训练图像对应的图像分类损失、 所述当前训练数据对中训 练文本对应的文本分类损失、 以及所述当前训练数据对对应的模态对比损失， 确定模型损 失； 基于所述模型损 失， 调整所述配图网络初始模型包括的图像分类分支、 文本分类分支 和图文相似匹配分支的参数。 7.一种文案的配图确定装置， 其特 征在于， 包括： 目标文案获得 单元， 用于获得目标文案； 文本特征提取单元， 用于提取 所述目标文案的文本特 征； 相似度确定单元， 用于分别确定待选图像集中每张待选图像的图像特征与 所述目标文 案的文本特 征的相似度； 配图确定单 元， 用于根据所述相似度， 在所述待选图像集中确定所述目标文案的配图。 8.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至6之中任一项所述的 文案的配图确定方法。 9.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由电 子设备的处理器执行时， 使得所述电子 设备能够执行如权利要求 1至6之中任一项 所述的文 案的配图确定方法。 10.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机指令， 所述计 算机指令存储在计算机可读存储介质中， 且适于由处理器读取并执行， 以使得具有所述处 理器的电子设备 执行如权利要求1至 6之中任一项所述的文案的配图确定方法。权　利　要　求　书 2/2 页 3 CN 114782720 A 3