(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210980815.5 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115080766 A (43)申请公布日 2022.09.20 (73)专利权人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 李超　张钊　姚远舟　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/151(2020.01) G06F 40/284(2020.01) G06F 40/289(2020.01) G06V 30/41(2022.01) G06V 30/19(2022.01) (56)对比文件 CN 113837102 A,2021.12.24CN 114239675 A,202 2.03.25 CN 112528042 A,2021.0 3.19 CN 112257445 A,2021.01.2 2 CN 114840705 A,2022.08.02 CN 114357193 A,202 2.04.15 CN 111737458 A,2020.10.02 CN 114580638 A,202 2.06.03 CN 114240891 A,202 2.03.25 CN 112200317 A,2021.01.08 CN 110147414 A,2019.08.20 CN 114564593 A,202 2.05.31 CN 113220861 A,2021.08.0 6 WO 2022135120 A1,202 2.06.30 CN 113516164 A,2021.10.19 US 2022245365 A1,202 2.08.04 Xiaojuan Zhao. “Multi-source Kn owledge Fusion: A Survey ”. 《2019 IE EE Fourth Internati onal Conference o n Data Science in Cyberspace (D SC)》 .2019,第1 19-127页. (续) 审查员 王永贵 (54)发明名称 基于预训练模型的多模态知识图谱表征系 统及方法 (57)摘要 本发明公开了基于预训练模型的多模态知 识图谱表征系统及方法， 结合知识图谱实体的相 关语义信息与对应图像信息辅助知识图谱进行 实体向量表征。 由于文本预训练模 型经过大规模 语料进行了充分的训练学习， 具有一定的语义表 征能力， 同时基于图像的预训练模 型也经过大规 模数据集进行了初步训练， 对于实体对应的图片 也可以生 成较好的表征向量， 再通过几种不同的 组合方式将语义表征向量和图形表征向量进行 结合从而代替实体向量的初始化， 将该实体向量 输入知识图谱表征模型进行训练， 同时对文本和图像预训练模型进行微调。 增加了实体的信息 量， 同时也引入了大量用于预训练的数据集信 息。 使得知识图谱的表征得到更好的结果， 同时 提升了整体方法的鲁棒 性。 [转续页] 权利要求书3页 说明书11页 附图6页 CN 115080766 B 2022.12.06 CN 115080766 B (56)对比文件 刘昱然.“多模态领域知识图谱构建方法及 应用研究 ”. 《中国优秀硕士学位 论文全文数据库 （电子期刊） 信息科技 辑》 .2021,第I138-741页.高鸿斌等.K-VQA:一种知识图谱辅助下的视 觉问答方法. 《河北 科技大学学报》 .2020,(第04 期),第29-40页.2/2 页 2[接上页] CN 115080766 B1.一种基于预训练模型的多模态知识图谱表征系统， 包括知识图谱表征模型， 其特征 在于： 实体信息获取模块分别与知识图谱表征模型、 文本转换模块和图像转换模块连接， 融 合模块分别与文本转换模块、 图像转换模块和知识图谱表征模型 连接； 所述实体信 息获取模块， 用于从知识图谱表征模型获取实体对应的文本描述信 息及其 对应的一组图像信息； 所述文本转换模块， 获取文本描述信息并转换为对应的文本向量； 所述图像转换模块， 获取图像信息并转换为对应的图像向量； 所述融合模块， 将文本向量与图像向量进行融合， 将融合后的向量作为知识图谱表征 模型中实体所表征 的向量的初始值， 并基于正确和错误的实体表征， 对知识图谱表征模型 进行训练， 得到训练好的知识图谱表征模型； 所述知识图谱表征模型是由头实体节点 h、 关系l、 尾实体节点 t构成的三元组的集合， 将融合后的向量， 作为知识图谱表征模 型中， 头实体节点和/或尾实体节点所表征的向量的 初始值， 并基于正确 和错误的实体表征进行训练； 构建损失函数： 其中S表示数据图谱的三元组数据 集，h’、t’、S’分别表示错误的头实体节点、 错误的尾 实体节点和错误的数据图谱三元组数据集， [ ·]+表示当[]内数值小于0时， 取0， 否则取[] 内数值，γ为超参数， 表示正负三元组的间隔， d表示三元组的能量值， 三元 组为真的可能性 越大， 能量 值越低； 将得到的损失值用于优化知识图谱表征模型参数， 和/或对文本转换模块进行调整， 和/或对图像转换模块进行调整。 2.根据权利要求1所述的基于预训练模型的多模态知识图谱表征系统， 其特征在于： 所 述文本转换模块包括分词单元、 文本位置编 码单元、 文本片段拆 分单元、 单词向量生成单元 和文本向量 转换单元； 所述分词单元， 将文本描述信息进行分词， 将分词后的结果对应词典； 找到各个单词所 对应的词元向量； 所述文本位置编码单 元， 获取各个单词的位置编码向量； 所述文本片段拆分单 元， 根据文本描述信息进行片段拆分， 得到段向量； 所述单词向量生成单元， 将词元向量及其对应的位置编码向量、 段向量相加， 得到单个 单词向量； 所述文本向量转换单元， 将各个单词向量组合成句子的矩阵表示， 进行基于注意力机 制训练得到的文本 向量转换单元， 输出词 元向量， 并将文本标志位对应输出 的向量作为最 终的文本向量表征。 3.根据权利要求2所述的基于预训练模型的多模态知识图谱表征系统， 其特征在于： 所 述文本向量转换单元采用转换tr ansformer模型的编码器作为基本单元， 进行基于多头注 意力机制的计算：权　利　要　求　书 1/3 页 2 CN 115080766 B 3