(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210924148.9 (22)申请日 2022.08.03 (65)同一申请的已公布的文献号 申请公布号 CN 115017336 A (43)申请公布日 2022.09.06 (73)专利权人 中国电子科技 集团公司第五十四 研究所 地址 050081 河北省石家庄市桥西区中山 西路589号航天信息应用技术重点实 验室 (72)发明人 孟楠　姚晨　刘敬一　陈金勇　 朱进　郭琦　 (74)专利代理 机构 河北东尚律师事务所 13124 专利代理师 王文庆　曲佳颖(51)Int.Cl. G06F 16/36(2019.01) G06F 16/34(2019.01) G06K 9/62(2022.01) (56)对比文件 CN 10419 9971 A,2014.12.10 CN 111737484 A,2020.10.02 CN 109508453 A,2019.0 3.22 郭策等.基 于知识学习的多目标关联检测与 识别方法. 《计算机测量与控制》 .2021,第2 9卷 (第11期), 刘敬一等.基于改进Frec het距离的海上目 标航迹相似性度量方法. 《工程与应用》 .202 2,第 52卷(第6期), 审查员 崔鑫彤 (54)发明名称 一种基于任务认知的深度学习模型解释方 法 (57)摘要 本发明提供一种基于任务认知的深度学习 模型解释方法， 属于人工智能中的模 型可解释领 域， 针对图像、 文本、 点位等多源情报数据， 基于 情报分析人员对 各类情报分析任务的认知， 抽取 其中影响任务结果的关键要素内涵， 并构建任务 要素扰动数据集合； 随后建立一致性损失及扰动 相似性度量， 对深度学习模型进行重新训练， 得 到数据和各类情报分析任务涉及到的深度学习 模型决策结果的关联映射关系； 最后基于图谱化 组织方法， 将关联映射关系直观 表达展示。 权利要求书1页 说明书3页 附图1页 CN 115017336 B 2022.11.01 CN 115017336 B 1.一种基于任务认知的深度学习模型解释方法， 其特 征在于， 包 含如下步骤： （1） 针对涉及图像 中的重点目标识别、 目标轨迹预测和 情报文本理解的情报分析任务， 基于情报分析人员对情报分析任务的理解和认知经验， 对情报分析任务的要 素内涵进 行分 解； 其中要素内涵包括任务模式、 时空属性、 单元数量、 单元类型、 单元部件、 单元主体和行 为状态； （2） 根据情报分析任务的要素内涵对情报分析任务数据进行要素删减和修改， 获取任 务要素扰动数据集 合； （3） 结合现有情报分析任务损失函数， 以任务要素扰动数据集合中的数据为输入， 对求 解情报分析任务的深度学习模型重新进行训练， 得到扰动数据下 的任务结果； 然后分析扰 动前后任务结果相似性， 若相似性小于阈值， 则定义数据扰动对模型任务结果具有影响， 扰 动数据要素为真正影响决策 的变量， 得到数据与决策间的映射， 获取深度学习模型输入中 真正影响决策的变量； 至此完成基于任务认知的深度学习模型解释。 2.根据权利要求1所述的一种基于任务认知的深度 学习模型解释方法， 其特征在于， 还 包括以下步骤： （4） 基于步骤 （1） 提取的要素内涵定义深度学习模型解释实体， 基于步骤 （3） 分析出的 数据与决策间的映射关系定义实体及实体间关系， 并构建知识图谱， 实现模型解释结果的 直观展示。 3.根据权利要求1所述的一种基于任务认知的深度 学习模型解释方法， 其特征在于， 步 骤 （3） 包括如下步骤： （301） 基于任务要素扰动数据集合， 以现有求解情报分析任务的深度学习模型结果为 标签， 结合现有情报分析任务损失函数， 以情报分析结果一致性为目标， 并以扰动数据为输 入重新训练深度学习模型， 得到扰动数据下的任务结果； （302） 以扰动前得到的任务结果为标签， 分析扰动前后模型任务结果相似性， 若相似性 小于阈值， 则定义数据扰动对模型任务结果具有影响， 扰动数据要素为真正影响决策 的变 量， 得到模型输入与决策间的映射关系， 获取深度学习模型输入中真正影响决策的变量。权　利　要　求　书 1/1 页 2 CN 115017336 B 2一种基于任务认知的深度学习模型解 释方法 技术领域 [0001]本发明属于人工智能中的模型可解释 领域， 具体涉及一种基于任务认知的深度学 习模型解释方法。 背景技术 [0002]随着侦察手段与资源的日益增多， 各情报处理部门积累了海量异构的数据， 大幅 度增加了情报人员进 行精准研判与深度剖析的难度。 深度学习技术的应用可以通过数据完 成重点目标识别、 目标预测轨迹、 情报文本的解析， 辅助情报人员理解海量异构数据， 提升 洞察及处理能力。 然而， 深度学习技术在情报处理领域没有被广泛有效应用， 其瓶颈在于现 有深度学习模型多为建模复杂且不透明的黑盒模型， 严重减弱情报人员对深度学习模型产 生的深层情报结果的信任度， 使其无法作为一种常规化手段应用于情报生产的日常业务 中。 [0003]面向深度学习模型内部结构不透明、 模型不可理解导致的情报分析领域中深度学 习结果不可广泛应用的问题。 为提升模 型可解释性， 针对多种情报分析任务， 完成对模型决 策/预测结果的理解， 需要研究一种基于任务认知的深度学习模型解释方法， 提升情报产出 的深度与维度。 发明内容 [0004]本发明面向深度学习模型内部结构不透明、 模型不可理解导致的情报分析领域中 深度学习结果不可广泛应用的问题。 本发明提供一种基于任务认知的深度学习模型解释方 法。 [0005]为了实现上述目的， 本发明采用的技 术方案如下： [0006]一种基于任务认知的深度学习模型解释方法， 包 含如下步骤： [0007]（1） 针对涉及重点目标识别、 目标轨迹预测和情报文本理解的情报分析任务， 基于 情报分析人员对情报分析任务的理解和认知经验， 对情报分析任务的要素内涵进行分解， 其中要素内涵包括任务模式、 时空属性、 单元数量、 单元类型、 单元部件、 单元主体和行为状 态； [0008]（2） 根据情报分析任务的要素内涵对情报分析任务数据进行要素删减和修改， 获 取任务要素扰动数据集 合； [0009]（3） 结合现有情报分析任务损失函数， 以任务要素扰动数据集合中的数据为输入， 对求解情报分析任务的深度学习模型重新进行训练， 得到扰动数据下 的任务结果； 然后分 析扰动前后任务结果相似性， 得到数据与决策间的映射， 获取深度学习模型输入中真正影 响决策的变量； [0010]（4） 基于步骤 （1） 提取的要素内涵定义深度学习模型解释实体， 基于步骤 （3） 分析 出的数据与决策间的映射关系定义实体及实体间关系， 并构建知识图谱， 实现模型解释结 果的直观展示。说　明　书 1/3 页 3 CN 115017336 B 3