(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210009599.X (22)申请日 2022.01.05 (71)申请人 华能贵诚信托有限公司 地址 550081 贵州省贵阳市观山湖区长岭 北路55号贵州金融城一期商务区10号 楼23、 24层 (72)发明人 胡沛弦　蔡传宏　 (74)专利代理 机构 北京正理专利代理有限公司 11257 专利代理师 张帆 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/295(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) (54)发明名称 一种基于多模型融合的多级事件抽取方法 和抽取系统 (57)摘要 本发明公开了一种基于多模型融合的多级 事件抽取方法、 抽取系统、 计算机设备和存储介 质， 其中一实施例的多级事件抽取方法包括： 使 用筛选模型分别对输入的多个待抽取文本按照 段落进行语义提取、 拼接并分类以输出对应的第 一事件结果； 根据各待抽取文本的第一事件结果 将多个待抽取文本分别输入对应的深度事件模 型， 每个深度事件模型对输入的待抽取文本进行 事件抽取并输出待抽取文本的第二事件 结果； 使 用融合单元对各深度事件模型输出的各多个待 抽取文本的第二事件结果进行融合并生成第三 事件结果。 本发 明提供的实施例能够根据预建立 的事件类型体系快速识别非结构化文档中的事 件类型和事件 元素， 有效提高事件抽取的抽取效 率， 具有实际应用价 值。 权利要求书3页 说明书14页 附图5页 CN 114936559 A 2022.08.23 CN 114936559 A 1.一种基于多模型融合的多 级事件抽取方法， 其特 征在于， 包括： S1： 使用筛选模型分别对输入的多个待抽取文本按照段落进行语义提取， 对每个待抽 取文本的各 段落所提取的语义特 征进行拼接并分类以输出对应的第一事 件结果； S2： 根据各待抽取文本的第 一事件结果将所述多个待抽取文本分别 输入对应的深度事 件模型， 每个深度事件模型对输入的待抽取文本进行事件抽取并输出所述待抽取文本的第 二事件结果， 每个深度事件模型包括用于事件抽取 的至少一个事件子模型、 以及用于汇集 各事件子模型输出的第二事件结果的汇集单元， 不同的深度事件模型对应不同的事件类型 体系； S3： 使用融合单元对各深度事件模型输出的各所述多个待抽取文本的第 二事件结果进 行融合并生成第三事件结果， 所述第三事件结果包括第三事件类型和对应的第三事件元 素。 2.根据权利要求1所述的多级事件抽取方法， 其特征在于， 所述筛选模型包括第 一文本 特征提取模型和第一分类 器， 所述S1进一 步包括： S11： 使用所述第一文本特征提取模型对所述待抽取文本按照段落进行语义提取并输 出各段落的段落文本语义特 征； S12： 使用所述第一分类器对各段落的段落文本语义特征进行拼接并输出第一拼接语 义特征， 并根据所述第一拼接语义特征进行分类输出所述待抽取文本的第一事件结果， 所 述第一事 件结果包括第一事 件类型。 3.根据权利要求1所述的多级事件抽取方法， 其特征在于， 所述深度事件模型包括第 一 事件子模 型， 包括第二文本特征提取模 型、 第一条件随机场模 型和第一事件汇 集模块， 所述 S2进一步包括： S211： 使用所述第二文本特征提取模型对输入的所述待抽取文本进行篇章级别语义提 取并输出第一语义特 征向量； S212： 使用所述第一条件随机场模型对所述第一语义特征向量进行运算， 判断并输出 所述待抽取文本中每个字符的第一标签， 所述第一标签包括具有事件类型和事件元素类型 的第一事 件边界向量、 以及具有事 件类型和事 件元素类型的第一事 件内部向量； S213： 使用所述第一事件汇集模块根据所述第 一事件边界向量和第一事件内部向量输 出第二事 件结果， 所述第二事 件结果包括第一子事 件类型和对应的第一子事 件元素。 4.根据权利要求3所述的多级事件抽取方法， 其特征在于， 所述深度事件模型包括第 二 事件子模 型， 包括第三文本特征提取模 型、 第二条件随机场模 型和第二事件汇 集模块， 所述 S2进一步包括： S221： 使用所述第三文本特征提取模型对输入的所述待抽取文本的各段落进行段落级 别语义提取并输出第二语义特 征向量； S222： 使用所述第二条件随机场模型对所述第二语义特征向量进行运算， 判断并输出 所述待抽取文本中每个字符的第二标签， 所述第二标签包括具有事件类型和事件元素类型 的第二事 件边界向量、 具有事 件类型和事 件元素类型的第二事 件内部向量； S223： 使用所述第二事件汇集模块根据所述第 二事件边界向量和第二事件内部向量输 出第二事 件结果， 所述第二事 件结果包括第二子事 件类型和对应的第二子事 件元素。 5.根据权利要求4所述的多级事件抽取方法， 其特征在于， 所述深度事件模型包括第 三权　利　要　求　书 1/3 页 2 CN 114936559 A 2事件子模 型， 包括第四文本特征提取模 型、 第三条件随机场模 型和第三事件汇 集模块， 所述 S2进一步包括： S231： 使用所述第四文本特征提取模型对输入的所述待抽取文本的各段落的各语句进 行语句级别语义 提取并输出第三语义特 征向量； S232： 使用所述第三条件随机场模型对所述第三语义特征向量进行运算， 判断并输出 所述待抽取文本中每个字符的第三标签， 所述第三标签包括具有事件类型和事件元素类型 的第三事 件边界向量、 具有事 件类型和事 件元素类型的第三事 件内部向量； S233： 使用所述第三事件汇集模块根据所述第 三事件边界向量和第三事件内部向量输 出第二事 件结果， 所述第二事 件结果包括第三子事 件类型和对应的第三子事 件元素。 6.根据权利要求5所述的多 级事件抽取方法， 其特 征在于， 所述S2进一 步包括： 所述深度事件模型并行使用所述第 一事件子模型、 所述第 二事件子模型和所述第 三事 件子模型对输入的待抽取文本进行事 件抽取并输出 所述待抽取文本的第二事 件结果； 或者 所述深度事件模型串行使用所述第 一事件子模型、 所述第 二事件子模型和所述第 三事 件子模型对输入的待抽取文本进行事 件抽取并输出 所述待抽取文本的第二事 件结果。 7.根据权利要求5所述的多级事件抽取方法， 其特征在于， 所述第一文本特征提取模 型、 所述第三文本特征提取模型和所述第四文本特征提取模 型为BERT ‑wwm模型、 RoBERTa模 型、 ERNIE模型、 NEZHA模型和XL Net模型中的一个。 8.根据权利要求7所述的多级事件抽取方法， 其特征在于， 所述第一文本特征提取模 型、 所述第三文本特征提取模型和所述第四文本特征提取模型包括12层编码器， 所述多级 事件抽取方法进一 步包括： 使用最后3层编码器的输出 结果的平均值作为所述语义特 征向量。 9.根据权利要求4所述的多级事件抽取方法， 其特征在于， 所述第 二文本特征提取模型 为XLNet‑base模型， 包括12层编码器。 10.一种应用如权利要求1 ‑9中任一项所述的多级事件抽取方法的多级事件抽取系统， 其特征在于， 包括： 文档预筛选模型， 配置为分别对输入的多个待抽取文本按照段落进行语义提取， 对每 个待抽取文本的各 段落所提取的语义特 征进行拼接并分类以输出对应的第一事 件结果； 多个事件抽取模型， 配置为根据各待抽取文本的第 一事件结果将所述多个待抽取文本 分别输入对应的深度事件模型， 每个深度事件模型对输入的待抽取文本进 行事件抽取并输 出所述待抽取文本的第二事件结果， 每个深度事件模型包括用于事件抽取的至少一个事件 子模型、 以及用于汇集各事件子模型输出 的第二事件结果的汇集单元， 不同的深度事件模 型对应不同的事 件类型体系； 以及 事件融合模型， 配置为对各深度事件模型输出的各所述多个待抽取文本的第 二事件结 果进行融合并生成第三事件结果， 所述第三事件结果包括第三事件类型和对应的第三事件 元素。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑9中任一项所述的方法。 12.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计权　利　要　求　书 2/3 页 3 CN 114936559 A 3