standard download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211381537.8 (22)申请日 2022.11.07 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 张晓强 钦夏孟 章成全 姚锟  (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吕朝蕙 (51)Int.Cl. G06V 10/26(2022.01) (54)发明名称 信息分割方法、 信息提取方法和信息 分割模 型的训练方法 (57)摘要 本公开提供了一种信息 分割方法、 信息提取 方法和信息分割模型的训练方法, 涉及人工智能 领域, 具体涉及深度学习、 图像处理和计算机视 觉等技术领域, 可应用于OCR等场景。 信息分割方 法的具体实现方案为: 提取文本图像的图像特 征; 根据针对 结构化信息的查询特征对图像特征 进行解码, 得到解码特征, 解码特征表征文本图 像包括的目标结构化信息; 以及根据解码特征, 确定文本图像包括的目标结构化信息的分割信 息; 其中, 查询特 征是预训练得到的。 权利要求书6页 说明书15页 附图6页 CN 115546488 A 2022.12.30 CN 115546488 A 1.一种信息分割方法, 包括: 提取文本图像的图像特 征; 根据针对结构化信息的查询特征对所述图像特征进行解码, 得到解码特征, 所述解码 特征表征所述文本图像包括的目标 结构化信息; 以及 根据所述 解码特征, 确定所述文本图像包括的目标 结构化信息的分割信息; 其中, 所述 查询特征是预训练得到的。 2.根据权利要求1所述的方法, 其中, 所述根据所述解码特征, 确定所述文本 图像包括 的目标结构化信息的分割信息包括: 根据所述 解码特征, 确定所述目标 结构化信息在所述文本图像中的位置信息; 以及 根据所述 解码特征, 确定所述目标 结构化信息的分类信息 。 3.根据权利要求2所述的方法, 其中, 所述查询特征包括第一特征序列, 所述第一特征 序列由表征至少一个结构化信息的至少一个第一特征构成; 所述解码特征包括第二特征序 列, 所述第二特征序列由与至少一个所述第一特征分别对应、 且表征至少一个目标结构化 信息的至少一个第二特 征构成; 其中: 所述根据所述解码特征, 确定所述目标结构化信息在所述文本图像中的位置信息包 括: 根据至少一个所述第二特征中的每个第二特征, 确定每个所述第二特征表征 的目标结 构化信息在所述文本图像中的位置信息; 以及 所述根据所述解码特征, 确定所述目标结构化信息的分类信息包括: 根据每个所述第 二特征, 确定每 个所述第二特 征表征的目标 结构化信息的分类信息, 其中, 所述分类信息用于区分不同的第二特 征表征的目标 结构化信息 。 4.根据权利要求2或3所述的方法, 其中, 所述查询特征包括表征键信息的第一查询子 特征和第二查询 子特征, 所述第二查询 子特征表征与所述键信息配对的值信息; 所述解码 特征包括与所述第一查询子特征对应的第一解码子特征和与所述第二查询子特征对应的 第二解码子特征; 所述根据所述解码特征, 确定所述 目标结构化信息在所述文本图像中的 位置信息包括: 根据所述第 一解码子特征, 确定所述目标结构化信 息中的目标键信 息在所述文本图像 中的第一 位置信息; 以及 根据所述第 二解码子特征, 确定所述目标结构化信 息中与所述目标键信 息配对的目标 值信息在所述文本图像中的第二 位置信息 。 5.根据权利要求 4所述的方法, 其中: 所述第二 查询子特 征包括表征至少两个值信息的至少两个子特 征; 所述第二位置信息包括与所述目标键信息配对的至少两个目标值信息在所述文本图 像中的位置信息 。 6.根据权利要求1所述的方法, 其中, 所述根据针对结构化信 息的查询特征对所述图像 特征进行解码, 得到解码特 征包括: 根据所述图像特 征, 生成键特 征和值特 征; 以及 根据所述键特征、 所述值特征和所述查询特征, 采用交叉注意力机制解码得到所述解 码特征。 7.根据权利要求6所述的方法, 其中, 所述查询特征包括第一特征序列, 所述第一特征权 利 要 求 书 1/6 页 2 CN 115546488 A 2序列由表征至少一个结构化信息的至少一个第一特征构成; 所述第一特征包括表征键信息 的第一查询子特征和 第二查询子特征, 所述第二查询子特征表征与所述键信息配对的值信 息; 其中, 所述根据 所述键特征、 所述值特征和所述查询特征, 采用交叉注意力机制解码得 到所述解码特征包括: 采用第一自注意力 机制对所述第 一特征中的查询子特征进行融合, 得到与 所述第一特 征对应的第一融合特 征; 以及 根据所述键特征、 所述值特征和所述第一融合特征, 采用所述交叉注意力机制解码得 到所述解码特征。 8.根据权利要求7所述的方法, 其中, 所述第一特征的数量为至少两个; 所述根据所述 键特征、 所述值特征和所述第一融合特征, 采用所述交叉注意力机制解码得到所述解码特 征包括: 采用第二自注意力机制对与至少两个所述第一特征对应的至少两个第一融合特征进 行融合, 得到第二融合特 征; 以及 根据所述键特征、 所述值特征和所述第二融合特征, 采用所述交叉注意力机制解码得 到所述解码特征。 9.一种信息提取 方法, 包括: 采用权利要求1~8中任一项所述的方法确定文本图像包括的目标结构化信息的分割信 息; 以及 根据所述分割信息, 提取 得到所述文本图像中的目标 结构化信息 。 10.一种信息分割模型的训练方法, 其中, 所述信息分割模型包括特征提取网络、 解码 网络和预测网络; 所述方法包括: 采用所述特征提取网络提取样本 中文本图像的图像特征; 所述样本还包括所述文本图 像所包括的目标 结构化信息的分割真值信息; 采用所述解码网络来根据针对结构化信 息的查询特征对所述图像特征进行解码, 得到 解码特征; 所述解码特征表征所述文本图像包括的目标 结构化信息; 采用所述预测网络来根据所述解码特征确定所述文本图像包括的目标结构化信息的 分割预测信息; 以及 根据所述分割真值信 息和所述分割预测信 息, 对所述信 息分割模型和所述查询特征进 行训练。 11.根据权利要求10所述的方法, 其中, 所述分割真值信 息包括与至少一个目标结构化 信息对应的至少一个第一分割信息; 所述分割 预测信息包括至少一个第二分割信息; 所述 根据所述分割真值信息和所述分割预测信息, 对所述信息 分割模型和所述查询特征进 行训 练包括: 采用匹配算法匹配至少一个所述第 一分割信 息和至少一个所述第 二分割信 息, 得到至 少一个信息对, 所述信息对包括一个所述第一分割信息和与一个所述第一分割信息匹配的 一个第二分割信息; 以及 根据所述信 息对中所述第 一分割信 息与所述第二分割信 息之间的差异, 对所述信 息分 割模型和所述 查询特征进行训练。权 利 要 求 书 2/6 页 3 CN 115546488 A 3

PDF文档 专利 信息分割方法、信息提取方法和信息分割模型的训练方法

文档预览
中文文档 28 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共28页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 信息分割方法、信息提取方法和信息分割模型的训练方法 第 1 页 专利 信息分割方法、信息提取方法和信息分割模型的训练方法 第 2 页 专利 信息分割方法、信息提取方法和信息分割模型的训练方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:00:15上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。