(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211402800.7 (22)申请日 2022.11.10 (71)申请人 中国测绘科 学研究院 地址 100036 北京市海淀区莲 花池西路28 号 (72)发明人 赵习枝　仇阿根　张福浩　罗宁　 朱鹏　陶坤旺　方美丽　陈才　 郑佳荣　陈颂　刘尚钦　 (74)专利代理 机构 北京睿派知识产权代理有限 公司 11597 专利代理师 刘锋 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/335(2019.01) G06F 40/242(2020.01)G06F 40/279(2020.01) G06F 40/30(2020.01) (54)发明名称 一种政务文本的主题信息提取方法及存储 介质 (57)摘要 一种政务文本的主题信息提取方法及存储 介质， 其中所述方法， 首先对非结构化的政务文 本数据进行预处理， 对预处理后的文本数据， 采 用MacBERT模型进行字向量提取； 然后通过Bi GRU 模型捕捉句子中的语义信息， 得到关键词的高级 特征向量； 最后计算关键词重要性， 对关键词重 要性降序排列， 选取重要性较高的关键词作为主 题信息关键词， 实现政务文本的主题信息提取。 本发明在于结合MacBERT模型和BiGRU模型对非 结构化的政务文本数据进行主题信息提取， 不仅 减小模型过拟合风险， 而且能够很好的提取关键 词高级特征， 获得更准确的主题信息关键词， 帮 助政府部门快速地挖掘分析非结构化文本 。 权利要求书2页 说明书5页 附图1页 CN 115455155 A 2022.12.09 CN 115455155 A 1.一种政务文本的主题信息提取 方法， 其特 征在于， 包括如下步骤： 数据预处 理步骤S1 10: 对非结构化的政务文本数据进行预处理， 所述预处理包括过滤掉无关信息， 并对所述 文本数据进行分词处 理； 文本特征向量提取与处 理步骤S120： 对预处理后的所述政务文本信息数据， 采用MacBERT模型进行字向量提取， 获取关键字 特征向量， 然后将所述关键字特征向量作为输入， 通过BiGRU模型捕捉句子中的语义信息， 优化特征向量， 得到关键词的高级特 征向量； 获得主题信息步骤S130： 接收在步骤S120中所提取的关键词的高级特征向量， 计算关 键词重要性， 对关键词重要性降序排列， 选取重要性高的关键词作为主题信息关键词， 实现 政务文本的主题信息提取。 2.根据权利要求1所述的主题信息提取 方法， 其特 征在于： 所述预处理具体包括： 删除标点符号和空格， 在政务文本数据中引入领域词典， 对数据 作分词处理， 利用通用停用 词库进行停用 词过滤， 去掉分词后的政务文本数据中对应的停 用词。 3.根据权利要求2所述的主题信息提取 方法， 其特 征在于： 所述政务文本信息数据包括非结构化的政务文本数据， 具体为： 描述辖区建设和辖区 健康管理 统计监察情况等信息的自然 文本语言。 4.根据权利要求1所述的主题信息提取 方法， 其特 征在于： 在步骤S120中， 所述BiGRU模型为 一种双向的改进的循环神经网络 。 5.根据权利要求 4所述的主题信息提取 方法， 其特 征在于： 所述BiGRU模型包括正向GRU模型   和反向GRU模型 ， 其中正向GRU模型 中对关键字特征向量采用正向输入即 ， 反向GRU模型 对关键字特 征向量采用反向输入即 ， 每个GRU模型 ， 由更新门 和重置门 构成， GRU模型内部的信息传播过程 如下式： 其中， 为向量输入， 为重置门 的权重矩阵， 为更新门 的权重矩阵， 为现 在信息 的权重矩阵， 为逐元素相乘， 为sigmoid函数， 为双曲正切函数， 现在 信息 由过去信息 与当前输入 共同决定， 为 时刻的信息 输出， 包含过去信息 和权　利　要　求　书 1/2 页 2 CN 115455155 A 2现在信息 ， 更新门 用来控制当前的状态需要遗忘多少历史信息和接受多少新信息， 重 置门 用来控制候选状态中有 多少信息是从历史信息中得到； 最终， 所述BiGRU模型的输出 由以下公式定义得 出： 其中， 为正向GRU模型输出， 为反向GRU模型输出， 表示 时刻 所对应的权重， 表示 所对应的权 重， 表示 时刻 所对应的偏置项。 6.根据权利要求5所述的主题信息提取 方法， 其特 征在于： 在步骤S120中， 由MacBERT模型进行字向量提取， 提取出的所述字向量通过双向的GRU 模型提取 出上下文特征， 拼接生成关键词的高级特 征向量。 7.根据权利要求1所述的主题信息提取 方法， 其特 征在于： 主题信息关键词重要性 P通过sigmo id函数获得， 其中0 <P<1： 其中， 是 的权重矩阵， 是 的偏置项。 8.根据权利要求7 所述的主题信息提取 方法， 其特 征在于： 对每个主题信息关键词的重要性 P按从大到小排序， 选取 前八个作为主题信息关键词。 9.一种存 储介质， 用于存 储计算机可 执行指令， 其特 征在于： 所述计算机可执行指令在被处理器执行时执行权利要求1 ‑8中任意一项所述的政务文 本主题信息提取 方法。权　利　要　求　书 2/2 页 3 CN 115455155 A 3