(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211383959.9 (22)申请日 2022.11.07 (71)申请人 华东交通大 学 地址 330000 江西省南昌市青山湖区双港 东大街808号 (72)发明人 熊汉卿　阙越　谭林丰　郝书乐　 (74)专利代理 机构 南昌大牛知识产权代理事务 所(普通合伙) 36135 专利代理师 郑剑文 (51)Int.Cl. G06F 40/258(2020.01) G06F 16/34(2019.01) G06N 3/08(2006.01) (54)发明名称 文章标题生成方法、 装置、 存储介质及电子 设备 (57)摘要 本发明提供一种文章标题生成方法、 装置、 存储介质及电子设备， 该生成方法包括： 根据文 本摘要算法从目标文章中提取目标摘要； 基于预 训练的标题 生成模型和目标摘要， 生成第一候选 文章标题； 基于标题生成模型和目标文章， 生成 第二候选文章标题； 计算第一候选文章标题和第 二候选文章标题的标题匹配度， 根据标题匹配度 从第一候选文章标题中确定目标文章标题。 本发 明将标题生成模型和目标摘要生成的第一候选 文章标题和标题生成模型和目标文章生成的第 二候选文章标题进行匹配计算， 根据匹配计算结 果从第一候选文章标题中得到贴合目标文章内 容的标题作为目标文章标题， 从而提高文章标题 生成的精确度。 权利要求书2页 说明书8页 附图3页 CN 115438654 A 2022.12.06 CN 115438654 A 1.一种文章标题生成方法， 其特 征在于， 包括以下步骤： 根据文本摘要算法从目标文章中提取目标摘要； 基于预训练的标题生成模型和所述目标摘要， 生成第一 候选文章标题； 基于所述标题生成模型和所述目标文章， 生成第二 候选文章标题； 计算所述第 一候选文章标题和所述第 二候选文章标题的标题匹配度， 根据所述标题匹 配度从所述第一 候选文章标题中确定目标文章标题； 所述标题生成模型的训练方法包括以下步骤： 获取训练用的原 始文本集， 所述原 始文本集包括原 始文章和原 始标题； 对所述原始文本集进行预处理， 得到格式规范的输入数据， 所述预处理为将所述原始 文本集的格式统一 化处理； 将预处理后的输入数据向改良后的GPT ‑2模型输入并进行训练， 所述改良后的GPT ‑2模 型为在GPT ‑2模型的下游增 加FC层， 得到预训练的标题生成模型。 2.根据权利要求1所述的文章标题生成方法， 其特征在于， 计算所述第 一候选文章标题 和所述第二候选文章标题的标题匹配度， 根据所述标题匹配度从所述第一候选文章标题中 确定目标文章标题的步骤 包括： 计算所述第 一候选文章标题和所述第 二候选文章标题的标题匹配度， 将与 所述第二候 选文章标题匹配度最高的所述第一 候选文章标题作为目标文章标题。 3.根据权利要求1所述的文章标题生成方法， 其特征在于， 计算所述第 一候选文章标题 和所述第二候选文章标题的标题匹配度， 根据所述标题匹配度从所述第一候选文章标题中 确定目标文章标题的步骤 包括： 计算所述第 一候选文章标题和所述第 二候选文章标题的标题匹配度， 以及计算所述第 一候选文章标题的标题通 顺度； 根据所述标题匹配度和所述标题通 顺度确定所述第一 候选文章标题的目标文章标题。 4.根据权利要求1所述的文章标题生成方法， 其特征在于， 将预处理后的输入数据向改 良后的GPT ‑2模型输入并进行训练， 得到预训练的标题生成模型的步骤 包括： 向改良后的GPT ‑2模型中输入所述输入数据， 所述改良后的GPT ‑2模型输出每个预测的 token值， 根据所述预测的token值和原始token值计算所述 改良后的GPT ‑2模型的损失值， 根据所述损失值 不断优化所述改良后的GPT ‑2模型， 得到预训练的标题生成模型。 5.根据权利要求1所述的文章标题生成方法， 其特征在于， 所述根据文本摘要算法从 目 标文章中提取目标摘要的步骤 包括： 计算目标文章的总字符长度和句子数量， 根据所述目标文章的总字符长度和所述句子 数量计算摘要长度； 使用Text Rank算法计算所述目标文章中每句话占整篇所述目标文章的权重， 按照 权重 顺序降序排序， 根据所述权重顺序和所述摘要长度选取目标句 子， 再根据所述目标句 子在 所述目标文章中的顺序拼接成目标摘要。 6.根据权利要求1所述的文章标题生成方法， 其特征在于， 所述基于所述标题生成模型 和所述目标文章， 生成第二 候选文章标题的步骤为： 向预训练的标题生成模型中导入目标文章， 得到预测标题列表； 对所述预测标题列表中的各个预测标题通过Kenlm计算困惑度， 将各个所述预测标题权　利　要　求　书 1/2 页 2 CN 115438654 A 2的困惑度升序排序， 将所述预测标题困惑度小于预设困惑度的所述预测标题作为第二候选 文章标题。 7.一种文章标题生成装置， 其特 征在于， 所述装置包括： 提取模块， 用于根据文本摘要算法从目标文章中提取目标摘要； 第一生成模块， 用于基于预训练的标题生成模型和所述目标摘要， 生成第一候选文章 标题； 第二生成模块， 用于基于所述标题生成模型和所述目标文章， 生成第二 候选文章标题； 计算模块， 用于计算所述第一候选文章标题和所述第二候选文章标题的标题匹配度， 根据所述标题匹配度从所述第一 候选文章标题中确定目标文章标题； 所述标题生成模型的训练方法包括以下步骤： 获取训练用的原 始文本集， 所述原 始文本集包括原 始文章和原 始标题； 对所述原始文本集进行预处理， 得到格式规范的输入数据， 所述预处理为将所述原始 文本集的格式统一 化处理； 将预处理后的输入数据向改良后的GPT ‑2模型输入并进行训练， 所述改良后的GPT ‑2模 型为在GPT ‑2模型的下游增 加FC层， 得到预训练的标题生成模型。 8.一种存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时实现如 权利要求1至 6中任一项所述的文章标题生成方法。 9.一种电子设备， 包括存储器、 处理器以及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6 中任一项所述的文章标题生成方法。权　利　要　求　书 2/2 页 3 CN 115438654 A 3