(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211257869.5 (22)申请日 2022.10.14 (71)申请人 成都数之联科技股份有限公司 地址 610000 四川省成 都市武侯区锦绣 街8 号2层270号 (72)发明人 不公告发明人 　 (51)Int.Cl. G06F 40/205(2020.01) G06F 40/30(2020.01) G06F 16/33(2019.01) G06K 9/62(2022.01) (54)发明名称 一种语义检索的召回和排序联合训练方法 及系统 (57)摘要 本发明提供一种语义检索的召回和排序联 合训练方法及系统， 涉及信息检索技术领域， 所 述方法包括： 基于查询文本和检索文本建立召回 和排序联合模 型， 使双塔模型和单塔模型输出分 布拟合； 基于查询文本对召回和排序联合模型进 行无监督训练； 基于查询文本和检索文本对召回 和排序联合模 型进行有监督训练； 通过召回和排 序联合模型的双塔模型生 成难负样 本； 迭代训练 召回和排序联合模型。 本发明通过双塔模型和单 塔模型的联合训练， 拟合双塔模 型和单塔模型的 数据输出分布， 提升语义检索中双塔模型的查全 率； 通过提升查全率， 在查全率相同的情况下， 减 少单塔模型的计算 量， 提升语义检索性能。 权利要求书3页 说明书9页 附图2页 CN 115329749 A 2022.11.11 CN 115329749 A 1.一种语义检索的召回和排序联合训练方法， 其特 征在于， 所述方法包括以下步骤： 基于查询文本和检索文本建立召回和排序联合模型， 使召回和排序联合模型的双塔模 型和单塔模型输出分布拟合； 基于查询文本对召回和排序联合模型进行 无监督训练； 基于查询文本和检索文本对召回和排序联合模型进行有监 督训练； 将查询文本输入有监督训练之后的召回和排序联合模型， 通过召回和排序联合模型的 双塔模型生成正样本和难负 样本； 基于正样本和难负 样本迭代训练召回和排序联合模型。 2.根据权利要求1所述的一种语义检索的召回和排序联合训练方法， 其特征在于， 使召 回和排序联合模型的双塔模型和单塔模型输出分布拟合的流 程如下： 通过双塔模型对查询文本q=Text1和检索文本p=  Text2分别进行文本特征提取， 得到 文本特征 、 ； 计算查询文本q=Text1和检索文本p=  Text2的双塔模型相似度 ： 其中， 为查询文本q=Text1和检索文本p=  Text2的向量内积， 为激活函数； 通过单塔模型对查询文本q=Text1和检索文本p=  Text2进行特殊字符拼接， 并且对特 殊字符拼接结果Text1+  Text2进行文本特 征提取， 得到文本特 征 ； 计算查询文本和检索文本的单塔模型相似度 ： 其中， 为特殊字符拼接结果Text1+  Text2的1维向量， 为激活函数； 基于双塔模型相似度 和单塔模型相似度 计算召回和排序联合模型的 总损失 ， 使得双塔模型和单塔模型输出分布拟合。 3.根据权利要求2所述的一种语义检索的召回和排序联合训练方法， 其特征在于， 计算 召回和排序联合模型的总损失 的流程如下： 计算双塔模型的模型损失 ：  计算单塔模型的模型损失 ：  计算双塔模型和单塔模型的输出分布的欧拉距离 ：  基于模型损失 、 模型损失 以及欧拉距离 计算总损失 ， 并且进行模型权　利　要　求　书 1/3 页 2 CN 115329749 A 2反向传播： 其中， N表示训练样本的数量， 表示与查询文本q相关的检索 文本， 表示与查询文本 q不相关的检索 文本； 表示边界 （0， 1） ， Q表 示查询样 本q的数量， 即为N， 表示对应检 索文本的数量。 4.根据权利要求1所述的一种语义检索的召回和排序联合训练方法， 其特征在于， 基于 查询文本对召回和排序联合模型进行 无监督训练的流 程如下： 将两个查询文本q=Text1=Text2输入双塔模型， 并且通过双塔模型对查询文本Text1、 Text2分别进行文本特 征提取， 得到文本特 征 、 ； 计算查询文本Text1、 Text2的双塔模型相似度 ， 如果两个查询文本 Text1、 Text2相同， 则对应的两个查询文本Text1、 Text2为正样 本， 反之， 则对应的两个查询 Text1、 Text 2文本为负 样本； 将两个查询文本Text1、 Text2进行特殊字符拼接， 并且对特殊字符拼接结果Text1+   Text2进行文本特 征提取， 得到文本特 征 ； 计算两个查询文本Text1、 Text 2的单塔模型相似度 ； 基于正样本和负样本计算双塔模型的模型损失 以及单塔模型的模型损失 ， 并且进行模型反向传播。 5.根据权利要求1所述的一种语义检索的召回和排序联合训练方法， 其特征在于， 基于 查询文本和检索文本对召回和排序联合模型进行有监 督训练的流 程如下： 将查询文本q、 与查询文本q相关的检索文本 作为正样本， 将查询文本q、 与查询文本q 不相关的检索文本 作为负样本； 基于正样本和负样本计算双塔模型的模型损失 以及单塔模型的模型损失 ， 并且进行模型反向传播。 6.根据权利要求1所述的一种语义检索的召回和排序联合训练方法， 其特征在于， 通过 召回和排序联合模型的双塔模型生成正样本和难负 样本的流 程如下： 通过双塔模型对检索文本p进行文本特征提取， 得到文本特征 、 、…、 ； 通过双塔模型对查询文本q进行文本特 征提取， 得到文本特 征 ； 分别计算查询文本q与若干检索文本p的向量内积 、 、…、 ， 并且对若干向量内积进行排序； 基于向量内积的排序选取前 的检索文本 、 、…、 ， 将查询文本q和检索文本 、 、…、 分别组合， 作为难负 样本。 7.根据权利要求6所述的一种语义检索的召回和排序联合训练方法， 其特征在于， 基于 正样本和难负 样本迭代训练召回和排序联合模型的流 程如下： 将查询文本q、 与查询文本q相关的检索文本 作为正样本， 将查询文本q和检索文本 、 、…、 分别组合， 作为难负 样本；权　利　要　求　书 2/3 页 3 CN 115329749 A 3