(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210653137.1 (22)申请日 2022.06.09 (71)申请人 石家庄铁道大 学 地址 050000 河北省石家庄市北二环东路 17号 (72)发明人 王书海　彭浩　陈扬　刘欣　 王壬欢　刘明瑞　唐翊群　 (74)专利代理 机构 成都帝鹏知识产权代理事务 所(普通合伙) 5126 5 专利代理师 李华 (51)Int.Cl. G06F 16/23(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/20(2019.01) (54)发明名称 一种联邦学习的专家研究兴趣实时在线预 测更新方法 (57)摘要 本发明公开一种联邦学习的专家研究兴趣 实时在线预测更新方法， 包括步骤： 每个参与方 分别在本地提取专家文本信息进行建模， 获得语 义信息与时间信息； 利用文本卷积神经网络模型 对专家特征进行学习， 引入自注 意力机制加强文 本的语义信息， 学习时间信息； 采用 横向联邦学 习的方式， 在各参与方在本地进行模型的训练 后， 提交训练参数到全局服务器， 使用联邦匹配 平均算法进行优化， 加入了分层匹配与通信机 制， 服务器进行参数的全局聚合， 并将全局参数 返还给各本地模型， 并对本地模型进行更新； 通 过对训练文本卷积神经网络模型得到的编码向 量进行聚类得到专家研究兴趣。 本发 明解决了数 据孤岛问题， 保护了数据隐私， 提高了对专家研 究兴趣预测的精准度。 权利要求书3页 说明书6页 附图3页 CN 114969078 A 2022.08.30 CN 114969078 A 1.一种联邦学习的专 家研究兴趣实时在线预测更新方法， 其特 征在于， 包括 步骤： S10,面对各地异质且非公开人才专家库的专家信 息数据， 每个参与方分别在本地提取 专家文本信息进行建模， 获得语义信息与时间信息； S20； 利用文本卷积神经网络模型对专家特征进行学习， 同时引入自注意力机制加强文 本的语义信息， 并学习时间信息； S30,采用横向联邦学习的方式， 在各参与方在本地进行模型的训练后， 提交训练参数 到全局服务器， 使用联邦匹配平均算法进 行优化， 加入了 分层匹配与通信机制， 服务器进 行 参数的全局聚合， 并将全局参数返还给 各本地模型， 并对本地模型进行 更新； S40,通过对训练文本卷积神经网络模型 得到的编码向量进行聚类得到专 家研究兴趣。 2.根据权利要求1所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其特 征在于， 在所述步骤S10中， 面对各地异质且非公开人才专家库的专家信息数据， 每个参与 方分别在本地 提取专家文本信息进行建模， 获得语义信息与时间信息， 包括 步骤： S11,面对各地异质且非公开人才专家库的专家信 息数据， 每个参与方分别在本地提取 专家文本信息包括专家个人学术经历信息、 专家发表论文信息、 专家参与项目信息和专家 获得奖项信息； S12,将专家个人学术经历、 专家发表论文信息、 专家参与项目信息和专家获得奖项信 息以文档的形式输入到词向量模型中进行训练， 进行 统一编码得到词向量包括语义信息向 量x与时间戳信息t。 3.根据权利要求2所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其特 征在于， 所述词向量模型采用W ord2vec预训练模型。 4.根据权利要求1所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其特 征在于， 在所述 步骤S20中， 利用文本卷积神经网络模型对专 家特征进行学习， 包括 步骤： S211,对文本语义信息进行表示， 将文本信息分割为句子， 一句话共n个词语， 每个词语 是一个k维向量， 得到的词向量矩阵表示 为： 其中， 是串联运 算符， 让X1:n成为单词Xi的串联； S212,使用滤波器对每 个单词生成特 征ci， 表示为： ci＝f(w·xi:i+h‑1+b)； 其中， h是 滤波器的高度， b是一个偏置项， w是权 重， f是一个非线性 函数； S213,由得到的词特 征c， 生成句子特 征表示为： c＝[c1,c2,...,cn‑h+1]； S214,在文本卷积神经网络的倒数第二层使用dropout进行正则化， 最终输出为： 其中， w是正则化权重， z是句子特征集合， 是逐位乘运算符， r是伯努利随机变 量滤波器 的高度， b是一个偏置项。 5.根据权利要求1或4所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其 特征在于， 在所述步骤S20中， 采用多头自注意力机制加强语义信息表示与学习时间信息， 包括步骤：权　利　要　求　书 1/3 页 2 CN 114969078 A 2S221,对于每个语义信息向量x， 都有一个时间戳信息t与之相对应， 将时间戳信息t加 入到词向量语义中， 得到新的特 征矩阵Y(x， t)； S222,对每个句子与其相邻句子之间进行相似系数计算， 归一 化之后得到注意力系数； S223,根据所得到的注意力系数， 融合邻域信息， 并与句子的原有特征进行 聚合形成新 特征； S224,引入多头自注意力机制， 同时使用多个共享参数W， 将多个新生成的句子的表达 合并为一个， 得到带有时间戳的信息编码。 6.根据权利要求1所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其特 征在于， 在所述步骤S 30中， 采用联邦学习平均算法对提取到的具有相似特征的 隐元素进 行 匹配和平均， 按层构建共享全局模型。 7.根据权利要求6所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其特 征在于， 在每次迭代中， 先根据给定的权值矩阵估计找到对应的全局模型， 然后根据 匈牙利 算法将全局模型和客户端上的局部神经 元进行匹配， 得到新的拓展全局模型， 包括 步骤： S321,对神经网络的参数求平均值之前找到其参数的排列， 将具有相似特征的神经元 权重合并； S322,给定递增函数， 对联邦平均算法进行优化得到优化后的平均匹配公式为： 其中： L代表隐藏层的节点数目， c(wjl, θi)代表客户端j上学习到的第l个神经元与全局 服务器模型中的第i个神经元 之间的相似性关系， f(i)代表递增函数， σ 代表阈值， 代表参 数的排列； S323,给定J个客户端提供的权 重Wj， 1， Wj， 2计算出联邦神经网络 权重: S324,分层进行匹配， 最终聚合得 出模型更新参数。 8.根据权利要求7所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其特 征在于， 如果最优匹配的代价大于 设定阈值， 不进 行匹配， 而在相应的局部神经元创建一个 新的全局 神经元。 9.根据权利要求7或8所述的一种联邦学习的专家研究兴趣实时在线预测更新方法， 其 特征在于， 所述分层进行匹配方案， 包括 步骤： S331， 全局服务器只从客户端收集第一层的权重， 并执行前面描述的单层匹配以获取 联邦模型的第一层权 重； S332， 全局服务器将获得的联邦模型的第一层权重广播给客户端， 客户端继续对其数 据集上的所有连续层进行训练， 并保持联邦匹配层处于冻结状态； S333， 将此过程不断重复， 直至最后一层； 对最后一层， 根据每个客户端数据点的类别权　利　要　求　书 2/3 页 3 CN 114969078 A 3