(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210779720.7 (22)申请日 2022.07.04 (71)申请人 广西师范大学 地址 541004 广西壮 族自治区桂林市七 星 区育才路15号 (72)发明人 王金艳　韦岳岑　颜东琪　傅星珵　 李先贤　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 覃永峰 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于异构图神经网络隐私保护的社会影响 预测方法和系统 (57)摘要 本发明公开了一种基于异构图神经网络隐 私保护的社会影响预测方法， 包括如下步骤： 步 骤一： 定义异构图中代表语义信息的元路径， 根 据元路径游走将异构图上的多关联信息规约生 成到同构图中； 步骤二： 基于差分隐私引入注意 力敏感度以生成高斯噪声， 将噪声同节点学习结 果聚合到节点嵌入中； 步骤三： 将受保护的节点 特征与原始 图结构一起用于异构图的结构隐私 保护学习， 为每个类型的边生成关系子图； 步骤 四： 扰动图拓扑学习的梯度， 切割边界设置为梯 度均值； 步骤五： 利用双层优化机制分配隐私保 护力度， 以保障社会影 响预测的效果； 步骤六： 重 新构建图拓扑结构， 输出重构 的图。 这种方法能 够在异构图神经网络中保护用户隐私并获得较 好的模型性能。 权利要求书3页 说明书7页 附图2页 CN 115146312 A 2022.10.04 CN 115146312 A 1.一种基于异构图神经网络隐私保护的社会影响预测方法， 其特征在于， 包括如下步 骤： 步骤一： 定义异构图中代表语义信息的元路径， 根据元路径游走将异构图上的多关联 信息规约生成到同构图中， 学习节点邻居和语义关系图的注意力系数： 在社交网络中， 为了捕获异构图G＝(V,E,φ, ψ )上的语义信息， 节点序列将根据头尾节 点类型相同的元路径m完全游走， 只要节点在服从元路径的同时有边， 则将 头尾节点视为有 关联性， G中V为节点集， 每个节点v∈V属 于节点类型集合A； E为边集， 每条边e∈E属于边类 型集合R； φ(v):V →A是节点的关系映射函数， 表 示节点与节 点类型的对应， ψ(e):E →R是边 的关系映射函 数， 表示边与边类型的对应， G的节点类型ai∈A(i＝1,2,...,N)和边类型ri∈ R(i＝1,2,...,N)构成的序列称为元路径 其中ai＝φ(vi)， ri＝ψ (ei)＝ ψ(<vi,vi+1>)； 节点和语义的多方面注意力学习具体为： 首先， 各类型节点特 征向量映射到统一的空间后， 第l层的向量表示 为： 其次， 在同构图上利用注意力机制Multi ‑Head(x,y,m)学习用户类型节点间各节点及 其邻居的依赖程度， 其中每个headi(i＝1,2,...,8)分别关注不同方面的信息， 经过聚合各 方面学习到在元路径m上关于节 点x和节点y之间的权重W(uv； m)， 最后并将注 意力系数量化得 到注意力得分： 为了让节点学习能注意到更多方面的信息， K头注意力信息拼接作为在节点注意力的 向量表示以减少信息损失， 获得 K头注意力系数和节点在第l+1层的向量表示： 最后， 拼接 M个语义关系图上 学习到的节点表示： 通过多层感知机计算子图的向量表示作为语义注意力， 并归一 化： 步骤二： 基于差分隐私引入注意力敏感度以生成高斯噪声， 将噪声 同节点学习结果聚 合到节点嵌入中以保护节点特 征： 基于差分隐私的定义， 两个邻居数据集D和D ′只相差一条记录， 任意一个查询函数 对 于查询该记录的注意力敏感度为： 在定义的噪声生成方式中， 特征融合了邻居和语义的影响力， Gaussian 噪声满足(∈f, δ )‑DP加入到特 征学习中为：权　利　要　求　书 1/3 页 2 CN 115146312 A 2步骤三： 将受保护的节点特征与原始图结构一起用于异构图的结构隐私保护学习， 为 每个类型的边 生成关系子图， 学习节点在该关系上的嵌入和关系图中每条边的得分： 这一部分将通过编码器的学习， 完成对图拓扑结构的隐私保护， 定义一个简单的关系 图卷积网络模型来适应异质数据， 即每类边对应一个关系 卷积网络模型来学习节点表示， 输入各个类型扰动的节点的特征矩阵和关系矩阵， 模型及节点在每个关系子图第l+1层的 表示为： 最后通过聚合得到节点在异构图下的向量表示， 为了能够让模型学到已知知识以外的 信息， 编码器学习中结合了重参数技巧， 模型将学到一种样本 分布， 学习到的样本表征服从 高斯分布Pn， 期望为 μr＝HeteGCNμ(X,Ar)， 标准差为 编码器的输入 为节点特征 和r个关系矩阵Ar， 解码器用于计算关系图中每条边的得分， 编码器和解 码器定义 为： 为了挖掘各类型节点间的内在依赖关系， 计算各边得分时结合了无监督学习， 故解码 时同时计算了负样 本边的得分， 负采样机制将为图中某 一节点对(u,v)从任意分布Pn(v)中 采样k个负样本v ′形成负样本对(u,v ′)， 并希望(u,v)的得分要高于(u,v ′)， 故负采样函数 和计算训练中的交叉熵损失为： 损失计算进一步融合了KL散度， 在计算真实图与生成图之间的差异时降低计算损失， 最终损失函数为： 步骤四： 扰动图拓扑 学习的梯度， 切割边界即噪声敏感度设置为梯度均值： 每次训练反向传播后得到梯度 在以切割边界为C的梯度切割后向梯度中注入满 足(∈s, δ )‑DP的拓扑Gaus sian噪声， 其中敏感度 扰动后的梯度为： 步骤五： 利用双层优化机制分配隐私保护力度， 以保障社会影响预测的效果， 隐私预算 分配要求整 体异构图上的保护机制满足∈＝∈f+∈s， 分别通过固定∈s调整∈f和固定∈f调 整∈s来最大化社会影响预测即最小化训练损失： 权　利　要　求　书 2/3 页 3 CN 115146312 A 3