(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210760895.3 (22)申请日 2022.06.30 (71)申请人 中国人民解 放军战略支援 部队信息 工程大学 地址 450000 河南省郑州市高新区科 学大 道62号 (72)发明人 胡学先　李可佳　陈越　魏江宏　 杨鸿健　徐阳　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 周艳巧 (51)Int.Cl. G06F 21/62(2013.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 基于主成分分析和函数机制的差分隐私线 性回归方法及系统 (57)摘要 本发明属于隐私保护的机器学习技术领域， 特别涉及一种基于主成分分析和函数机制的差 分隐私线性回归 方法及系统， 对训练数据集进行 切分， 依据训练属性值构建特征矩阵及标签向 量， 向特征矩阵的协方差矩阵中注入噪声扰动， 并基于主成分分析将特征矩 阵投影到主成分空 间， 依据投影矩阵来获取降维数据集； 利用降维 数据集进行模 型训练， 在模型训练的线性回归目 标函数中添加噪声扰动， 对扰动后的目标函数进 行最优化求解来获取模型训练的最优模型参数。 本发明在降低差分隐私线性回归全局敏感度的 同时， 能够提高训练优化后模型的适用性。 并进 一步通过仿真实验表明， 本案方案所训练的线性 回归模型能够在有效避免隐私泄露的同时， 具有 良好的可用性。 权利要求书2页 说明书5页 附图3页 CN 114969829 A 2022.08.30 CN 114969829 A 1.一种基于主成分分析和函数机制的差分隐私线性回归方法， 其特征在于， 包含如下 内容： 对训练数据集进行切分， 依据训练属性值构建特征矩阵及标签向量， 向特征矩阵的协 方差矩阵中注入 噪声扰动， 并基于主成分分析将特征矩阵投影到主成分空间， 依据投影矩 阵来获取降维数据集； 利用降维数据集进行模型训练， 在模型训练的线性回归目标函数中添加噪声扰动， 对 扰动后的目标函数进行最优化 求解来获取模型训练的最优 模型参数。 2.根据权利要求1所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 向特征矩阵中注入 噪声扰动中， 利用对称 高斯噪声矩阵作为向协方差矩阵添加扰 动的噪声矩阵， 通过协方差矩阵和噪声矩阵来获取扰动 后的协方差矩阵。 3.根据权利要求1或2所述的基于主成分分析和函数机制的差分隐私线性 回归方法， 其 特征在于， 基于主成分分析来获取降维数据集中， 首先对扰动后的协方差矩阵进行特征值 分解， 得到特征值和特征向量； 然后， 确定主成分空间， 并通过将特征矩阵投影到主成分空 间来获取投影矩阵。 4.根据权利要求3所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 确定主成分空间中， 首先， 设置指定主成分特征值的比重阈值， 依据主成分特征值 的累积贡献率是否超过比重阈值来确定目标维度大小； 依据目标维度大小来选取特征值对 应的特征向量， 有选取的特 征值对应的特 征向量组成主成分空间。 5.根据权利要求4所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 确 定目标维度大小的过程表示为： 其中， per为累积贡献率， θ为比 重阈值， k 为待确定的目标维度， 为主成分特 征值， n为主成分特 征值个数。 6.根据权利要求1所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 投影矩阵表示为： 其中， X为特征矩阵， 为主成分空间； 降维数据集由投影 矩阵和标签向量 拼接而成。 7.根据权利要求1所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 模型训练中， 线性回归目标函数展开为二次多项式形式， 并在展开的二次多项式形 式中添加随机扰动噪声； 并对添加扰动噪声的目标函数进行最优求 解。 8.根据权利要求7所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 目标函数展开的二次多项式形式表示为： 其中， 表示模型参数ω的所有S次单项式组成集合， 实数 表 示对应于单项式 的系数， 表示降维数据集。 9.根据权利要求7所述的基于主成分分析和函数机制的差分隐私线性回归方法， 其特 征在于， 在展开的二次多 项式形式 中添加的扰动噪声为 服从 高斯分布的随机噪声。 10.一种基于主成分分析和函数机制的差分隐私线性回归系统， 其特征在于， 包含： 数权　利　要　求　书 1/2 页 2 CN 114969829 A 2据处理模块和模型训练模块， 其中， 数据处理模块， 用于对训练数据集进行切分， 依据训练属性值构建特征矩阵及标签向 量， 向特征矩阵的协方差矩阵中注入噪声扰动， 并基于主成分分析将特征矩阵投影到主成 分空间， 依据投影矩阵来获取降维数据集； 模型训练模块， 用于利用降维数据集进行模型训练， 在模型训练的线性回归目标函数 中添加噪声扰动， 对扰动 后的目标函数进行最优化 求解来获取模型训练的最优 模型参数。权　利　要　求　书 2/2 页 3 CN 114969829 A 3