(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210821237.0 (22)申请日 2022.07.13 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 孙哲　殷丽华　王思敏　方滨兴　 韩伟红　张美范　李然　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06F 21/62(2013.01) G06K 9/62(2022.01) (54)发明名称 一种多模态数据融合训练中的隐私参数优 化方法 (57)摘要 本发明公开了一种多模态数据融合训练中 的隐私参数优化方法， 包括以下步骤： S1： 客户端 用户对隐私保护效果进行设定； S2： 客户端针对 文本、 图像、 音频的各类型数据使用对应的隐私 保护方法进行脱敏处理， 对脱敏处理后的数据进 行单独模态的分类训练； S3： 得出包含敏感数据 准确率和非敏感数据准确率的各模态的分类准 确率， 判断敏感数据准确率是否满足用户需求； S4： 基于权重自分配算法完成信息融合， 得出最 终的目标分类结果及敏感信息分类结果accns， accs； S5： 服务器分别对敏感及非敏感数据分类 结果进行评估。 本发明提供的隐私参数优化方 法， 可有效提高分类结果的准确性， 在满足用户 隐私保护需求的前提下达 到最佳准确率。 权利要求书2页 说明书5页 附图3页 CN 115310122 A 2022.11.08 CN 115310122 A 1.一种多模态数据融合训练中的隐私参数优化方法， 其特 征在于， 包括以下步骤： S1： 客户端用户对隐私保护效果进行设定； S2： 客户端针对文本、 图像、 音频的各类型数据使用对应的隐私保护方法进行脱敏处 理， 对脱敏处 理后的数据进行 单独模态的分类训练， 得到目标训练结果ac cT， accA， accV； S3： 得出包含敏感数据准确率和非敏感数据准确率的各模态的分类准确率， 进行局部 反馈判断敏感数据准确率是否满足用户需求； 若敏感数据准确率高于用户设定的敏感数据 准确率上限， 则分别记录并调整当前文本、 音频、 图像的隐私参数θt， ∈， θ 回退至步骤S2， 根 据调整情况记录θtmin， ∈max， θmin； 若敏感数据准确 率满足用户需求则将加入隐私保护后的 数据及分类结果上传至服 务器； S4： 基于权重自分配算法完成信息融合， 得出最终的目标分类结果及敏感信息分类结 果accns， accs； S5： 服务器分别对敏感及非敏感数据分类结果进行评估， 根据评估结果向客户端进行 整体反馈， 调整并记录隐私参数， 回退到步骤S2。 2.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述步骤S1中所述设定包括设定敏感信息保护项目和用户可接受的分类器对设定敏感信息 识别准确率的阈值。 3.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述步骤S2中所述脱敏处理需缓存当前脱敏数据， 并处理后期步骤提供的反馈信息， 所述脱 敏处理包括以下模块： 文本脱敏模块、 音频脱敏模块、 图像脱敏模块。 4.根据权利要求3所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述文本脱敏模块包括以下操作： 设置隐私参数θt， 为每个敏感词类型分配一个敏感词库， 以 隐私参数θt为比重， 将采集的文 本数据与 θt比例的敏感词库进行对照， 若符合则对该敏感词 进行替换， 替换为无关信息， 并将原始信息保留， 用于接受反馈后进行处理； 若局部反馈高 于用户设置 的敏感信息识别准确率阈值， 则将文本敏感词范围参数θt调大， 并将原始参数 记录为下限θtmin， 利用原始数据重新进行脱敏处 理。 5.根据权利要求3所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述音频脱敏模块通过差 分隐私机制， 根据隐私预算参数为音频添加基于差 分隐私的高斯噪 声， 并将原始信息保留， 用于接收反馈后进 行处理， 若局部反馈高于用户设置的敏感信息识 别准确率阈值， 则将音频的 隐私预算参数∈调小， 并将原始 参数记录为上限∈max， 利用原始 数据重新添加高斯噪声。 6.根据权利要求3所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述图像脱敏模块根据隐私预算参数通过对抗算法对图像特征方面进行加噪， 并将原始数据 保留， 用于接受反馈后进 行处理， 若局部反馈高于用户设置的敏感信息识别准确率阈值， 则 将图像的扰动参数θ调大， 并将原 始参数记录为下限θmin， 利用原始数据重新加噪。 7.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述步骤S3中调整记录的操作若为调大所述隐私参数则记录为下限， 调小 所述隐私参数则记 录为上限； 文本、 音 频、 图像分别对应调整文本敏感词范围、 差 分隐私中的 隐私预算、 图像中 的扰动大小。 8.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 115310122 A 2述步骤S4中所述权 重自分配算法包括： 基于注意力机制分配权重： 通过协方差描述不同模态的相似性， 依据与注意力关注对 象的相关程度设计打分函数， 给每个模态计算一个score， 对所得到的score， 通过一个 softmax函数， 得到最后的权 重： αi＝softmax(si)； 基于强化学习一般建模过程更新权重： 通过融合函数f(x)＝WX， 计算最优解 其中W为权重矩阵， X为各模态数据。 9.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所 述步骤S5的所述评估方法通过将accns与accT， accA， accV进行比较， 确保多模态融合后的分 类结果大于单个模态分类结果。 10.根据权利要求1所述的多模态数据融合训练中的隐私参数优化方法， 其特征在于， 所述步骤S 5的所述评估方法中， 若 所述分类结果小于单个模态分类结果， 则判定 分类失败， 向客户端发送包含整体非敏感准确率、 分类结果参数Fns和敏感信息准确率accs， 客户端根 据分类失败结果依次调小敏感词范围、 调大隐私预算、 调小扰动大小， 并记录原始参数为 θtmax， ∈min， θmax， 回退到步骤S2； 若判定为分类成功， 则继续比较敏感信息 准确率accs和用户 设定的敏感数据准确率上限， 若高于上限则依次调大敏感词范围、 调小隐私预算、 调大扰动 大小， 并记录原 始参数为θtmin， ∈max， θmin， 回退到步骤S2。权　利　要　求　书 2/2 页 3 CN 115310122 A 3