(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210668729.0 (22)申请日 2022.06.14 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 刘佶鑫　戴鹏程　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杭行 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向居家场景暴力行为监控的CRNN组 合网络视频隐私保护度评价方法 (57)摘要 一种面向居家场景暴力行为监控的CRNN组 合网络视频隐私保护 度评价方法， 通过压缩感知 对输入视频进行多层降维处理， 获得隐私保护的 视频； 利用迁移的卷积神经网络对多层压缩感知 处理过的视频进行空间域特征提取， 使用门控循 环单元对提取到的空间域特征进行处理， 得到时 空域特征； 对时空域特征使用回归函数获得视频 的隐私保护分数； 利用分类网络获得视频中关于 暴力行为的识别率表征视频的实用性分数； 对多 层压缩感知视频的隐私保护性分数和实用性分 数进行拟合得到两者的关联模型。 本方法不仅可 以根据隐私保护 度的需求， 调整视频的压缩感知 层数， 还能够在已知视频隐私保护分数的情况 下， 近似估计视频的实用性分数， 从而消除性能 不符合标准的数据来源。 权利要求书2页 说明书7页 附图3页 CN 114913467 A 2022.08.16 CN 114913467 A 1.一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保护度评价方法， 其特征 在于： 所述方法包括如下步骤： 步骤1： 获取居家行为视频数据集， 对视频进行多层压缩感知获得经过压缩感知处理 的 视频集； 步骤2： 利用迁移的卷积神经网络Inceptionv3和门控循环单元GRU组合的CRNN结构获 得步骤1得到的数据集中各个视频的时空特 征； 步骤3： 利用步骤1输入视频的主观隐私保护分数结合步骤2网络提取到的视频时空特 征， 使用回归训练得到关于 视频隐私保护分数的神经网络结构模型； 步骤4： 利用步骤1输入视频的主观隐私保护分数结合步骤2网络提取到的视频时空特 征， 使用分类训练得到关于 视频中人暴力行为的检测识别率的神经网络结构模型； 步骤5： 将步骤3和步骤4获得的视频隐私保护度分数与暴力行为检测的实用性分数进 行曲线拟合得出关联 统计模型结构， 通过关联统计模型基于实时采集的视频数据进行居家 场景暴力行为 监控。 2.根据权利要求1所述的一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保 护度评价方法， 其特 征在于： 步骤1多层压缩感知视频集获取包括如下步骤： 步骤1.1： 利用压缩感知理论中的观测降维， 使用观测矩阵直接对数据集里的视频行为 进行采样； 步骤1.2： 将采样后的视频帧图片以及观测矩阵按顺序依次分成多个2 ×2的矩阵块， 然 后分别求 二者对应的矩阵块的内积， 达 到CS降维； 步骤1.3： 将降维后的图像采用双三次插值调整尺寸 为299×299大小； 步骤1.4： 重复上述1.1 ‑1.3三个步骤， 实现多层CS降维和图像尺寸的标准 化处理。 3.根据权利要求1所述的一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保 护度评价方法， 其特 征在于： 所述 步骤2中多层压缩感知视频的时空域特 征提取过程为： 步骤2.1： 将输入的标准化多层压缩感知视频作为Inceptionv3网络输入， 输出为N × 2048个视频空间域特征； 其中N为单个视频包含的视频帧数， 2048为一个视频帧输出的空间 域特征； 步骤2.2： 将N ×2048个视频空间域特征输入到GRU门控， 对N个2048空间域特征在时间 域进行融合， 最终输出1 ×2048的时空特 征向量。 4.根据权利要求1所述的一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保 护度评价方法， 其特征在于： 所述步骤3中多层压缩感知视频的 隐私保护分数训练模型过程 为： 步骤3.1： 将步骤1中输入的主观视频 隐私保护分数采用归一化公式， 将归一化的标签 值和训练集视频交给神经网络训练； 其中X为主观隐私 保护分数， Xmin为整个视频集中最小的主观隐私 保护分数， Xmax为整个 视频集中最大的主观隐私保护分数； 步骤3.2： 在获得视频时空域特征后， 拼接全连接层， 将1 ×2048个特征向量降维变成1 个特征向量；权　利　要　求　书 1/2 页 2 CN 114913467 A 2步骤3.3： 通过sigmoid函数实现特征向量到视频隐私保护分数的变化， 得到视频的归 一化隐私保护预测分数， 其中sigmo id函数为： 步骤3.4： 对 归一化视频隐私保护分数反归一 化， 得到最终的视频隐私保护分数。 5.根据权利要求1所述的一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保 护度评价方法， 其特 征在于： 所述 步骤3中多层压缩感知视频的暴力行为识别模型 过程为： 步骤4.1： 在步骤1中将视频集中的行为类别标签随训练视频送入网络； 步骤4.2： 在获得视频时空域特征后， 拼接全连接层， 将1 ×2048个特征向量降维变成M 个特征向量； 其中M为视频集中行为类别个数； 步骤4.3： 通过SoftMax函数将M个特征向量转换成M个概率值， 其中最大的概率值通过 Classificati on转换成类别； 步骤4.4： 步骤1中的测试集通过上述步骤后得到类别标签和实际类别标签相比的准确 度为视频的实用性分数。 6.根据权利要求1所述的一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保 护度评价方法， 其特征在于： 所述步骤5中的拟合为线性拟合、 高斯拟合、 指数拟合 或多项式 拟合。 7.根据权利要求6所述的一种面向居家场景暴力行为监控的CRNN组合网络视频隐私保 护度评价方法， 其特征在于： 根据拟合的误差平方和SSE、 确定系数R ‑square和均方根RMSE 三个评价指标， 选择最佳拟合曲线， 其中当SSE和RMSE接近0， 而R ‑square接近1时， 拟合效果 更好。权　利　要　求　书 2/2 页 3 CN 114913467 A 3