(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211258685.0 (22)申请日 2022.10.14 (65)同一申请的已公布的文献号 申请公布号 CN 115333869 A (43)申请公布日 2022.11.11 (73)专利权人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 (72)发明人 兰小龙　何俊江　王运鹏　张聿昊　 梅鉴鑫　马宝强　 (74)专利代理 机构 成都其知创新专利代理事务 所(普通合伙) 51326 专利代理师 王沙沙 (51)Int.Cl. H04L 9/40(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 115080982 A,202 2.09.20 WO 2021212675 A1,2021.10.28 CN 109117482 A,2019.01.01 审查员 邵娟 (54)发明名称 一种分布式网络对抗 攻击自训练学习方法 (57)摘要 本发明公开了一种分布式网络对抗攻击自 训练学习方法， 包括以下步骤： 步骤1： 原始攻击 样本通过对抗攻击模型产生变异样本； 步骤2： 变 异样本进入检测模型进行检测， 输出检测结果； 步骤3： 没有被检测出变异样本的对抗样本添加 到对抗样 本队列， 对抗样本队列达到设定阈值输 入步骤2的检测模型进行再训练， 直到所有的样 本检测完成； 本发明采用基于SAC算法的对抗攻 击模型结合检测模型， 对抗攻击模 型能够产生有 效检测模型检测率的对抗样本， 检测模型采用集 成式算法训练速度快； 抗干扰能力强， 训练效率 高， 满足网络靶场攻防演练需求。 权利要求书3页 说明书10页 附图2页 CN 115333869 B 2022.12.13 CN 115333869 B 1.一种分布式网络对抗 攻击自训练学习方法， 其特 征在于， 包括以下步骤： 步骤1： 原 始攻击样本通过对抗 攻击模型产生变异样本； 步骤2： 变异样本进入检测模型进行检测， 输出检测结果； 步骤3： 将没有被检测出变异样本的对抗样本添加到对抗样本队列， 对抗样本队列达到 设定阈值输入步骤2的检测模型进行 再训练， 直到所有的样本检测完成； 对抗攻击模型包括状态向量 生成模块、 对抗 攻击矩阵和SAC算法模块； 状态向量 生成模块用于将输入的攻击样本转换为状态向量； 对抗攻击矩阵用于将 样本突变为 突变样本； SAC算法模块 根据历史决策 经验选择 策略组合对样本进行突变； 步骤2中的检测模型包括预处 理模块、 语法特 征提取模块和抗干扰集成模块； 预处理模块用于对字符串 进行预处理， 过滤畸形字符串； 语法特征提取模块用于提取注入的语法信息特 征； 抗干扰集成模块用于对输入的语法信息特 征进行分类输出置信分数。 2.根据权利要求1所述的一种分布式网络对抗攻击自训练学习方法， 其特征在于， 所述 状态向量 生成模块处 理过程包括： 首先对攻击样本进行预处理， 生成静态样本状态向量， 根据突变策略生成动态样本状 态向量， 将静态样本状态向量和动态状态向量进行拼接即可 得到状态向量； 函数 表示一个样本的原始攻击样本  满足第i 个特征时取值 为1， 反之则为0； 则该样本的静态样本状态向量  可表示为： 其中，i为特征序号，n为特征个数； 动态样本状态向量 生成过程如下： 将策略执行前， 改变的文本结构定义为策略执行因子 k， 满足策略执行因子 k的样本 payloadj有函数D， 使得 ， 反之为 ； 如下： 式中： 为满足策略执行因子 k的样本paylodorigin的函数D的值； 为满足策略执 行因子k的样本paylodj的函数D的值，j为样本序号； 对抗攻击策略中有 m个执行策略执行因子， 则该样本的动态状态向量 表示 为：权　利　要　求　书 1/3 页 2 CN 115333869 B 2式中：k为策略执行因子序号， m为策略执行因子个数， 为满足策略执 行因子k的样本paylod的函数D的值。 3.根据权利要求1所述的一种分布式网络对抗攻击自训练学习方法， 其特征在于， 所述 SAC算法模块中采用决策器选择 策略； 式中：  为最优策略，  为决策器，  为st状态下， 决策器有限采取 策略的熵值， α为温度参数， st为马尔科夫决策中 t时刻的状态， at为t时刻选取的动作， r(st, at)为在st状态下， 采取 at行为的反馈； 为符合策略器 所决策的 行为带来的回馈期望， ρ为转移概率。 4.根据权利要求1所述的一种分布式网络对抗攻击自训练学习方法， 其特征在于， 所述 预处理模块中预处 理方法如下： 首先进行URL 解码， 解码结果 通过科学计数法进行 过滤， 然后内嵌执 行过滤。 5.根据权利要求4所述的一种分布式网络对抗攻击自训练学习方法， 其特征在于， 所述 语法特征提取过程如下： 语法特 征提取模块处 理过程如下： 样本的文本为  ,语法解析函数为 fs， 样本序列化后的文本 tokens如下： 式中：l为样本序号， x为样本个数； 然后采用W ord2Vec方法， 将 样本序列化后的词嵌入向量 如下： 。 6.根据权利要求5所述的一种分布式网络对抗攻击自训练学习方法， 其特征在于， 所述 抗干扰集成模块包括 集成深度学习模型和集成算法； 集成深度学习模型包括3个深度学习模型； 分别为长短期记忆人工神经网络LSTM、 卷积 神经网络 CNN和多层感知器MLP； 根据集成深度 学习模型得到的检测结果通过集成算法获得最终检测结果； 集成算法选 择平均数模型、 投票制模型和最大值模型中的一种。 7.根据权利要求6所述的一种分布式网络对抗攻击自训练学习方法， 其特征在于， 所述 平均数模型计算每 个深度学习模型的置信分数的平均数 得到集成算法的置信分数； 第y个子模型的置信分数为  ， 平均数模型计算得到的置信分数权　利　要　求　书 2/3 页 3 CN 115333869 B 3