(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062731.X (22)申请日 2022.08.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 韩红桂　张奇宇　李方昱　杜永萍　 吴玉锋　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于空间遗忘通道注意力卷积神经网 络的生活垃圾分类方法 (57)摘要 本发明提出了一种基于空间遗忘通道注意 力卷积神经网络的生活垃圾分类方法， 解决实际 生活垃圾分类过程中垃圾种类样式繁多难以精 准分类的问题。 本发明设计特征空间遗忘注意力 模块， 可以让网络关注更多局部特征， 从而使得 网络学习到更多不同垃圾样式的复杂特征信息， 有效提高网络对生活垃圾的分类精度。 本发明应 用在智能自动化视觉技术的生活垃圾回收过程， 提高了生活垃圾的回收效率， 同时也能够减少人 工成本， 提高全社会面的资源回收效益。 权利要求书3页 说明书8页 附图1页 CN 115457317 A 2022.12.09 CN 115457317 A 1.一种基于空间遗忘通道注意力卷积神经网络的生活垃圾分类方法其特征在于， 包括 以下步骤： (1)生活垃圾数据采集及预处 理 ①获取生活垃圾分类图像数据集， 共6类生活垃圾图像， 分别为塑料类， 玻璃类， 纸质 类， 金属类， 厨余类， 混合厨余类； ②垃圾图像数据集中的图像数据矩阵为I， 选用RGB颜色空间作为空间遗忘通道注意力 卷积神经网络模型的输入变量， IR(t)表示在第t次迭代时的红色通道像素矩阵， IG(t)表示 在第t次迭代时的绿色通道像素矩阵， IB(t)表示在第t次迭代时的蓝色通道像素矩阵； ③将IR(t)， IG(t)， IB(t)三通道像素矩阵的各元素归一化至[0,1]， 分别得到在第t次迭 代时归一化后的红色通道像素矩阵 在第t次迭代时归一化后的绿色通道像素矩阵 在第t次迭代时归一化后的蓝色通道像素矩阵 基于此， 空间遗忘通道注意力 卷积神经网络模型的输入图像数据矩阵 (2)建立空间遗 忘注意力的卷积神经网络分类模型 ①构建以空间遗忘注意力模块为基础的卷积神经网络分类模型： 空间遗忘注意力卷积 神经网络分类模 型由q个空间遗忘注 意力模块和一个全 连接层构成， q＝1,2,3,4； 其中单个 空间遗忘注意力模块由一个输入层， 一个卷积激活层， 一个归一化处理层， 一个空间遗忘 层， 一个通道 注意力层； ②第q个空间遗 忘注意力模块输入层的计算公式如下： Pq(t)＝Rq(t)(1) 其中， Pq(t)表示在第t 次迭代时， 第q个空间遗忘注意力模块中输入层的输出； Pq(t)表 示在第t次迭代时， 第q个空间遗忘注意力模块中输入层的输入； 当q＝1时， 第1个空间遗忘 注意力模块输入层的输入为 即 当q＝2， 3， 4时， 第q个空 间遗忘注 意力模块输入层的输入Rq(t)为第q ‑1个空间遗忘注意力模块的输出Oq‑1(t)， 即Rq(t)＝Oq‑1 (t)； ③第q个空间遗 忘注意力模块激活层的计算公式如下： Qq(t)＝f(ωq(t)Pq(t)+βq)                      (2) 其中， Qq(t)表示在第 t次迭代时， 第q个空间遗忘注意力模块中网络Pq(t)通过卷积激活 操作得到的特征矩阵； f( ·)是激活函数； ωq(t)表示在第t次迭代时， 第q个空间遗忘注意 力模块的卷积激活层权值矩阵， βq表示在第t次迭代时， 第q个空间遗忘注意力模块的卷积 激活层输出偏置参数， 网络初始阶段β 可 取介于0到1之间的任意常数； ④第q个空间遗 忘注意力模块归一 化处理层的计算公式如下： 其中， E(·)表示期望操作； D( ·)表示方差操作； 表示在第t次迭代时,第q个空间 遗忘注意力模块 Qq(t)归一化处理后的输出矩阵； ε取介于 0.001和0.0001之间的任意常数；权　利　要　求　书 1/3 页 2 CN 115457317 A 2⑤第q个空间遗忘注意力模块的特征空间遗忘层的特征空间遗忘大小为Sb＝3； 设以大 小为Sb的特征空间中心点遗忘概率为ρ， 设网络总迭代次数为T， ρ 从0开始以步长T/8随网络 迭代次数递增0.025； 特征空间遗 忘区域0‑1二值掩码的计算公式如下： 其中， 表示在第t次迭代时， 第q个空间遗忘注意力模块的特征空间遗忘区域二 值掩码； i表示特 征空间水平位置坐标， j表示特 征空间垂直 位置坐标； 特征空间遗 忘的计算公式如下： 其中， Vq(t)表示在第t次迭代时， 第q个空间遗忘注意力模块的特征空间遗忘输出矩 阵； *表示哈达 玛积运算； ⑥第q个空间遗 忘注意力模块中， 通道 注意的全局平局池化计算公式如下： 其中， Gq(t)表示在第t次迭代时， 第q个空间遗忘注意力模块的通道注意全局平局池化 输出矩阵； 通道注意的注意力权 重计算公式如下： 其中， Aq(t)表示在第t次迭代时第q个空间遗忘注意力模块的注意力权重矩阵； f( ·)是 激活函数； 表示在第t次迭代时第q个空间遗忘注意力模块的第一层权值矩阵， 表示在第t次迭代时第q个空间遗 忘注意力模块的第二层权值矩阵； 通道注意的计算公式如下： Oq(t)＝Vq(t)*Aq(t)                       (8) 其中， Oq(t)表示在第t次迭代时， 第q个空间遗忘注意力模块的注意力输出矩阵； *表示 哈达玛积运算； ⑦空间遗忘通道注意力卷积神经网络的全连接层将第 4个空间遗忘注意力模块的注意 力输出矩阵O4(t)映射成六个特 征向量构成的输出矩阵： 其中， 表示在第t次迭代时空间遗忘通道注意力卷积神经网络的全连接层输出矩 阵； ⑧空间遗忘通道注意力卷积神经网络损失函数的表达公式如下： 其中， L(t)表示在第t次迭代时， 空间遗忘通道注意力卷积神经网络损失函数输出矩权　利　要　求　书 2/3 页 3 CN 115457317 A 3