(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210652952.6 (22)申请日 2022.06.10 (65)同一申请的已公布的文献号 申请公布号 CN 114757979 A (43)申请公布日 2022.07.15 (73)专利权人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 谢红刚　侯凯元　连洪伟　林浩威　 祝树新　徐俊杰　 (74)专利代理 机构 武汉华强专利代理事务所 (普通合伙) 42237 专利代理师 王冬冬 (51)Int.Cl. G06T 7/30(2017.01) G06V 40/10(2022.01) G06V 20/52(2022.01) G06N 3/04(2006.01)G06T 7/11(2017.01) G06T 7/136(2017.01) G06V 10/82(2022.01) (56)对比文件 CN 114202646 A,202 2.03.18 CN 113205075 A,2021.08.0 3 JP 2009015519 A,20 09.01.22 WO 20210 00664 A1,2021.01.07 JP 2009023400 A,2009.02.05 CN 112733950 A,2021.04.3 0 袁浩期 等.基 于红外热像的行 人面部温度 高精度检测技 术. 《红外技 术》 .2019,第41卷(第 12期), Momma, E.1,et al. .Detecti on of fog and smoke particles w ith discrete near infrared l ight. 《Electro nics & Communications in Japan》 .2018, 审查员 冷凝 (54)发明名称 一种神经网络与红外图像匹配的厨房吸烟 检测方法及系统 (57)摘要 本发明公开了一种神经网络与红外图像匹 配的厨房吸烟检测方法及系统， 该方法包括： S100： 获取目标区域的红外图像和可见光图像； S200： 在可见光图像中标注固定高温区域； S300： 将红外图像和可见光图像进行位置配准； S400： 从红外图像中提取未与固定高温区域重合的高 温区域作为高温候选区域； S500： 采用多任务卷 积神经网络从可见光图像中检测头部区域， 对头 部区域变形得到香烟位置信息候选区域； S600： 根据红外图像和可见光图像的位置配准关系， 检 测高温候选区域与香烟位置信息候选区域是否 存在重叠， 若存在重叠， 则判断存在吸烟行为； 否 则判断不存在吸烟行为。 本发明可显著提升厨房 场景中吸烟检测的检测速度和检测准确度。 权利要求书2页 说明书7页 附图2页 CN 114757979 B 2022.08.23 CN 114757979 B 1.一种神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是， 包括： S100： 获取检测数据， 包括目标区域的红外图像和可 见光图像； S200： 在可见光图像中标注固定高温区域； S300： 将红外图像和可 见光图像进行位置配准； S400： 从红外图像中提取 未与固定高温区域重合的高温区域作为高温候选区域； S500： 采用多任务卷积神经网络从可见光图像中检测头部区域， 对头部区域变形得到 香烟位置信息候选区域； S600： 根据红外图像和可见光图像的位置配准关系， 检测红外图像中的高温候选区域 与可见光图像中的香烟位置信息候选区域是否存在重叠， 若存在重叠， 则判断存在吸烟行 为； 否则判断不存在吸烟行为。 2.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是： 采集检测数据 前， 使采集红外图像的摄像头和采集可见光图像的摄像头处于同一平面 上且光轴平行。 3.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是： 步骤S200中， 采用显著性目标检测法或人工标注对固定高温区域进行 标注。 4.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是： 步骤S300中， 利用双线性插值法对红外图像和可 见光图像进行位置配准。 5.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是： 步骤S400具体包括： 对红外图像进行二值化分割； 将固定高温区域的位置信 息输入到二值化分割后的红外 图像中， 将红外图像中固定高温区域位置的灰色像素值置为0， 获得不含固定高温区域的二 值化红外图像； 对不含固定高温区域的二值化红外图像进行膨胀， 膨胀后的二值化红外图 像中具灰度值的区域即高温候选区域。 6.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是： 步骤S500进一步包括： S510： 对可见光图像分别进行多次等比缩放， 输出等比缩放后的图像并构建图像金字 塔； S520： 利用ProNet网络模型对图像金字塔先依次进行3 ×3卷积核的卷积、 2 ×2池化处 理， 对2×2池化后的输出再进行两个3 ×3卷积核的卷积， 初步检测可见光图像中存在的所 有头部区域窗口并输出； S530： 利用RefineNet网络模型对ProNet网络模型输出的头部区域窗口先依次进行3 × 3卷积核的卷积、 3 ×3池化处理， 再依次进 行一次3×3卷积核的卷积、 3 ×3池化处理， 对第二 次3×3池化处理的输出再次进行2 ×2池化处理， 经全连接层后输出优化后的头部区域窗 口； S540： 利用Output  Network网络模型对优化后的头部区域窗口先依次进行3 ×3卷积核 的卷积、 3 ×3池化处理， 再依次进行一次3 ×3卷积核的卷积、 3 ×3池化处理， 对第二次3 ×3 池化处理的输出再依次进行3 ×3卷积核的卷积、 2 ×2池化处理， 再依次经2 ×2卷积核的卷 积、 全连接层后输出头 部区域； S550： 将头部区域的高度缩短为原始高度的1/2， 仅保留头部区域的下半部分， 之后将权　利　要　求　书 1/2 页 2 CN 114757979 B 2该头部区域分别向左右各拉长原 始宽度的1/10， 所 得区域作为 香烟位置信息候选区域。 7.如权利要求1所述的神经网络与红外图像匹配的厨房吸烟检测方法， 其特 征是： 步骤S600进一步包括： S610： 获取香烟位置信息候选区域四顶点的位置信息， 分别标记为 ； S620： 获取高温候选区域内像素点 位置信息获得位置信息数据集； S630： 判断位置信息数据集中是否存在同时满足 和 的点 ； 若存在， 则判断存在重叠， 存在吸烟行为； 否则判断不存在重叠， 不存 在吸烟行为。 8.一种神经网络与红外图像匹配的厨房吸烟检测系统， 其特 征是， 包括： 第一模块， 用来获取检测数据， 包括目标区域的红外图像和可 见光图像； 第二模块， 用来在可 见光图像中标注固定高温区域； 第三模块， 用来将红外图像和可 见光图像进行位置配准； 第四模块， 用来从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区 域； 第五模块， 用来采用多任务卷积神经网络从可见光图像中检测头部区域， 对头部区域 变形得到香烟位置信息候选区域； 第六模块， 用来根据红外 图像和可见光图像的位置配准关系， 检测 红外图像中的高温 候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠， 若存在重叠， 则判断存 在吸烟行为； 否则判断不存在吸烟行为。权　利　要　求　书 2/2 页 3 CN 114757979 B 3