(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210423874.2 (22)申请日 2022.04.22 (65)同一申请的已公布的文献号 申请公布号 CN 114550104 A (43)申请公布日 2022.05.27 (73)专利权人 科大天工智能装备技 术 （天津） 有 限公司 地址 300308 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 专利权人 北京科技大 学 (72)发明人 张超　张波　万亚东　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 杜阳阳 (51)Int.Cl. G06V 20/52(2022.01)G06V 10/46(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G08B 17/12(2006.01) (56)对比文件 CN 114359733 A,2022.04.15 CN 112562255 A,2021.0 3.26 CN 114005090 A,202 2.02.01 CN 114239756 A,2022.03.25 CN 113537226 A,2021.10.2 2 CN 112967335 A,2021.0 6.15 审查员 姚希 (54)发明名称 一种火情监测方法及系统 (57)摘要 本发明涉及一种火情监测方法及系统， 属于 消防领域， 该方法包括： 构建火情监测数据集， 火 情监测数据集中包括包含烟雾的监测图像、 包含 火苗的监测图像和包含电火花的监测图像； 构建 形变自适应网络， 形变自适应网络包括用于提取 监测目标特征的骨干网络、 第一形变自适应模 块、 第二形变自适应模块和第三形变自适应模 块； 采用火情监测数据集， 以监测图像为输入， 以 火情的位置和类别为输出训练形变自适应网络， 获得火情监测模型； 火情 的类别包括烟雾、 火苗 和电火花； 采用火情监测模型对待监测区域实时 获取的监测图像进行火情监测。 权利要求书2页 说明书7页 附图2页 CN 114550104 B 2022.08.05 CN 114550104 B 1.一种火情监测方法， 其特 征在于， 包括： 构建火情监测数据集， 所述火情监测数据集中包括包含烟雾的监测图像、 包含火苗的 监测图像和包 含电火花的监测图像； 构建形变自适应网络； 采用所述火情监测数据集， 以监测图像为输入， 以火情的位置和类别为输出训练所述 形变自适应网络， 获得火情监测模型； 所述火情的类别包括烟雾、 火苗和电火花； 采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测； 所述形变自适应网络包括用于提取监测目标特征的骨干网络、 第一形变自适应模块、 第二形变自适应模块和第三形变自适应模块， 还包括依次连接的区域建议网络、 ROI   Pooling层和检测头； 所述骨干网络用于输出尺寸依次减小的特征图C1、 特征图C2、 特征图 C3、 特征图C4和特征图C5； 所述第一形变自适应模块用于将特征图C5进行2倍的上采样后与 特征图C4进行通道维度拼接， 获得特征图DA ‑Md‑5， 特征图C5进行2倍的上采样后与特征图 C4尺寸相同， 将特征图DA ‑Md‑5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积 操作获得特征图DA ‑Md‑51， 将特征图DA ‑Md‑5依次进行卷积核为3*3的卷积操作以及卷积核 为5*5的卷积操作获得特征图DA ‑Md‑52， 将特征图DA ‑Md‑51和特征图DA ‑Md‑52进行逐像素 加和获得特征图DA4； 所述第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特 征图C3进行通道维度拼接， 获得特征图DA ‑Md‑4， 特征图DA4进 行2倍的上采样后与特征图C3 尺寸相同， 将特征图DA ‑Md‑4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操 作获得特征图DA ‑Md‑41， 将特征图DA ‑Md‑4依次进行卷积核为3*3的卷积操作以及卷积核为 5*5的卷积操作获得特征图DA ‑Md‑42， 将特征图DA ‑Md‑41和特征图DA ‑Md‑42进行逐像素加 和获得特征图DA3； 所述第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征 图C2进行通道维度拼接， 获得特征图DA ‑Md‑3， 特征图DA3进行2倍的上采样后与特征图C2尺 寸相同， 将特征图DA ‑Md‑3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作 获得特征图DA ‑Md‑31， 将特征图DA ‑Md‑3依次进行卷积核为3*3的卷积操作以及卷积核为5* 5的卷积操作获得特征图DA ‑Md‑32， 将特征图DA ‑Md‑31和特征图DA ‑Md‑32进行逐像素加和 获得特征图DA2； 特征图DA4、 特 征图DA3和特 征图DA2依次输入所述区域建议网络； 将中低层特征图DA2、 DA3和DA4依次输入Faster  RCNN网络中的区域建议网络、 ROI   Pooling层和检测头中， 输出目标位置矩形框的火情监测结果图像， 并发出火情预警信号。 2.根据权利要求1所述的火情监测方法， 其特征在于， 所述包含电火花的监测图像为基 于工业相机在不同背景 下拍摄的电火花图像。 3.根据权利要求1所述的火情监测方法， 其特 征在于， 所述骨干网络采用ResNet101。 4.根据权利要求1所述的火情监测方法， 其特征在于， 所述采用所述火情监测模型对待 监测区域实时获取的监测图像进行火情监测， 具体包括： 当所述火情监测模型输出的监测结果中包括火情的位置和类别， 则发出火情预警信 号。 5.一种火情监测系统， 其特 征在于， 包括： 火情监测数据集构建模块， 用于构建火情监测数据集， 所述火情监测数据集中包括包 含烟雾的监测图像、 包 含火苗的监测图像和包 含电火花的监测图像； 形变自适应网络构建模块， 用于构建形变自适应网络；权　利　要　求　书 1/2 页 2 CN 114550104 B 2形变自适应网络训练模块， 采用所述火情监测数据集， 以监测图像为输入， 以火情的位 置和类别为输出训练所述形变自适应网络， 获得火情监测模型； 所述火情的类别包括烟雾、 火苗和电火花； 火情监测模块， 用于采用所述火情监测模型对待监测区域实时获取的监测图像进行火 情监测； 所述形变自适应网络包括用于提取监测目标特征的骨干网络、 第一形变自适应模块、 第二形变自适应模块和第三形变自适应模块， 还包括依次连接的区域建议网络、 ROI   Pooling层和检测头； 所述骨干网络用于输出尺寸依次减小的特征图C1、 特征图C2、 特征图 C3、 特征图C4和特征图C5； 所述第一形变自适应模块用于将特征图C5进行2倍的上采样后与 特征图C4进行通道维度拼接， 获得特征图DA ‑Md‑5， 特征图C5进行2倍的上采样后与特征图 C4尺寸相同， 将特征图DA ‑Md‑5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积 操作获得特征图DA ‑Md‑51， 将特征图DA ‑Md‑5依次进行卷积核为3*3的卷积操作以及卷积核 为5*5的卷积操作获得特征图DA ‑Md‑52， 将特征图DA ‑Md‑51和特征图DA ‑Md‑52进行逐像素 加和获得特征图DA4； 所述第二形变自适应模块用于将特征图DA4进行2倍的上采样后与特 征图C3进行通道维度拼接， 获得特征图DA ‑Md‑4， 特征图DA4进 行2倍的上采样后与特征图C3 尺寸相同， 将特征图DA ‑Md‑4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操 作获得特征图DA ‑Md‑41， 将特征图DA ‑Md‑4依次进行卷积核为3*3的卷积操作以及卷积核为 5*5的卷积操作获得特征图DA ‑Md‑42， 将特征图DA ‑Md‑41和特征图DA ‑Md‑42进行逐像素加 和获得特征图DA3； 所述第三形变自适应模块用于将特征图DA3进行2倍的上采样后与特征 图C2进行通道维度拼接， 获得特征图DA ‑Md‑3， 特征图DA3进行2倍的上采样后与特征图C2尺 寸相同， 将特征图DA ‑Md‑3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作 获得特征图DA ‑Md‑31， 将特征图DA ‑Md‑3依次进行卷积核为3*3的卷积操作以及卷积核为5* 5的卷积操作获得特征图DA ‑Md‑32， 将特征图DA ‑Md‑31和特征图DA ‑Md‑32进行逐像素加和 获得特征图DA2； 特征图DA4、 特 征图DA3和特 征图DA2依次输入所述区域建议网络； 将中低层特征图DA2、 DA3和DA4依次输入Faster  RCNN网络中的区域建议网络、 ROI   Pooling层和检测头中， 输出目标位置矩形框的火情监测结果图像， 并发出火情预警信号。 6.根据权利要求5所述的火情监测系统， 其特征在于， 所述包含电火花的监测图像为基 于工业相机在不同背景 下拍摄的电火花图像。 7.根据权利要求5所述的火情监测系统， 其特 征在于， 所述骨干网络采用ResNet101。 8.根据权利要求5所述的火情监测系统， 其特 征在于， 所述火情监测模块， 具体包括： 火情监测单元， 用于当所述火情监测模型输出的监测结果中包括火情的位置和类别， 则发出火情预警信号。权　利　要　求　书 2/2 页 3 CN 114550104 B 3