(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980531.6 (22)申请日 2022.08.16 (71)申请人 天地 （常州） 自动化股份有限公司 地址 213100 江苏省常州市新北区黄河西 路219号 申请人 中煤科工集团常州研究院有限公司 (72)发明人 邹盛　周李兵　陈晓晶　季亮　 于政乾　王天宇　赵叶鑫　王国庆　 郝大彬　黄小明　杨华　卢东贵　 (74)专利代理 机构 常州至善至诚专利代理事务 所(普通合伙) 32409 专利代理师 刘宇 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/50(2006.01)G06T 5/30(2006.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像融合和特征增强的煤矿井下 行人检测方法 (57)摘要 本发明公开了一种基于图像融合和特征增 强的煤矿井下行人检测方法， 包括以下步骤： 第1 步骤、 深度图像和红外图像的融合处理； 第2步 骤、 构建目标边缘特征增强的CornerNet ‑ Squeeze行人目标检测网络； 第3步骤、 建立井下 红外深度图像融合行人检测数据集， 训练目标边 缘特征增强的CornerNet ‑Squeeze行人目标检测 模型； 第4步骤、 本安型边缘计算设备部署目标边 缘增强的CornerNet ‑Squeeze行人检测模型， 在 测试集验证效果。 该种基于图像融合和目标边缘 特征增强的煤矿井下行人检测方法， 用以提高井 下低照度复杂环境的多尺度行人目标的检测能 力。 权利要求书1页 说明书11页 附图9页 CN 115311241 A 2022.11.08 CN 115311241 A 1.一种基于 图像融合和特征增强的煤矿井下行人检测方法， 其特征在于， 包括以下步 骤： 第1步骤、 深度图像和红外图像的融合处理： 深度图像和红外图像两者的融合采用TIF 算法， 通过图像分解、 图像融合、 图像重构三个步骤实现； 对融合后的图像进行 形态学处 理； 第2步骤、 构建目标边缘特征增强的CornerNet ‑Squeeze行人目标检测网络： CornerNet ‑Squeeze行人目标检测网络在CornerNet网络基础上结合SqueezeNet网络， 使用 SqueezeNet网络中的fire模块代替了CornerNet网络中的Res残差模块； 在CornerNet ‑ Squeeze行人 目标检测网络中引入八度卷积OctConv处理主干网络后高低频特征信息的特 征增强模块， 形成改进后的CornerNet ‑Squeeze行人目标检测网络； 第3步骤、 建立井下红外深度图像融合行人检测数据集， 训练目标边缘特征增强的 CornerNet ‑Squeeze行人目标检测 模型： 将红外相机和深度相机安装在防爆无轨胶轮车车 顶， 充分采集煤矿井下行人数据， 对采集的深度图像和红外图像进行配准对齐， 采用第1步 骤中的融合处理方法形成融合图像； 对深度图像、 红外图像及两者融合后的融合图像采用 标注软件进 行人工标注， 得到三种数据集， 三种数据集分别为深度图像训练数据集、 红外图 像训练数据集和融合图像训练数据集； 将三种 数据集划分为训练集和测试集， 训练目标边 缘特征增强的CornerNet ‑Squeeze行人目标检测模型； 第4步骤、 本安型边缘计算设备部署目标边缘特征增强的CornerNet ‑Squeeze行人目标 检测模型， 在测试集验证效果： 将改进的目标边缘特征增强CornerNet ‑Squeeze算法和原始 CornerNet ‑Squeeze算法分别在深度图像训练数据集、 红外图像训练数据集和融合图像训 练数据集上训练得到模型在本安型边 缘计算设备进行部署测试和验证。 2.根据权利要求1所述的一种基于图像融合和特征增强的煤矿井下行人检测方法， 其 特征在于： 所述图像分解是将对齐后同样大小的红外图像和深度图像使用均值滤波器分别 获得图像的基础 层和细节层。 3.根据权利要求1所述的一种基于图像融合和特征增强的煤矿井下行人检测方法， 其 特征在于： 在所述图像融合中， 对于基础 层图像的融合采用算 术平均策略融合。 4.根据权利要求1所述的一种基于图像融合和特征增强的煤矿井下行人检测方法， 其 特征在于： 在所述图像融合中， 对于细节层图像的融合使用加权平均的策略进行融合。 5.根据权利要求1所述的一种基于图像融合和特征增强的煤矿井下行人检测方法， 其 特征在于： 在所述图像重构中， 将融合后的深度图像和红外图像的基础层、 深度图像和红外 图像的细节层直接相加得到最终深度图像和红外图像的融合图像。 6.根据权利要求1所述的一种基于图像融合和特征增强的煤矿井下行人检测方法， 其 特征在于： 在融合图像形态学处 理中， 采用先腐蚀后膨胀形态学开 运算处理融合后的图像。 7.根据权利要求1所述的一种基于图像融合和特征增强的煤矿井下行人检测方法， 其 特征在于， 在CornerNet ‑Squeeze主干网络后引入八度卷积OctConv的特征增强模块， 具体 处理步骤如下： 第2.1步骤、 对主干网络提取的特 征图进行 卷积操作降维处 理； 第2.2步骤、 降维后的特 征图采用OctCo nv分离融合高低频 特征信息； 第2.3步骤、 对输出的高频信息经 过反卷积 操作， 还原特 征尺寸。权　利　要　求　书 1/1 页 2 CN 115311241 A 2一种基于图像融合和特征增强的煤矿井下行人检测方 法 技术领域 [0001]本发明涉及煤矿井下行人检测的技术领域， 尤其是一种基于图像融合和特征增强 的煤矿井下 行人检测方法。 背景技术 [0002]基于机器视觉的行人检测方法采用摄像装置获取视频图像， 通过图像处理算法对 目标信息进行检测和分析， 并用于后续跟踪任务， 在视频监控、 无人驾驶车辆、 智能机器人 等领域发挥了重要作用。 在智能化矿井建设中， 采用机器视觉技术对长距离胶带沿线、 封闭 巷道入口、 斜巷等危险区域进 行行人检测， 对于提高煤矿安全生产管理水平、 防范人身伤亡 事故具有重要的意义。 但井下 的视频图像环境复杂， 光线暗淡， 噪声干扰大， 且井下监控摄 像头一般安装在高处， 导致视频图像中的行人存在尺寸偏小、 分辨率低、 尺度变化、 行人重 叠等问题。 因井下环境的特殊性， 面临行人目标检测常见 的多尺度、 遮挡、 低照度等多种因 素的挑战， 研究井下低照度等复杂环境多尺度目标行人鲁棒性识别是一个亟待解决的问 题， 对保障井下安全生产具有重要意 义和应用价 值。 [0003]传统的行人检测算法， 如HOG+SVM、 ICF+AdaBoost、 DPM等， 主要依赖于人工设计特 征， 特征单一且主观性强， 泛化能力差， 难以适用于井下低照度、 粉尘等特殊工况环境下 的 多尺度行人目标检测。 随着深度学习 人工智能算法的不断更迭发展， 通过大规模数据集训 练学习， 主动提取 特征， 解决了由于传统方法人工提取 特征导致的模型鲁棒 性差的问题。 [0004]深度学习行人目标检测算法主要分为two ‑stage和one ‑stage两类， 前者 two ‑ stage主要是基于区域生成目标候选框， 再进行分类回归， 以R ‑CNN、 Fast R ‑CNN、 Faster R ‑ CNN等为代表， 取得了比传统检测方法更好的结果， 虽取得更高的检测精度， 但检测效率较 低； 后者one ‑stage则直接采用端到端的训练网络， 无需生成候选框， 一个网络实现结果输 出， 主要包括SSD系列、 YOLO系列、 CornerNet系列等； CornerNet系列 具有可以与两阶段检 测器相媲美的检测精度， 同时可避免SSD系列、 YOLO系列因采用的anchor ‑box机制引入太多 超参数而增加计算量的问题， 且目标的检测转换为对目标关键点的检测， 使用沙漏特征提 取网络(Hourglass)作为骨干网络， 通过目标左上角点与右下角点确定边界框位置， 省略生 成锚框的步骤。 发明内容 [0005]本发明旨在至少解决现有技 术中存在的技 术问题之一。 [0006]为此， 本发明提出一种基于图像融合和特征增强的煤矿井下行人检测方法， 用以 提高井下低照度复杂环境的多尺度行 人目标的检测能力。 [0007]根据本发明实施例的一种基于图像融合和特征增强的煤矿井下行人检测方法， 包 括以下步骤： [0008]第1步骤、 深度图像和红外图像的融合处理： 深度图像和红外图像两者的融合采用 TIF算法， 通过图像分解、 图像融合、 图像重构三个步骤实现； 对融合后的图像进 行形态学 处说　明　书 1/11 页 3 CN 115311241 A 3