(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210681909.2 (22)申请日 2022.06.16 (71)申请人 辽宁科技大 学 地址 114051 辽宁省鞍山市高新区千山路 185号 (72)发明人 于妍宁　王大坤　莫弘毅　姜夏航　 赵建宇　杨璐瑶　 (74)专利代理 机构 鞍山嘉讯科技专利事务所 (普通合伙) 21224 专利代理师 张群 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G08B 21/10(2006.01)G08B 21/02(2006.01) H04N 7/18(2006.01) H04N 5/33(2006.01) B64D 47/08(2006.01) B64C 39/02(2006.01) (54)发明名称 无人机搭载红外摄像的矿山夜间运输监测 救援系统及方法 (57)摘要 本发明涉及一种无人机搭载红外摄像机的 矿山夜间运输监测救援系统及方法， 包括中控 台， 中控台一端连接的信息录入 单元和位置信息 捕捉单元， 另 一端连接的比对分析单元， 中控台 的一端还设有紧急处理单元， 通过对比分析单元 中的路线分析模块计算合理的运输路径， 当车辆 或人员失去定位信号时， 通过对比分析单元中的 差异度计算模块判断信号停止位置是否为装卸 位置， 当判断不是为装卸位置时， 启动飞行单元 设计飞行线路， 启动无人机前往失联地搜寻， 位 置信息捕捉单元将拍摄到的图像传输给比对分 析单元中的目标监测模块， 利用改进Yolov5s算 法进行目标检测， 确定失联原因、 车辆状态以及 地质状态， 第一时间进行救援， 解决安全问题， 将 伤害降到最低。 权利要求书3页 说明书8页 附图1页 CN 115115952 A 2022.09.27 CN 115115952 A 1.一种无人机搭载红外摄像机的矿山夜间运输监测救援系统， 包括中控台， 其特征在 于， 所述中控台的一端连接有信息录入单元和 位置信息捕捉单元， 所述中控台的内部设有 后台数据库， 所述中控台的另一端连接有比对分析单元， 所述中控台的一端还设置有紧急 处理单元， 所述后台数据库 与对比分析 单元相连； 所述后台数据库包括矿山三维地质模型以及在模型上标定的带标记的人员预定路线 图、 车辆预定路线 图， 和包含车辆图像、 地质图像、 地质灾害 图像的改进Yolov5s检测数据 集； 所述比对分析单元包括路线分析模块、 差异度计算模块和目标检测模块， 所述路线分 析模块和差异度计算模块相连， 所述差异度计算模块和目标检测模块相连。 2.根据权利要求1所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统， 其特征在于， 所述位置信息捕捉单元设置于红外摄像机内部， 所述红外摄像机搭载于无人 机机组上方， 所述无 人机组包 含若干个无 人机。 3.根据权利要求1所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统， 其特征在于， 所述中控台还设置有飞行单元， 包括无人机编队模块、 无人机路线设计模块， 所述无人机编队模块用于启动若干个无人机在区域内飞行以及控制若干个无人机飞行期 间的距离相等且适中， 无人机飞行路线设计模块为应用天鹰优化算法设置无人机组若干无 人机的飞行路线。 4.根据权利要求1所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统， 其特征在于， 所述位置信息捕捉单元包括人员位置信息捕捉模块、 车辆位置信息捕捉模块 和地质信息捕捉模块。 5.根据权利要求1所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统， 其特征在于， 所述信息录入 单元还连接有GPS 定位系统， 所述信息录入 单元包括人员信息录 入模块、 车辆信息录入模块、 矿山三维地质模型录入模块、 检测数据集录入模块， 所述人员 信息录入模块设置于员工定位卡内部， 所述车辆信息录入模块设置于车辆导航设备内部， 所述员工 定位卡和车辆导 航设备均 与GPS定位系统相连。 6.根据权利要求1所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统， 其特征在于， 所述紧急处 理单元的一端连接有报警器以及无 人机中的警示灯。 7.权利要求1 ‑6任意一项所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援 系统的救援方法， 其特 征在于， 步骤如下， S1： 提前获取矿山的三维地形信息， 生成矿山三维地质模型以及在模型上标定的带标 记的车辆预定路线图， 将数据信息纳入后台数据库， 并在中控台进行显示； S2： 根据矿山内的车辆图片、 地质图片及地质灾害发生时的图片建立检测数据集， 并进 行改进Yo lov5s目标检测模型的配置； S3： 当夜间工作人员与车辆进入矿山区域内时， 分发定位卡， 及时确定人员及车辆的定 位信息， 并利用天鹰优化算法结合矿山三维地质模型计算合理的运输路线， 路线计算结果 传输到车辆显示屏上， 将运输路线与各 车辆的实时定位在中控台进行显示； S4： 当人员或车辆失去定位信号或者设定时间内定位信 息未更新且未收到工作人员报 警电话时， 中控台会利用飞行单元， 启动搭载红外热成像摄像头的无人机机组， 对失联车辆 最后出现的区域进行搜索；权　利　要　求　书 1/3 页 2 CN 115115952 A 2S5： 根据起飞点与失联区域的位置， 在矿山三维地质模型上运用天鹰优化算法对无人 机巡检路径进行规划， 保证无 人机的飞行安全； S6： 搜索到失联车辆后， 采用红外热成像摄像头进行拍摄， 根据改进Yolov5s算法对拍 摄的车辆图像及车辆周围的地质图像进行目标检测； S7： 检测车辆状态及地质状态， 判断是否发生地质灾害， 将检测结果上传中控台， 若目 标车辆状态失控或发生地质灾害， 无人机报警灯亮起， 中控台的报警器鸣笛， 此时安排人员 进行语音播报， 并根据报警灯位置进行救援； S8： 救援完成后， 无 人机根据来时路线返回无 人机起飞平台。 8.根据权利要求7所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统的 救援方法， 其特征在于， 所述S1步骤中， 三 维地质模型为采用无人机搭载三 维激光扫描仪获 取的原始三维点云数据结合 地质信息以及地球物理资料的综合结果。 9.根据权利要求7所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统的 救援方法， 其特 征在于， 所述S2步骤中， 改进Yo lov5s目标检测模型 具体包括下述内容： Yolov5s在Yolov5s目标检测模型中网络最小， 速度最快， 适合车辆及地质灾害的大目 标监测， 为实现目标的快速检测， 需要对Yolov5s目标检测模 型进行改进， 在Yolov5s网络中 增加注意力机制， 使用Non ‑local模块与CBAM模块融合的方式， 强化检测模型抗干扰能力， 随后采用高斯混合模型GMMs聚类方法构建检测目标的先验框， 以提升识别精度， 最后构造 置信度与定位任务联合的损失函数， 并引入Mosaic数据增强策 略训练网络， 有效解决训练 数据不足的问题， 提升检测准确率、 检测速度及平均精度均值 等性能指标， 具体步骤如下： 步骤S21， 根据矿山内的车辆图片、 地质图片及地质灾害图片建立检测数据集， 并根据 不同种类图片， 划分数据集； 步骤S22， 创建不同训练类别的配置文件； 步骤S23， 采用GM Ms聚类生成先验框； 步骤S24， 利用检测结果 修改完善配置文件； 步骤S25， 对检测模型进行训练、 测试； 步骤S26， 获得识别率较高的目标检测模型。 10.根据权利要求7所述的一种无人机搭载红外摄像机的矿山夜间运输监测救援系统 的救援方法， 其特 征在于， 所述S3、 S5步骤中， 天鹰优化 算法具体包括下述内容： 步骤S51， 扩大探索阶段， 在第一阶段中， 模拟鸟群通过垂直高翱翔扩大搜寻范围， 在飞 行中狩猎鸟类， 该部分的数 学公式为: 式中， X(t)和X(t+1)分别表示天鹰优化算法在第t次迭代和第t+1次迭代中的个体位 置， Xbest(t)表示到第t次迭代为止 算法获得的最 佳个体为止， XM(t)表示第t次迭代时的种群 平均位置， T表示 算法最大的迭代次数； 步骤S52， 缩小探索阶段， 在第二阶段中， 模拟鸟群在高空中发现猎物时， 在目标猎物上 方螺旋绕圈， 准备着陆， 然后进行攻击， 该部分的数 学公式为:权　利　要　求　书 2/3 页 3 CN 115115952 A 3