(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210702123.4 (22)申请日 2022.06.21 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 阳春华　王冬雷　黄科科　孙备　 李勇刚　桂卫华　 (74)专利代理 机构 长沙市融智专利事务所(普 通合伙) 43114 专利代理师 熊开兰 (51)Int.Cl. H04N 5/225(2006.01) G06V 20/40(2022.01) G07C 1/20(2006.01) H04N 5/232(2006.01)H04N 7/18(2006.01) (54)发明名称 一种铝电解槽火眼视频的自动化采集方法 和装置 (57)摘要 本发明公开了一种铝电解槽火眼视频的自 动化采集方法和装置， 方法为： 巡检小车在铝电 解槽的安全距离轨迹线上巡检； 广角摄像机采集 铝电解槽的二维码， 解析获取当前铝电解槽的信 息； 在槽门打开之后， 根据广角摄像机和定长焦 摄像机采集的图像， 反馈调节广角摄像机和定长 焦工业摄像机的相机云台的舵机； 反馈调节相机 云台的舵机的方法为： 根据广角摄像机采集的 图 像， 采用目标检测算法识别火眼口在图像中的位 置， 对相机云台的舵机初步旋转控制； 根据定长 焦摄像机采集的图像， 采用网格分区与火眼口对 应网格查表的方法， 对相机云台的舵机精准旋转 控制； 使用舵机调节后的定长焦工业摄像机采集 火眼口视频。 本发明不受强磁场等复杂环境影 响， 工作稳定性 好。 权利要求书4页 说明书10页 附图3页 CN 115314609 A 2022.11.08 CN 115314609 A 1.一种铝电解槽火眼视频的自动化采集方法， 其特 征在于， 包括： (1)巡检小车在远离铝电解槽的安全距离 轨迹线上往复运行巡检； (2)巡检小车使用广角摄像机采集铝电解槽的二维码， 进而解析获取当前铝电解槽的 信息； 并在铝电解槽的槽门打开之后， 根据广角摄像机和定长焦工业摄像机采集的图像， 反 馈调节广角摄像机和定长焦工业摄像机的相 机云台的舵机； 其中， 反馈调节相 机云台的舵 机的方法为： 根据广角摄像机采集的图像， 采用目标检测算法识别火眼口在图像中的位置， 并对相 机云台的舵机进行初步旋转控制； 根据定长焦工业摄像机采集的图像， 采用网格分区与火眼口对应网格查表的方法， 对 相机云台的舵机进行精准旋转控制； (3)使用舵机调节后的定 长焦工业摄 像机采集火眼口视频。 2.根据权利要求1所述的铝电解槽火眼视频的自动化采集方法， 其特征在于， 采用目标 检测算法识别火眼口在图像中的位置的方法为： 使用DenseNet121网络提取广角图像的全局特征图， 同时通过S elect Search算法产生 广角图像的N个候选 框， 并转换为全局特 征图中的N个候选 框； 使用N个候选从全局特征图中截取产生N个特征子图， 并通过SPP层将各特征子图分别 池化采样再拼接为固定 长度的候选特 征向量； 通过LC‑KSVD2分类器对每个候选特征向量计算得到对应的分数， 最后使用非最大抑制 算法对每个候选特征向量对应的候选框进 行筛选得到唯一的预测候选框， 并对其进行回归 得到最后的预测结果框， 即为采用目标检测算法识别得到的火眼口在广角图像中的位置 。 3.根据权利要求2所述的铝电解槽火眼视频的自动化采集方法， 其特征在于， 将广角图 像中的候选 框转换为全局特 征图中的候选 框， 转换关系为： x′min＝[xmin/S]+1    (11) y′min＝[ymin/S]+1    (12) x′max＝[xmax/S]‑1    (13) y′max＝[ymax/S]‑1    (14) 式中， S为D enseNet121网络中所有池化层和卷积层 步长的乘积， (xmin， ymin)为广角图像 中的候选框的左上角的像素坐标， (xmax， ymax)为广角图像中的候选框的右下角的像素坐标， (x′min， y′min)为全局特征图中的候选框的左上角的像素坐标， (x ′max， y′max)为全局特征图中 的候选框的右下角的像素坐标。 4.根据权利要求1所述的铝电解槽火眼视频的自动化采集方法， 其特征在于， 对相机云 台的舵机进行初步旋转控制的方法为： 首先， 利用公式(4)、 (5)、 (6)， 对初始获取的广角图像进行 畸变矫正， 得到矫正后的广 角图像： x′＝(1+k1r2+k2r4+k3r6)x+2p1xy+p2(r2+2x2)    (4) y′＝(1+k1r2+k2r4+k3r6)y+2p1(r2+2y2)+2p2xy    (5) 式中， x′、 y′是广角图像在矫正前的像 素坐标， x、 y是广角图像在矫正后的像 素坐标， xc、权　利　要　求　书 1/4 页 2 CN 115314609 A 2yc是广角图像在矫正后的中心点像素坐标， r是矫正后像素坐标与中心点坐标的欧氏距离， k1、 k2和k3是径向畸变补 偿系数， p1和p2是切向畸变补偿系数， 所有的补 偿系数都通 过相机标 定得到； 然后， 利用公式(7)、 (8)计算广角图像的水平旋转角度和垂直旋转角度； 式中， α是水平旋转角度， β是垂直旋转角度， Xa是广角图像的宽度， Ya是广角图像的高 度， lCCDH是相机水平CCD长度， lCCDV是相机垂直CCD长度， f是广角摄像机的焦距， γH是摄像机 的水平视角， γV是摄像机的垂直视角； 最后， 根据水平旋转角度α和垂直旋转角度β， 控制相机云台的舵机进行旋转， 完成粗校 准。 5.根据权利要求1所述的铝电解槽火眼视频的自动化采集方法， 其特征在于， 对相机云 台的舵机进行精准旋转控制的方法为： 预先将定长焦工业摄像机采集的图像划分为n*n的网格区域， 对每个网格区域进行实 验标定， 记录每 个网格区域对应的水平旋转角度和垂直旋转角度； 其中， n 为奇数； 采用目标检测算法识别火眼口在广角图像中的位置(x， y)， 通过以下公式获得火眼口 在定长焦图像中的网格编号 k； 式中， Xa是广角图像的宽度， Ya是广角图像的高度， 为向上取整， 为向下取整； 根据网格编号k查询对应的水平旋转角度α ′和垂直旋转角度β ′， 并按照α ′和β′控制相 机云台的舵机进行旋转， 完成精校准。 6.根据权利要求1所述的铝电解槽火眼视频的自动化采集方法， 其特征在于， 将定长焦 工业摄像机采集的火眼口视频， 通过h.265编码格式并使用4G网络发射器实时上传至后台 服务器。 7.一种铝电解槽火眼视频的自动 化采集装置， 其特征在于， 包括： 巡检小车以及 设置于 巡检小车上的相机云台、 广角摄像机、 定长焦工业摄像机、 图像处理与控制模块和无线图传 模块； 所述巡检小车在远离铝电解槽的安全距离 轨迹线上往复运行巡检； 所述相机云台用于安装广角摄像机和定长焦工业摄像机， 其舵机用于调节相机云台的 旋转角度， 相当于调节广角摄 像机和定 长焦工业摄 像机的旋转角度； 所述广角摄像机采集铝电解槽的二维码， 以用于图像处理与控制模块解析获取当前铝 电解槽的信息；权　利　要　求　书 2/4 页 3 CN 115314609 A 3