(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210489189.X (22)申请日 2022.05.07 (65)同一申请的已公布的文献号 申请公布号 CN 114581859 A (43)申请公布日 2022.06.03 (73)专利权人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 李江昀　皇甫玉彬　申昊然　 张议夫　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01)(56)对比文件 CN 111681252 A,2020.09.18 CN 110782462 A,2020.02.1 1 CN 110438284 A,2019.1 1.12 CN 110796046 A,2020.02.14 CN 110929696 A,2020.0 3.27 CN 109815785 A,2019.0 5.28 CN 112767451 A,2021.0 5.07 CN 114049384 A,202 2.02.15 CN 113077450 A,2021.07.0 6 CN 110781944 A,2020.02.1 1 CN 111944942 A,2020.1 1.17 CN 113505759 A,2021.10.15 CN 110532902 A,2019.12.0 3 李爱莲 等. “改进ResNet101网络下渣出钢 状态识别研究 ”. 《中国测试》 .2020,第46卷(第1 1 期), 审查员 刘朝兵 (54)发明名称 一种转炉下渣监测方法及系统 (57)摘要 本发明公开了一种转炉下渣监测方法和系 统， 属于冶金设备与工艺领域。 所述方法采集转 炉出钢过程中不同倾斜角度下的图片， 进行像素 点标注后， 生成图片数据集； 构建图像双流分割 模型， 包括Stem模块、 第一流卷积 模块、 第二流P ‑ E模块、 基于Transformer模型的融合模块、 第一 流下采样模块、 第二流下采样模块和分割头模 块； 对图像双流分割模型进行训练和验证后， 捕 捉现场转炉的实时出钢图片， 预处理后输入成熟 的图像双流分割模型， 得到钢渣实时监测位置。 本发明通过分流与融合机制的多次交叉与结合， 增强了模型表达能力； Transformer模型无需预 训练权重， 可以灵活调整模型结构； 将钢渣准确、 实时地识别出来， 提高了监测精度， 保证了操作 人员的安全。 权利要求书4页 说明书10页 附图4页 CN 114581859 B 2022.09.13 CN 114581859 B 1.一种转炉下渣监测方法， 其特 征在于， 包括如下步骤： 步骤S1， 采集转炉出钢过程中不同倾斜角度下的图片， 所述图片覆盖出钢的完整过程， 且每张图片至少包 含炉口的钢渣图像； 步骤S2， 对图片中的每个像素点进行标注， 分别标注为背景、 钢渣、 炉内壁、 炉口四个类 别的分割标签， 并将标签与图片的倾 斜角度进行绑定； 步骤S3， 将所有标注了标签的图片生成图片数据集， 并将图片数据集按照预设比例划 分为训练集和验证集； 步骤S4， 构建图像双流分割模型， 所述图像双流分割模型包括一个Stem模块、 第一流卷 积模块、 第二流P ‑E模块、 至少两个基于Transformer模 型的融合模块、 至少两个第一流下采 样模块、 至少两个第二流下采样模块和分割头模块， 且融合模块和 第一流下采样模块、 第二 流下采样模块的数量相同， 数量为最大级数， 并按级数依次排列； 其中， 第一流卷积模块和 第二流P‑E模块的输入端同时与Stem模块相连， 输出端同时与第一级融合模块相连； 所述融 合模块的输出端同时与同级的第一流下采样模块和 第二流下采样模块相连； 除第一级融合 模块外， 其余级别的融合模块的输入端同时与上一级的第一流下采样模块和 第二流下采样 模块相连； 最后一级第一 流下采样模块和第二 流下采样模块同时与分割头模块相连； 步骤S5， 采用训练集和验证集对所述图像双流分割模型进行训练和验证， 得到成熟的 图像双流分割模型； 步骤S6， 捕捉现场 转炉的实时出钢图片， 将图片进行预处理后， 输入成熟的图像双流分 割模型， 并输出分割结果， 得到钢渣、 炉口和炉内壁的实时监测位置 。 2.根据权利要求1所述的转炉 下渣监测方法， 其特征在于， 所述融合模块包括至少一组 融合单元和分流单 元； 其中， 每个融合单元包括卷积子模块、 轻量化Transformer子模块和拼接融合子模块， 其中卷 积子模块包括连续卷积层和/或残差卷积层、 批标准化层及ReLU激活函数层， 轻量化 Transformer子模块包括自注 意力机制层、 归一化层和多层感知机， 拼接融合子模块包括转 换序列特 征维度层和拼接合并层； 每个分流单元包括1 ×1卷积子模块和P ‑E子模块， 其中1 ×1卷积子模块包括1 ×1且步 长为1的卷积层、 批标准化层及ReLU激活函数， P ‑E子模块包括转换特征图维度层和线性映 射层； 每个融合单元中， 卷积子模块的输入端与第一流卷积模块相连， 输出端与拼接融合子 模块相连； 轻量化Transformer子模块的输入端与第二流P ‑E模块相连， 输出端与拼接融合 子模块相连； 拼接融合子模块的输出端再与分流单元相连， 分流单元再分别与同一融合模 块中的下一组卷积子模块、 轻量化Transformer子模块相连或与同一级的第一流下采样模 块和第二 流下采样模块相连。 3.根据权利 要求1或2所述的转炉下渣监测方法， 其特征在于， 步骤S4中所述Stem模块， 包含卷积核大小为7 ×7且步长为2的卷积层、 批标准化层及ReLU激活函数； 所述第一流卷积 模块包括1 ×1且步长为1的卷积层、 批标准化层及ReLU激活函数； 所述第二流P ‑E模块包括 转换特征图维度层和线性映射层。 4.根据权利要求3所述的转炉 下渣监测方法， 其特征在于， 所述第 一流下采样模块包括 最大池化层和1 ×1且步长为 1的卷积层， 第二流下采样模块包括转换序列特征维度层、 最大权　利　要　求　书 1/4 页 2 CN 114581859 B 2池化层、 1 ×1且步长为 1的卷积层和转换特征图维度层； 所述分割头模块包括转换序列特征 维度层、 拼接合并层、 上采样层、 1 ×1且步长为1的卷积层和归一 化指数层。 5.根据权利要求4所述的转炉下渣监测方法， 其特征在于， 步骤S5中， 假设输入图片的 高为H， 宽为W，C为模型的基础通道维度数， D为模型的基础序列 维度数， 图像双流分割模型 中包括N级融合模块、 N级第一流下采样模块和N级第二流下采样模块； 训练及验证过程如 下： 步骤S51， 图片输入Stem模块后， 输出 特征图大小为C ×H/2×W/2； 步骤S52， 将所述特征 图通过1×1卷积模块和P ‑E模块进行分流， 第一流经过1 ×1卷积 模块后得到大小为C ×H/2×W/2的特征图， 第二流经过P ‑E模块后得到大小为D ×（HW/4） 的 序列特征； 步骤S53， 将第一流卷积模块输出的特征图和第二流PE模块输出的序列特征同时输入 到第一级融合模块中， 经第一级融合模块的融合， 增强了模型的特征提取能力， 得到大小为 C×H/2×W/2的特征图和D×（HW/4） 的序列特 征； 步骤S54， 将C ×H/2×W/2的特征图和D ×（HW/4） 的序列特征分别输入第一流下采样模 块和第二流下采样模块； 在第一流下采样模块中， 第一流特征图经最大池化层和1 ×1且步 长为1的卷积层将特征图分辨率减半， 通道数翻倍， 得到大小为2C ×H/4×W/4的特征图； 在 第二流下采样模块中， 第二流序列特征经转换序列特征维度层得到大小为D ×H/2×W/2的 特征图， 然后经过最大池化层和1 ×1且步长为1的卷积层将特征图分辨率减半， 通道数翻 倍， 得到大小为2D ×H/4×W/4的特征图， 再经过转换特征图维度层得到2D ×（HW/16） 的序列 特征； 步骤S55， 进入各级融合模块的融合和各级第一流下采样模块和第二流下采样模块的 下采样的循环， 直到将最后一级融合特征图分流， 分别进入最后一级第一流下采样模块和 第二流下采样模块， 最终第一流输出大小为(2N)C×H/(2N+1)×W/(2N+1)的特征图， 第二流输 出大小(2N)D×（HW/(2N+1)2） 的序列特 征； 步骤S56， 将最后一级输出的双流特征汇聚到分割头模块， 通过拼接合并层合并后， 经 过卷积层、 上采样层和归一 化指数层输出分割结果； 步骤S57， 将模型输出的分割结果与图片数据集对应的分割标签进行损失计算， 根据损 失函数的计算结果通过梯度的反传值更新模型参数， 经验证集验证后， 得到成熟 的图像分 割模型。 6.根据权利 要求5所述的转炉下渣监测方法， 其特征在于， 步骤S53和步骤S54所述融合 模块的融合， 执 行如下操作： 特征图和序列特征进入到第i级融合模块中的融合单元， 第一流经过卷积子模块得到 大小为(2i‑1)C×H/2i×W/2i的特征图， 第二流经过轻量化Transfo