(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081084.7 (22)申请日 2022.09.06 (71)申请人 苏州广目汽车 科技有限公司 地址 215000 江苏省苏州市姑苏区朱家湾 街8号5幢201-1 16室 (72)发明人 罗马思阳 　王利杰　万印康　 (74)专利代理 机构 苏州途正专利代理有限公司 32559 专利代理师 胡培培 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G01S 13/50(2006.01) G01S 13/58(2006.01) G01S 13/931(2020.01) (54)发明名称 一种基于多传感器融合的恶劣天气车辆检 测的方法 (57)摘要 本发明公开了一种基于多传感器融合的恶 劣天气车辆检测的方法， 包括毫米波雷达和热成 像摄像机， 所述检测方法包括以下步骤： S1、 使用 监督学习训练基于LightGBM的分类器： 对毫 米波 雷达的检测信息提取样本， 每个样本分配标签， 样本标签是通过将雷达目标与真实交通环境进 行匹配获得的； S2、 基于雷达和图像融合的车辆 感兴趣区域提取； 本发明方法使用监督学习训练 基于LightGBM的分类器， 根据雷达目标的分布从 红外图像中估计车辆的潜在区域， 并基于像素回 归预测车辆的感兴趣区域， 基于雷达的感兴趣区 域提取方法可以避免复杂的计算和环境中热源 的干扰， 这将大大提高感兴趣区域提取的速度和 准确性， 基于类Haar特征和支持向量机对车辆进 行检测。 权利要求书2页 说明书5页 附图2页 CN 115456066 A 2022.12.09 CN 115456066 A 1.一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征在于： 包括毫米波雷达 和热成像 摄像机， 所述检测方法包括以下步骤： S1、 使用监督学习训练基于LightGBM的分类器： 对毫米波雷达的检测信息提取样本， 每 个样本分配标签， 样本标签是通过将雷达目标与真实交通环境进行匹配获得的； S2、 基于雷达和图像融合的车辆感兴趣区域提取： 将雷达检测目标投影到图像平面上 以获得车辆的潜在位置分布， 并基于像素回归算法预测ROI大小； S3、 基于类Haar特征和支持向量机的车辆检测： 通过类Haar模板从图像中提取特征参 数， 并使用积分图来加速类Ha ar特征的计算。 2.根据权利要求1所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述毫米波 雷达可以同时检测64个目标， 并输出每个目标的位置和运动状态信息； 红 外摄像机将环境的热辐射 转换为灰色图像。 3.根据权利要求1所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述毫米波雷达具有大量的目标检测信息， 仅保留对目标分类有用的特征， 如速度、 距离和回波强度。 4.根据权利要求1所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 准确度和TPR用于评估所述S1标签车辆分类模型的性能， 精度和TPR的定义如等式所 示： 5.根据权利要求4所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述等式中TP(True  Positive)： 真正例， 实际上和预测中都是正例； FP(False   Positive)： 假正例， 实际上是负例， 但是被预测为正例了； FN(False  Negative)： 假负例， 实 际上是正例， 但是被预测为负例了； TN(True  Negative)： 真负例， 实际上和预测中都是负 例。 6.根据权利要求4所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述精度表示模型对所有目标的分类能力， 车辆漏检是影响自动驾驶安全的最主要 因素， TPR表示车辆目标的召回率， 准确度和TPR是评估自动驾驶领域的模型。 7.根据权利要求1所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述S2中车辆坐标变换和时间同步确保了雷达和红外摄像机信息的传输是一致的， 雷达和图像之间的坐标变换 可以用以下等式表示： 等式中(u， v)是雷达 目标(R， α )在图像坐标中的投影， [fx， fy， uo， vo]是摄像机的内部 参数， [Rc， Tc]是两个3 ×3矩阵， 表示摄像机的外部参数， 通过校准实验获得的以上参数； [X0， Y0， Z0]表示雷达坐标系和车辆坐标系原点之间的偏移， 并使用时间戳对齐来确保传感 器信息传输的同步。 8.根据权利要求7所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述S2中采用像素回归估计ROI区域的大小， 幂函数在像素回归中具有最佳性能， 幂权　利　要　求　书 1/2 页 2 CN 115456066 A 2函数的表达式如以下等式所示： f(x)＝6.0 03×105x‑1.896‑57.05 x表示车辆目标的纵向距离， 由雷达检测信息提供， 且将原 始ROI区域扩大1.4 倍。 9.根据权利要求1所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 所述S3中积分图来加速类Haar特征的计算， 积分图红外热图像中有一个点A(x， y)， 该 点的灰度值为i(x， y)， 积分图i(x， y)的定义由以下等式表示： I(x,y)＝∑x'≤x,y'≤yi(x', y')。 10.根据权利要求1所述的一种基于多传感器融合的恶劣天气车辆检测的方法， 其特征 在于： 多个特征的级联与Ababoost算法结合来检测车辆， 所述AdaBoost的分类器训练主要 包括三个步骤： 弱分类 器训练、 权 重更新和强分类 器训练。权　利　要　求　书 2/2 页 3 CN 115456066 A 3