(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210913702.3 (22)申请日 2022.08.01 (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 韩勇　石金明　黄红武　张悦苁　 李燕婷　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/50(2022.01) G06V 10/774(2022.01) G06T 7/246(2017.01)G06T 7/277(2017.01) (54)发明名称 一种基于事件相机的道路行人检测跟踪方 法及系统 (57)摘要 本发明公开了一种基于事件相机的道路行 人检测跟踪方法及系统， 涉及道路行人检测追踪 技术领域， 方法包括： 通过事件相机采集目标区 域信息， 并确定待检测图像； 对待检测图像进行 边缘检测处理， 以确定初步图像特征； 将初步图 像特征输入至特征提取模型， 以确定当前行人特 征； 根据当前行人特征， 计算道路行人位置信息； 若道路行人位置信息处于设定安全区域范围， 则 对当前行人特征进行特征追踪， 以确定下一时刻 行人特征， 然后将当前行人特征更新为下一时刻 行人特征， 并返回根据当前行人特征， 计算道路 行人位置信息的步骤； 若道路行人位置信息未处 于设定安全区域范围， 则生成紧急制动指令。 本 发明实现了对道路行 人更全面更及时的保护。 权利要求书3页 说明书8页 附图2页 CN 115240170 A 2022.10.25 CN 115240170 A 1.一种基于事件相机的道路行人检测跟踪方法， 其特征在于， 所述道路行人检测跟踪 方法包括： 通过事件相机采集目标区域信息， 并确定待检测图像； 所述目标区域信息中包括道路 行人； 对所述待检测图像进行边 缘检测处 理， 以确定初步图像特 征； 将所述初步图像特征输入至特征提取模型， 以确定当前行人特征； 所述特征提取模型 为根据样本集对级联分类器进行训练得到； 所述级联分类器由多个Ada  boost强分类器通 过串联的方式集成确定； 所述样本集包括多张道路行 人样本和多张非行 人样本； 根据所述当前行人特征， 计算道路行人位置信息； 所述道路行人位置信息包括所述道 路行人与所述事 件相机之间的距离； 判断所述道路行 人位置信息是否处于设定安全区域范围； 若所述道路行人位置信 息处于设定安全区域范围， 则对所述当前行人特征进行特征追 踪， 以确定下一时刻行人特征， 然后将所述当前行人特征更新为所述下一时刻行人特征， 并 返回根据所述当前 行人特征， 计算道路行 人位置信息的步骤； 若所述道路行 人位置信息未处于设定安全区域范围， 则生成紧急制动指令 。 2.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法， 其特征在于， 对所述 当前行人特征进行特征追踪， 以确定下一时刻行 人特征， 具体包括： 将所述当前 行人特征输入至卡尔曼 滤波器， 以根据公式 xt|t‑1＝Axt‑1|t‑1+But 计算下一时刻行 人特征； 其中， x表示行人特征状态变量， xt|t‑1表示下一时刻行人特征， xt‑1|t‑1表示当前行人特 征， A表示状态转移 矩阵， B表示增益矩阵， ut表示t时刻的控制变量。 3.根据权利要求2所述的基于事件相机的道路行人检测跟踪方法， 其特征在于， 所述道 路行人检测跟踪方法， 还 包括： 根据公式 xt|t＝xt|t‑1+Kt(Zt‑Cxt|t‑1) Kt＝Pt|t‑1CT(CPt|t‑1CT)‑1 Pt|t＝(I‑KtC)Pt|t‑1 对所述下一时刻行人特征进行校正优化， 以得到下一时刻优化行人特征； 所述下一时 刻优化行 人特征用于计算下一时刻对应的道路行 人位置信息； 其中， Pt|t表示在下一时刻的协方差矩阵， Pt|t‑1表示在当前时刻的协方差矩阵， AT表示 状态转移矩阵的转置， Q表示噪声， Kt表示卡尔曼增益， I表示单位矩阵， xt|t表示下一时刻优 化行人特征， Zt表示下一 时刻的行人特征测量值， C表示观测矩阵， CT表示观测矩阵的转置， (CPt|t‑1CT)‑1表示(CPt|t‑1CT)的逆矩阵。 4.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法， 其特征在于， 对所述 待检测图像进行边 缘检测处 理， 以确定初步图像特 征， 具体包括： 对所述待检测图像进行高斯滤波处 理， 得到第一特 征图； 采用Canny算子计算所述第一特 征图中每 个像素的梯度大小和梯度方向； 根据每个像素的梯度大小和梯度方向， 依次通过非极大值抑制处理和双阈值筛选处权　利　要　求　书 1/3 页 2 CN 115240170 A 2理， 以确定初步图像特 征。 5.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法， 其特征在于， 所述 Ada boost强分类 器的训练过程， 包括： 提取所述样本集中每张样本的HO G特征； 对所述样本集中的所有样本进行权重初始化处理， 以确定每张所述样本对应的初始权 重； 根据每张样本的HOG特征进行多次迭代训练， 且在每次迭代训练后， 判断样本错误率是 否达到设定值； 所述样本错 误率为样本被错 误分类的概 率； 若样本错误率未达到设定值， 则判断当前迭代次数是否达到迭代次数阈值， 并在当前 迭代次数未达到迭代 次数阈值时， 对每张样本对应的初始权重进行更新， 且对被错误分类 的样本赋予更 大的初始权 重； 在当前迭代次数达 到迭代次数阈值时， 结束训练； 若样本错误率达到设定值， 则结束训练； 达到设定值的样本错误率所对应的多次迭代 训练的结果构成Ada  boost强分类 器。 6.根据权利要求5所述的基于事件相机的道路行人检测跟踪方法， 其特征在于， 提取所 述样本集中每张样本的HO G特征， 具体包括： 对所述样本集中的每张样本， 依次进行颜色空间归一化处理、 图像梯度计算、 单元格梯 度直方图计算、 直方图归一 化处理， 从而确定所述样本的HO G特征。 7.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法， 其特征在于， 所述通 过事件相机采集目标区域信息， 并确定待检测图像， 具体包括： 通过事件相机采集目标区域信息， 并记录每个像素点的光强变化， 以确定 图像光强变 化量； 当所述图像光强变化量处于设定光强阈值范围时， 将所述图像光强变化量对应的多个 像素点输出为待检测图像。 8.一种基于事件相机的道路行人检测跟踪系统， 其特征在于， 所述道路行人检测跟踪 系统包括： 图像采集模块， 用于通过事件相机采集目标 区域信息， 并确定待检测图像； 所述目标区 域信息中包括道路行 人； 边缘检测模块， 用于对所述待检测图像进行边 缘检测处 理， 以确定初步图像特 征； 特征提取模块， 用于将所述初步图像特征输入至特征提取模型， 以确定当前行人特征； 所述特征提取模型为根据样本集对级联分类器进行训练得到； 所述级联分类器由多个Ada   boost强分类器通过串联的方式集成确定； 所述样本集包括多张道路行人样本和多张非行 人样本； 位置计算模块， 用于根据 所述当前行人特征， 计算道路行人位置信 息； 所述道路行人位 置信息包括所述道路行 人与所述事 件相机之间的距离； 位置判断模块， 用于判断所述道路行 人位置信息是否处于设定安全区域范围； 位置追踪模块， 用于当所述道路行人位置信息处于设定安全区域范围时， 对所述当前 行人特征进行特征追踪， 以确定下一时刻行人特征， 然后将所述当前行人特征更新为所述 下一时刻行 人特征， 并返回所述 位置计算模块； 紧急制动模块， 用于当所述道路行人位置信息未处于设定安全区域范围时， 生成紧急权　利　要　求　书 2/3 页 3 CN 115240170 A 3