(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960547.0 (22)申请日 2022.08.11 (71)申请人 上海赫千电子科技有限公司 地址 200125 上海市浦东 新区东三里桥路 1018号A座 403室 (72)发明人 肖文平　何敖东　 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) H04N 5/225(2006.01) G01S 17/89(2020.01) G01S 17/931(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于无 人配送车的3D目标识别方法 (57)摘要 本发明提供一种用于无人配送车的3D目标 识别方法， 具体包括： 获取安装车身的激光雷达 捕获的点云图像和车载摄像头所拍摄的图像； 将 车载摄像头所拍摄的图像通过第一神经网络模 型进行运算后获取图像中的二维目标的位置和 类别； 根据获取二维目标的位置， 映射到激光雷 达成像的三维点云图像的目标位置并选择目标 对应的点云数据； 将类别和点云数据输入第二神 经网络进行运算后通过从点云数据中分割出3D 目标的全局特征； 将连续多帧的3D目标全局特征 输入在第三神经网络中， 通过网络回归出3D目标 的位置。 通过本发明设计第一神经网络至第三神 经网络， 能够精准的回归出3D目标的位置， 为无 人配送车进行路径规划以及避障提供重要的基 础数据。 权利要求书3页 说明书11页 附图5页 CN 115359446 A 2022.11.18 CN 115359446 A 1.一种用于无 人配送车的3D目标识别方法， 其特 征在于， 至少包括： 分别获取安装车身的激光雷达捕获的点云图像和车 载摄像头所拍摄的图像； 将车载摄像头所拍摄的图像通过第一神经网络模型进行运算后获取图像中的二维目 标的位置和类别； 根据获取二维 目标的位置， 映射到激光雷达成像的三维点云图像的目标位置并选择目 标对应的点云数据； 将类别和点云数据输入第二神经网络进行运算后通过从点云数据中分割出3D 目标的 全局特征； 将连续多帧的3D目标全局特征输入在第三神经网络中， 通过网络回归出3D目标的位 置。 2.如权利要求1所述一种用于无人配送车的3D目标识别方法， 其特征在于， 激光雷达的 点云数据与车 载以太网的摄 像头拍摄的图像的位置进行匹配对应， 具体包括： 采用棋盘格方法获取标定矩阵对输入点云进行剪裁， 利用标定矩阵将每个点p(x,y,z) 投影到图像平面上， 只保留图像平面内的点， 使得激光雷达和摄像头两个传感器数据具有 相同的视场范围， 投影公式为： 其中， K是摄像头的内参标定矩阵， R和t是描述激光雷达和摄像头位置之间的旋转矩阵 和平移向量， (u,v)则是点p(x,y,z)对应的图像坐标。 3.如权利要求1所述一种用于无人配送车的3D目标识别方法， 其特征在于， 激光雷达的 帧数据与摄 像头的帧数据进行时间同步， 具体包括： 根据gPTP协议分别计算车载以太网摄像头和激光雷达到自动驾驶主机的时间延迟和 频率偏移； 根据各自的时间延迟和频率偏移对车 载以太网摄 像头和激光雷达进行时间同步校准； 以自动驾驶主机接收到的激光雷达发送的点云数据的时间点为参考基准， 获取最接近 当前激光雷达的点云数据对应时间的前一帧图像数据和后一帧图像数据， 通过线性插值 法， 获得配准后的图像数据， 并给配准后的图像数据标记上当前的参 考时间戳。 4.如权利要求1所述一种用于无人配送车的3D目标识别方法， 其特征在于， 第 三神经网 络包括： LSTM网络、 全连接层； 通过LSTM网络将连续多帧的3D目标全局特征向量进行运算提取感兴趣目标的临时增 强特征向量， 将临时增强特 征向量输入 全连接层回归出3D目标的精确位置 。 5.如权利要求4所述一种用于无人配送车的3D目标识别方法， 其特征在于， 隐含层均采 用多层LSTM单 元， 通过网格搜索方法确定最佳的隐含层数和 神经元个数超参数 取值； 通过LSTM单 元进行提取 特征后输入至全连接层进行回归出3D目标框的详细参数。 6.如权利要求4所述一种用于无人配送车的3D目标识别方法， 其特征在于， 对连续多帧 3D目标全局特征向量进 行相似度的损失函数控制， 以提供相同对象的特征嵌入在连续帧中 是相似的； 连续帧中取同一对象的两个特 征向量之间的相似度差来计算；权　利　要　求　书 1/3 页 2 CN 115359446 A 2v和ω是来自连续帧的对象的特 征向量， l 为向量的维度； 当输入连续多帧对象连续的余弦距离损 失超过某一阈值时， 过滤本次预测， 继续进行 下一次预测。 7.如权利要求1所述一种用于无人配送车的3D目标识别方法， 其特征在于， 第 一神经网 络模型是基于二维卷积的神经网络模型， 具体包括： 多层残差网络单元、 第一卷积特征层、 第二卷积特征层、 第三卷积特征层、 第四卷积特征层， 其中， 多层残差网络单元用于对输入 图像数据进行处理， 根据第一卷积特征层模型参数， 对图像数据的输入尺寸和通道数进行 特征提取； 从第一卷积特征层至第 四卷积特征层， 每次经过一个卷积层， 尺寸缩小为原来的2倍， 通道数增 加为原来的2倍。 8.如权利要求1所述一种用于无人配送车的3D目标识别方法， 其特征在于， 第 一神经网 络模型还 包括： 第一预测层、 第二预测层、 第三预测层、 第四预测层、 合并层； 其中， 从上至下， 从第四卷积特征层至第一卷积特征层开始， 下层的输出与对应上一层 的输出经过反卷积层进行2倍的上采样的输出进行相加后依 次形成第三预测层、 第二预测 层、 第一预测层； 第四预测层与第四卷积特 征层相同； 将第一预测层至第四预测层进行合并后形成合并层； 合并层经 过一个1*1的卷积层后进行回归出2D目标位置信息和2D目标对应的类别。 9.如权利要求1所述一种用于无人配送车的3D目标识别方法， 其特征在于， 第 二神经网 络包括： 第一分支全局特征提取网络、 中心偏移特征提取网络、 特征中心变化网络、 第二分 支全局特 征提取网络； 其中， 第一分支全局特征提取网络提取第 一全局特征后分别输入至 中心偏移特征提取 网络和特 征中心变化网络进行相应的特 征提取； 然后将中心偏移特征提取网络的输出与 特征中心变化网络的输出拼接处理后， 在输入 至第二分支全局特 征提取网络进行第二全局特 征的提取。 10.如权利要求1所述一种用于无人配送车的3D 目标识别方法， 其特征在于， 第二神经 网络是基于一维卷积层、 全连接层、 一维最大池化层为基的组合。 11.如权利要求9所述一种用于无人配送车的3D 目标识别方法， 其特征在于， 第一分支 全局特征提取网络 至少包括 一维卷积， 具体包括： 多个卷积层、 最大池化层、 全连接层； 每经历一个卷积层， 输出通道数增 加或者不变， 而点云的数量保持不变； 然后通过最大池化层， 选择 所有目标点中最大 特征数值表示3D目标； 通过两个全连接层后对语义特 征进行进一 步提取； 其中， 将预设卷积层的输出与预设全连接层的输出进行拼接获得的3D目标 特征数据。 12.如权利要求11所述一种用于无人配送车的3D目标识别方法， 其特征在于， 第 一分支 全局特征提取网络包括序列分支网络， 通过序列支网络训练一个正交矩阵来对输入点云进 行旋转， 使 整个网络模型能够匹配各种旋转角度的点云。权　利　要　求　书 2/3 页 3 CN 115359446 A 3