(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221079716 5.0 (22)申请日 2022.07.08 (71)申请人 首都体育学院 地址 100191 北京市西城区北三环西1 1号 (72)发明人 蒋现新　 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/00(2006.01) G06T 7/73(2017.01) G06V 40/10(2022.01) G06V 10/46(2022.01) G01C 21/08(2006.01) G01C 21/16(2006.01) (54)发明名称 一种基于IMU定位的多人多视角3D重建方法 (57)摘要 本发明公开了一种基于IMU定位的多人多视 角3D重建方法， 通过在每个人身上放置一个无线 IMU， 获取人体的粗粒度全局3D坐标点， 再利用多 视角的信息进行人体关键点识别和3D重建， 进行 更加精准和细粒度的重建， 提高了3D重建的稳定 性、 可靠性和准确性， 具有极高的应用价值。 本发 明为实现计算机视觉的人体3D重建， 对体育运动 分析与深入研究具有重要与深远的意 义。 权利要求书1页 说明书3页 附图1页 CN 115063537 A 2022.09.16 CN 115063537 A 1.一种基于IMU定位的多人多视角3D重建方法， 利用人体的粗略空间位置信息， 然后构 建以半身高大小的球体， 利用球体在各个视角的投影来确定人体在各个视角的位置， 结合 人体姿态 识别算法获得2D关键点， 在利用2D转3D算法获得 人体关键点3D坐标。 2.根据权利要求1所述的数据采集方法， 其特征在于， 利用IMU获取人体粗略位置3D坐 标。 3.根据权利要求1所述的数据采集方法， 其特征在于， 以粗略位置3D坐标为球心， 身高 为球体的直径。 4.根据权利要求1所述的数据采集方法， 其特征在于， 用球体在各个视角的投影来确定 同一个人在各个视角的位置范围。权　利　要　求　书 1/1 页 2 CN 115063537 A 2一种基于IMU定位的多人多视角3D 重建方法 技术领域 [0001]计算机视觉， 人体3D重建 背景技术 [0002]在当前的计算机视觉人体3D重建中， 一般是基于深度学习算法进行人体关键点识 别， 然后采用DLT等算法进行3D重建。 由于单个相机只能提供2D信息， 因此需要人体3D重建 需要多个相机从多个角度来提供图片信息。 在多 人的场景中， 在一个视角的图片中人物A在 另一个视角中的对应位置需要复杂的算法来 实现， 比如匈牙利算法等， 这些算法 复杂、 需要 大量的计算资源和很长的计算时间， 并且结果不是十 分可靠。 针对体育运动的多 人场景， 往 往需要一种实时和可靠的方法来快速构建多 人的3D坐标， 以获取人体运动轨迹进 行更多运 动相关的分析。 另一方面， IMU能实时获取位置信息， 但存在精度不 足等问题， 只能进 行粗粒 度的定位。 本发 明结合IMU的特点， 利用IMU获取每个人腰部的粗略位置， 利用腰部的3D坐标 快速识别同一个人在各个视角中的粗略位置， 供3D重建使用。 这种技术方法避免了复杂的 计算， 保证了结果可靠性， 同时提高了实时性， 对于体育运动分析和人体3D 重建具有非常广 泛的应用价 值。 发明内容 [0003]本发明阐述了一种利用无线IMU获取人体粗略位置和结合多角度的图像信息来实 现多人场景的人体3D重建 的技术方案。 需要在每个人的腰部放置一个IMU， 通过IMU来获取 全局3D坐标点(利用地磁信息， 一般需要9轴的IMU都能输出3D坐标点)， 然后以腰部为球心， 对应的人 的身高一半为半径， 构建一个能覆盖一个人全身的球体。 然后将球体投影到各个 相机的像平面， 在每个相 机的像平面得到圆形。 同一个球在各个相 机投影得到的圆内的人 体信息属于同一个人， 利用这一原理， 快速将同一个人在不同相 机图片中的粗略位置计算 出来。 这些同一个人的信息， 结合每个人的人体2D关键点信息， 利用DLT算法， 从而实现人体 3D信息快速 重建。 本发明的重要步骤如下： [0004]1)利用IMU获取人体腰部的粗略位置的3D 坐标， 采用无线IMU目的是不影响人体的 正常运动。 [0005]2)以腰部位置的3D坐标为球心， 人身高的一半为半径， 构建代 表一个人的球 体。 [0006]3)将球体投影到各个相机的像平面， 得到同一个人在各个相机像平面的圆形位 置。 [0007]4)利用基于深度学习的人体姿态识别算法， 比如OpenPose， HRnet等将人体在各个 视角的图片中的人体关键点2D坐标。 利用同一个球体在各个视角的投影圆形， 快速识别同 一个人在各个视角对应的位置 。 避免了复杂的同一个人识别算法， 提高了实时性和准确性。 [0008]5)将同一个人在各个视角的2D坐标信息进行DLT算法处理， 实现2D到3D的变换。 从 而得到一个人的3D坐标点。 [0009]6)利用相同的方法对剩余的人进行 逐个处理， 从而实现多人的人体3D重建。说　明　书 1/3 页 3 CN 115063537 A 3