(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774786.7 (22)申请日 2022.07.01 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 颜玢玢　聂炜欣　张梓源　史浩君　 韩蒂　陈硕　桑新柱　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 梁军丽 (51)Int.Cl. G06T 15/55(2011.01) G06T 17/00(2006.01) G06T 7/90(2017.01) G06T 7/80(2017.01) G06T 7/70(2017.01)G06N 3/02(2006.01) (54)发明名称 虚拟多视点视频生成方法、 装置、 电子设备 和存储介质 (57)摘要 本发明提供一种虚拟多视点视频生成方法、 装置、 电子设备和存储介质， 涉及计算机视觉技 术领域， 所述方法包括： 接收终端设备发送的稀 疏视点图像； 基于稀疏视点图像， 确定终端设备 的位姿信息； 对稀疏视点图像进行光线采样， 并 基于终端设备的位姿信息， 确定采样点的坐标信 息； 将采样点的坐标信息输入神经辐射场模型， 输出虚拟新视点图像， 并基于多张虚拟新视点图 像， 确定虚拟多视点视频， 其中， 神经辐射场模型 用于进行稀疏视点图像的坐标信息至颜色空间 的映射和虚拟新视点图像的生 成。 本发明可实现 任意视角下虚拟新视点图像的生成， 并合成虚拟 多视点视频， 且 有效降低终端设备的计算 量。 权利要求书2页 说明书9页 附图5页 CN 115359173 A 2022.11.18 CN 115359173 A 1.一种虚拟多视点视频生成方法， 其特 征在于， 包括： 接收终端设备发送的稀疏视点图像； 基于所述稀疏视点图像， 确定终端设备的位姿信息； 对所述稀疏视点图像进行光线采样， 并基于所述终端设备的位姿信息， 确定采样点的 坐标信息； 将所述采样点的坐标信息输入神经辐射场模型， 输出虚拟新视点图像， 并基于多张所 述虚拟新视点图像， 确定虚拟多视点视频， 其中， 所述神经辐射场模 型用于进 行稀疏视点图 像的坐标信息 至颜色空间的映射和虚拟新视点图像的生成。 2.根据权利要求1所述的虚拟多视点视频生成方法， 其特征在于， 所述对所述稀疏视点 图像进行光线采样， 并基于所述终端设备的位姿信息， 确定采样点的坐标信息， 包括： 在所述稀疏视点图像的视锥范围内进行光线采样， 结合利用COLMAP算法所确定的终端 设备的位姿信息和内参， 确定采样光线上每 个采样点的坐标信息 。 3.根据权利要求2所述的虚拟多视点视频生成方法， 其特征在于， 所述每个采样点的坐 标信息， 包括5D坐标， 所述5D坐标包括3D位置坐标和2D视角方向坐标。 4.根据权利要求3所述的虚拟多视点视频生成方法， 其特征在于， 所述将所述采样点的 坐标信息输入神经辐射场模型， 输出虚拟新视点图像， 并基于多张所述虚拟新视点图像， 确 定虚拟多视点视频， 其中， 所述神经辐 射场模型用于进行稀疏视点图像的坐标信息至颜色 空间的映射和虚拟新视点图像的生成， 包括： 将编码的所述3D位置坐标输入神经辐射场模型的第 一阶段网络， 在确定每个采样点处 的体密度值的同时输入编码的2D方向坐标， 基于积分粗略预测， 输出每个采样点处的第一 RGB预测值， 其中， 所述神经辐射场模型的第一阶段网络中加入跳跃连接网络， 所述跳跃连 接网络用于实现第一阶段网络快速、 稳定的收敛； 基于所述体密度值进行重采样， 并将重采样前后采样点的坐标信 息输入神经辐射场模 型的第二阶段网络进行精细预测， 输出每个采样点的第二RGB预测值， 其中， 所述体密度值 用于确定 重采样的采样点的位置信息； 根据光线积分， 确定光线对应的所述稀疏视点图像平面 坐标处的真实 RGB值； 基于所述第一RGB 预测值、 第二RGB 预测值和真实RGB值， 确定神经辐射场模型的损失函 数； 基于所述损 失函数的反向传播， 更新神经辐射场模型的网络参数， 并确定虚拟新视点 图像； 基于多张所述虚拟新视点图像， 确定虚拟多视点视频。 5.根据权利要求1所述的虚拟多视点视频生成方法， 其特征在于， 所述终端设备的位姿 信息包括终端设备的旋转向量和平 移向量。 6.根据权利要求1至 5中任一项所述的虚拟多视点视频生成方法， 其特 征在于， 还 包括： 将虚拟多视点视频进行编码， 并将编码的虚拟多视点视频发送至终端设备， 所述终端 设备用于采集并编码所述稀疏视点图像， 并将编码的所述稀疏视点图像进行发送； 所述终 端设备用于 接收并解码所述虚拟多视点视频， 并显示 解码后的所述虚拟多视点视频。 7.一种虚拟多视点视频生成装置， 其特 征在于， 包括： 接收模块， 用于 接收终端设备发送的稀疏视点图像；权　利　要　求　书 1/2 页 2 CN 115359173 A 2确定模块， 用于基于所述稀疏视点图像， 确定终端设备的位姿信息； 采样模块， 用于对所述稀疏视点图像进行光线采样， 并基于所述终端设备的位姿信 息， 确定采样点的坐标信息； 输出模块， 用于将所述采样点的坐标信 息输入神经辐射场模型， 输出虚拟新视点图像， 并基于多张所述虚拟新视点图像， 确定虚拟多视点视频， 其中， 所述神经辐射场模型用于进 行稀疏视点图像的坐标信息 至颜色空间的映射和虚拟新视点图像的生成。 8.根据权利要求7 所述的虚拟多视点视频生成装置， 其特 征在于， 还 包括： 发送模块， 用于将虚拟多视点视频进行编码， 并将编码的虚拟多视点视频发送至终端 设备。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述虚拟多视点视频生成方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至 6任一项所述虚拟多视点视频生成方法。权　利　要　求　书 2/2 页 3 CN 115359173 A 3