standard download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774786.7 (22)申请日 2022.07.01 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 颜玢玢 聂炜欣 张梓源 史浩君 韩蒂 陈硕 桑新柱 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 梁军丽 (51)Int.Cl. G06T 15/55(2011.01) G06T 17/00(2006.01) G06T 7/90(2017.01) G06T 7/80(2017.01) G06T 7/70(2017.01)G06N 3/02(2006.01) (54)发明名称 虚拟多视点视频生成方法、 装置、 电子设备 和存储介质 (57)摘要 本发明提供一种虚拟多视点视频生成方法、 装置、 电子设备和存储介质, 涉及计算机视觉技 术领域, 所述方法包括: 接收终端设备发送的稀 疏视点图像; 基于稀疏视点图像, 确定终端设备 的位姿信息; 对稀疏视点图像进行光线采样, 并 基于终端设备的位姿信息, 确定采样点的坐标信 息; 将采样点的坐标信息输入神经辐射场模型, 输出虚拟新视点图像, 并基于多张虚拟新视点图 像, 确定虚拟多视点视频, 其中, 神经辐射场模型 用于进行稀疏视点图像的坐标信息至颜色空间 的映射和虚拟新视点图像的生 成。 本发明可实现 任意视角下虚拟新视点图像的生成, 并合成虚拟 多视点视频, 且 有效降低终端设备的计算 量。 权利要求书2页 说明书9页 附图5页 CN 115359173 A 2022.11.18 CN 115359173 A 1.一种虚拟多视点视频生成方法, 其特 征在于, 包括: 接收终端设备发送的稀疏视点图像; 基于所述稀疏视点图像, 确定终端设备的位姿信息; 对所述稀疏视点图像进行光线采样, 并基于所述终端设备的位姿信息, 确定采样点的 坐标信息; 将所述采样点的坐标信息输入神经辐射场模型, 输出虚拟新视点图像, 并基于多张所 述虚拟新视点图像, 确定虚拟多视点视频, 其中, 所述神经辐射场模 型用于进 行稀疏视点图 像的坐标信息 至颜色空间的映射和虚拟新视点图像的生成。 2.根据权利要求1所述的虚拟多视点视频生成方法, 其特征在于, 所述对所述稀疏视点 图像进行光线采样, 并基于所述终端设备的位姿信息, 确定采样点的坐标信息, 包括: 在所述稀疏视点图像的视锥范围内进行光线采样, 结合利用COLMAP算法所确定的终端 设备的位姿信息和内参, 确定采样光线上每 个采样点的坐标信息 。 3.根据权利要求2所述的虚拟多视点视频生成方法, 其特征在于, 所述每个采样点的坐 标信息, 包括5D坐标, 所述5D坐标包括3D位置坐标和2D视角方向坐标。 4.根据权利要求3所述的虚拟多视点视频生成方法, 其特征在于, 所述将所述采样点的 坐标信息输入神经辐射场模型, 输出虚拟新视点图像, 并基于多张所述虚拟新视点图像, 确 定虚拟多视点视频, 其中, 所述神经辐 射场模型用于进行稀疏视点图像的坐标信息至颜色 空间的映射和虚拟新视点图像的生成, 包括: 将编码的所述3D位置坐标输入神经辐射场模型的第 一阶段网络, 在确定每个采样点处 的体密度值的同时输入编码的2D方向坐标, 基于积分粗略预测, 输出每个采样点处的第一 RGB预测值, 其中, 所述神经辐射场模型的第一阶段网络中加入跳跃连接网络, 所述跳跃连 接网络用于实现第一阶段网络快速、 稳定的收敛; 基于所述体密度值进行重采样, 并将重采样前后采样点的坐标信 息输入神经辐射场模 型的第二阶段网络进行精细预测, 输出每个采样点的第二RGB预测值, 其中, 所述体密度值 用于确定 重采样的采样点的位置信息; 根据光线积分, 确定光线对应的所述稀疏视点图像平面 坐标处的真实 RGB值; 基于所述第一RGB 预测值、 第二RGB 预测值和真实RGB值, 确定神经辐射场模型的损失函 数; 基于所述损 失函数的反向传播, 更新神经辐射场模型的网络参数, 并确定虚拟新视点 图像; 基于多张所述虚拟新视点图像, 确定虚拟多视点视频。 5.根据权利要求1所述的虚拟多视点视频生成方法, 其特征在于, 所述终端设备的位姿 信息包括终端设备的旋转向量和平 移向量。 6.根据权利要求1至 5中任一项所述的虚拟多视点视频生成方法, 其特 征在于, 还 包括: 将虚拟多视点视频进行编码, 并将编码的虚拟多视点视频发送至终端设备, 所述终端 设备用于采集并编码所述稀疏视点图像, 并将编码的所述稀疏视点图像进行发送; 所述终 端设备用于 接收并解码所述虚拟多视点视频, 并显示 解码后的所述虚拟多视点视频。 7.一种虚拟多视点视频生成装置, 其特 征在于, 包括: 接收模块, 用于 接收终端设备发送的稀疏视点图像;权 利 要 求 书 1/2 页 2 CN 115359173 A 2确定模块, 用于基于所述稀疏视点图像, 确定终端设备的位姿信息; 采样模块, 用于对所述稀疏视点图像进行光线采样, 并基于所述终端设备的位姿信 息, 确定采样点的坐标信息; 输出模块, 用于将所述采样点的坐标信 息输入神经辐射场模型, 输出虚拟新视点图像, 并基于多张所述虚拟新视点图像, 确定虚拟多视点视频, 其中, 所述神经辐射场模型用于进 行稀疏视点图像的坐标信息 至颜色空间的映射和虚拟新视点图像的生成。 8.根据权利要求7 所述的虚拟多视点视频生成装置, 其特 征在于, 还 包括: 发送模块, 用于将虚拟多视点视频进行编码, 并将编码的虚拟多视点视频发送至终端 设备。 9.一种电子设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求1至6任一项所 述虚拟多视点视频生成方法。 10.一种非暂态计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算 机程序被处 理器执行时实现如权利要求1至 6任一项所述虚拟多视点视频生成方法。权 利 要 求 书 2/2 页 3 CN 115359173 A 3
专利 虚拟多视点视频生成方法、装置、电子设备和存储介质
文档预览
中文文档
17 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-24 00:44:51
上传分享
举报
下载
原文档
(1.1 MB)
分享
友情链接
DB41-T 1666-2018 非金属矿绿色矿山建设规范 河南省.pdf
DL-T 2340-2021 大坝安全监测资料分析规程.pdf
互联网信息服务管理办法(修订草案征求意见稿).pdf
GW0101-2014 国家电子政务外网 信息安全标准体系框架.pdf
T-JSQX 0011—2022 江苏省纯电动重型卡车换电电池包系统技术规范.pdf
DB23-T 3337—2022 黑龙江省超低能耗居住建筑节能设计标准 黑龙江省.pdf
GB-T 35278-2017 信息安全技术 移动终端安全保护技术要求.pdf
GB-T 29920-2013 电工用稀土高铁铝合金杆.pdf
TTAF 077.18—2022 APP收集使用个人信息最小必要评估规范 第18部分:剪切板信息.pdf
GM-T 0120-2022 基于云计算的电子签名服务技术实施指南.pdf
T-WEEA 007—2022 手摇式升降课桌椅.pdf
T-ZZB 1640—2020 保温杯 壶 用热固性粉末涂料.pdf
T-GSIA 002—2022 大数据产品评估规范.pdf
GB-T 42015-2022 信息安全技术 网络支付服务数据安全要求.pdf
5-99-02-02 农村节能员.pdf
绿盟 2019工业控制系统信息安全保障框架.pdf
GB-T 36670-2018 城市道路交通组织设计规范.pdf
T-WX 0001—2017 移动终端数字证书应用标准 总体框架.pdf
ISO IEC 27000-2018.pdf
GB-T 10001.1-2012 公共信息图形符号 第1部分:通用符号.pdf
1
/
17
评价文档
赞助2.5元 点击下载(1.1 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。