(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210838759.1 (22)申请日 2022.07.18 (65)同一申请的已公布的文献号 申请公布号 CN 114998771 A (43)申请公布日 2022.09.02 (73)专利权人 沃飞长空科技 （成 都） 有限公司 地址 610000 四川省成 都市 （四川） 自由贸 易试验区成都 高新区天府五街200号5 号楼A区601、 602号 专利权人 浙江吉利控股集团有限公司 (72)发明人 薛松柏　李德　徐大勇　郭亮　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 李俊杰 (51)Int.Cl. G06V 20/17(2022.01)G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G08G 5/00(2006.01) G08G 5/04(2006.01) (56)对比文件 CN 105100247 A,2015.1 1.25 叶亚洲.动态三维复杂场景感知及其增强合 成视景技 术. 《中国优秀硕士学位 论文全文数据 库 (工程科技 II辑)》 .2019,(第02期), 叶亚洲.动态三维复杂场景感知及其增强合 成视景技 术. 《中国优秀硕士学位 论文全文数据 库 (工程科技 II辑)》 .2019,(第02期), 宋琳.无人机飞行途中视 觉导航关键技 术研 究. 《中国博士学位 论文全文数据库 (工程科技 Ⅱ辑)》 .2015,(第07期), 审查员 刘穗君 (54)发明名称 飞行器视景增强的显示方法、 系统、 飞行器 及存储介质 (57)摘要 本发明公开了飞行器视景增强的显示方法、 系统、 飞行器及存储介质， 应用于飞行器显示技 术领域。 该方法包括： 获取飞行器远处实景的图 像数据、 环境数据以及目标对象数据； 将所述图 像数据、 所述环境数据以及所述目标对象数据进 行数据融合， 形成增强视景数据； 在飞行器的显 示屏上显示所述增强视景数据的技术方案， 由于 可以将多个渠道采集的数据融合成增强视景数 据后， 在飞行器的显示屏上显示该增强视景数 据， 使得数据可以集中显示， 便于观察， 提高飞行 安全。 权利要求书2页 说明书13页 附图2页 CN 114998771 B 2022.11.01 CN 114998771 B 1.一种飞行器视景增强的显示方法， 其特征在于， 所述飞行器视景增强的显示方法包 括： 获取飞行器 远处实景的图像数据、 环境数据以及目标对象数据； 将所述图像数据、 所述环境数据以及所述目标对象数据进行数据融合， 形成增强视景 数据， 所述 目标对象数据包括合作目标 的运行状态数据， 所述合作目标的运行状态数据包 括飞行速度和飞行角度， 通过所述目标对象的运行状态数据和所述 飞行器的运行状态数据 以预测所述飞行器与所述目标对象是否会发生碰撞； 获取当前的光线强度和透明显示屏的布局位置； 根据所述光线强度和所述透明显示屏的布局位置确定所述透明显示屏的目标显示亮 度； 调节所述透明显示屏的亮度至所述目标显示亮度。 2.如权利要求1所述的飞行器视景增强的显示方法， 其特征在于， 所述将所述图像数 据、 所述环境数据以及所述目标对象数据进行 数据融合， 形成增强视景 数据的步骤 包括： 识别所述图像数据、 所述环境数据以及所述目标对象数据； 在识别到所述图像数据、 所述环境数据以及所述目标对象数据中的至少一个存在目标 对象时， 则判定飞行器的预设飞行 范围内存在目标对象； 在判定飞行器的预设飞行范围内存在目标对象时， 将所述图像数据、 所述环境数据以 及所述目标对象数据进行 数据融合， 形成所述增强视景 数据。 3.如权利要求1所述的飞行器视景增强的显示方法， 其特征在于， 所述将所述图像数 据、 所述环境数据以及所述目标对象数据进 行数据融合， 形成增强视景数据的步骤之后， 还 包括： 根据所述目标对象的运行状态数据以及飞行器的运行状态数据预测所述飞行器与所 述目标对象是否会发生碰撞； 若否， 执行在飞行器的显示屏上显示所述增强视景 数据的步骤； 若是， 生成告警信息 。 4.如权利要求1所述的飞行器视景增强的显示方法， 其特征在于， 所述将所述图像数 据、 所述环境数据以及所述目标对象数据进行 数据融合， 形成增强视景 数据的步骤 包括： 提取所述图像数据中的目标特征数据， 将所述目标特征数据、 所述目标对象数据以及 所述环境数据进行 数据融合， 形成所述增强视景 数据； 或者， 获取飞行器的仪表数据以及飞行轨迹， 将所述图像数据、 所述环境数据、 所述目标对象 数据、 所述仪表数据以及所述飞行轨 迹进行数据融合， 形成所述增强视景 数据。 5.如权利要求4所述的飞行器视景增强的显示方法， 其特征在于， 所述提取所述图像数 据中的目标 特征数据包括： 根据所述环境数据确定环境 光线强度； 从所述图像数据中提取与所述环境 光线强度匹配的所有目标图像数据； 融合所有所述目标图像数据， 得到所述目标 特征数据。 6.如权利要求5所述的飞行器视景增强的显示方法， 其特征在于， 所述从所述图像数据 中提取与所述环境 光线强度匹配的所有目标图像数据的步骤 包括： 提取所述图像数据中的特 征点；权　利　要　求　书 1/2 页 2 CN 114998771 B 2基于相似性度量以及所述特 征点确定匹配的特 征点对； 根据所述匹配的特 征点对确定单应性矩阵； 基于所述单应性矩阵对所述图像数据进行转换， 得到配准处 理后的所述图像数据； 从所述配准处理后的所述图像数据中提取与所述环境光线强度匹配的所有目标图像 数据。 7.如权利要求5所述的飞行器视景增强的显示方法， 其特征在于， 所述融合所有所述目 标图像数据， 得到所述目标 特征数据的步骤 包括： 提取各个所述目标图像数据中的特 征数据； 基于预设融合方式将各个所述目标图像数据中的特征数据进行融合， 得到所述目标特 征数据， 其中， 所述预设融合方式包括逻辑滤波法、 加权平均法、 数学形态法、 图像代数法、 模拟退火 法、 金字塔图像融合法、 小 波变换图像融合法和多尺度分解法中的至少一个。 8.如权利要求4所述的飞行器视景增强的显示方法， 其特征在于， 所述将所述目标特征 数据、 所述目标对象数据以及所述环境数据进行 数据融合， 形成所述增强视景 数据包括： 根据所述目标对象数据以及所述目标特征数据确定目标对象的类型， 所述目标对象的 类型包括 合作目标对象或者非合作目标对象； 从所述目标特征数据、 所述环境数据以及所述目标对象数据中提取与 所述目标对象的 类型匹配的所有目标源数据； 提取各个所述目标源数据中的特 征数据； 将各个所述特 征数据进行融合， 得到所述增强视景 数据。 9.如权利要求1所述的飞行器视景增强的显示方法， 其特征在于， 所述获取飞行器远处 实景的图像数据、 环境数据以及目标对象数据的步骤 包括： 确定距离所述飞行器最近的合作目标对象， 接收所述最近的合作目标对象采集的所述 飞行器远处实景的图像数据、 环境数据以及目标对象数据， 其中， 所述合作目标对象与所述 飞行器之 间建立有第一通信关系， 以基于所述第一通信关系进行所述合作目标对象与所述 飞行器之间的数据共享； 和/或， 基于所述飞行器上对应的传感器采集所述飞行器远处实景的图像数据、 环境数据以及 目标对象数据； 和/或， 基于智能终端获取所述飞行器远处实景的图像数据、 环境数据以及目标对象数据， 其 中， 所述智能终端、 所述合作目标对象与所述 飞行器三者之间建立有第二通信关系， 以基于 所述第二 通信关系进行 所述智能终端、 所述 合作目标对象与所述飞行器之间的数据共享。 10.一种飞行器， 其特征在于， 所述飞行器包括： 存储器、 数据处理器及存储在所述存储 器上并可在所述数据处理器上运行的飞行器视景增强的显示程序， 所述 飞行器视景增强的 显示程序被所述数据处理器执行时实现如权利要求1 ‑9中任一项 所述的飞行器视景增强的 显示方法的步骤。 11.一种飞行器视景增强的显示系统， 其特征在于， 所述飞行器视景增强的显示系统包 括： 环境监测装置、 可调节透明度与亮度的显示屏以及 如权利要求10所述的飞行器。 12.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有飞行器视 景增强的显示程序， 所述 飞行器视景增强的显示程序被数据处理器执行时实现权利要求 1‑ 9中任一项所述的飞行器视景增强的显示方法的步骤。权　利　要　求　书 2/2 页 3 CN 114998771 B 3