(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064053.0 (22)申请日 2022.08.29 (71)申请人 锋睿领创 （珠海） 科技有限公司 地址 519000 广东省珠海市横琴新区环岛 东路1889号创意谷18栋110室-534 （集 中办公区） (72)发明人 何良雨　崔健　刘彤　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 谭果林 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 多源异构数据融合的视觉处理方法、 装置、 设备及介质 (57)摘要 本发明涉及人工智能领域， 尤其涉及机器视 觉领域， 公开了一种多源异构数据融合的视觉处 理方法、 装置、 设备及介质， 其中， 方法包括： 通过 获取对检测目标进行多源光学信息采集得到的 多个异构光学数据， 并分别对多个异构光学数据 进行特征提取得到多类光学特征； 对多类光学特 征进行多模态数据特征相似度计算， 得到多类光 学特征的相似度关系数据； 根据相似度关系数据 对多类光学特征进行基于注意力机制的数据融 合， 得到检测目标的光学融合特征， 并基于光学 融合特征对检测目标进行视觉处理； 本发明通过 建立不同类型的光学数据间的相似度关系， 实现 多源光学信息的有效融合， 从而提升对微小缺陷 纹理特征的提取能力， 提高视 觉检测的准确率。 权利要求书2页 说明书13页 附图4页 CN 115496976 A 2022.12.20 CN 115496976 A 1.一种多源异构数据融合的视 觉处理方法， 其特 征在于， 包括： 获取对检测目标进行多源光学信息采集得到的多个异构光学 数据； 分别对多个所述异构光学 数据进行 特征提取得到多类光学 特征； 对所述多类光学特征进行多模态数据 特征相似度计算， 得到所述多类光学特征的相似 度关系数据， 并根据所述相似度关系数据对所述多类光学特征进 行基于注意力机制的数据 融合， 得到所述检测目标的光学融合特 征； 基于所述 光学融合特 征对所述检测目标进行视 觉处理。 2.如权利要求1所述的多源异构数据融合的视觉处理方法， 其特征在于， 所述多类光学 特征包括第一类光学特征和第二类光学特征， 所述对所述多类光学特征进 行多模态数据特 征相似度计算， 得到所述多类光学特征 的相似度关系 数据， 并根据所述相似度关系 数据对 所述多类光学特征进行基于注意力机制的数据融合， 得到所述检测目标的光学融合特征， 包括： 确定所述第一类光学 特征是否包括多个子特 征； 若所述第一类光学特征包括多个所述子特征， 则基于所述第 二类光学特征对每一所述 子特征进行相似度计算， 得到每一所述子特征 的相似度矩阵， 并将每一所述子特征 的相似 度矩阵汇总得到所述相似度关系数据； 采用第一激活函数对每一所述子特征的相似度矩阵进行激活， 得到每一所述子特征的 权重值； 根据每一所述子特征的权重值对多个所述子特征进行数据融合， 得到所述检测目标的 光学融合特 征。 3.如权利要求2所述的多源异构数据融合的视觉处理方法， 其特征在于， 多个所述子特 征的图像尺度依次增加， 所述基于所述第二类光学特征对每一所述子特征进行相似度计 算， 得到每一所述子特 征的相似度矩阵， 包括： 对所述第二类光学特征和图像尺度最小的第 一个所述子特征进行相似度计算， 得到第 一个所述子特 征的相似度矩阵； 对上一所述子特 征的相似度矩阵进行 上采样， 得到当前 所述子特 征对应的采样特 征； 对每一所述子特征和对应的所述采样特征进行相似度计算， 得到每一所述子特征的相 似度矩阵。 4.如权利要求2所述的多源异构数据融合的视觉处理方法， 其特征在于， 所述第 一激活 函数为sigmoid函数， 所述根据每一所述子特征的权重值对多个所述子特征进 行数据融合， 得到所述检测目标的光学融合特 征， 包括： 将每一所述子特征分别与对应的所述权重值相乘， 得到每一所述子特征对应的激活特 征； 采用卷积操作对每一所述子特征对应的激活特征进行特征融合， 得到所述光学融合特 征。 5.如权利要求4所述的多源异构数据融合的视觉处理方法， 其特征在于， 所述每一子特 征对应的激活特 征通过如下公式计算得到： 权　利　要　求　书 1/2 页 2 CN 115496976 A 2其中， Qm为表示多个所述子特征中第m个所述子特征的激活特征； Am表示多个所述子特 征中第m个所述子特征； 表示矩阵相乘法； Km表示多个所述子特征中第m个所述子特征的相 似度矩阵； 表示采用所述sigmoid函数激活第m个所述子特征的相似度矩阵得到的权 重值。 6.如权利要求2所述的多源异构数据融合的视觉处理方法， 其特征在于， 所述确定所述 第一类光学 特征是否包括多个子特 征之后， 所述方法还 包括： 若所述第一类光学特征未包括多个所述子特征， 则对所述第 一类光学特征与 所述第二 类光学特征进 行相似度计算得到相似度矩阵， 并将所述相似度矩阵作为所述相似度关系数 据； 采用第二激活函数对所述相似度关系数据进行激活， 得到目标权重值， 并将所述目标 权重值与所述第一类光学 特征相乘， 得到所述检测目标的光学融合特 征。 7.如权利要求1 ‑6任一项所述的多源异构数据融合的视觉处理方法， 其特征在于， 多个 所述异构光学数据包括第一类光学数据和 第二类光学数据， 所述分别对多个所述异构光学 数据进行 特征提取得到多类光学 特征， 包括： 获取第一特征提取模型和第 二特征提取模型， 所述第 一特征提取模型包括感受野不同 的多个特 征层； 将所述第一类光学数据输入所述第 一特征提取模型， 依次通过多个所述特征层进行特 征提取， 并将各 所述特征层分别输出的子特 征汇总得到第一类光学 特征； 将所述第二类光学数据输入所述第 二特征提取模型进行特征处理， 得到第 二类光学特 征。 8.一种多源异构数据融合的视 觉处理装置， 其特 征在于， 包括： 获取模块， 用于获取对检测目标进行多源光学信息采集得到的多个异构光学 数据； 特征提取模块， 用于分别对多个所述异构光学 数据进行 特征提取得到多类光学 特征； 融合模块， 用于对所述多类光学特征进行多模态数据特征相似度计算， 得到所述多类 光学特征的相似度关系数据， 并根据所述相似度关系数据对所述多类光学特征进 行基于注 意力机制的数据融合， 得到所述检测目标的光学融合特 征； 视觉处理模块， 用于基于所述 光学融合特 征对所述检测目标进行视 觉处理。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述多源异构数据融合的视 觉处理方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述多源异构数据融合的 视觉处理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115496976 A 3