(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211134136.2 (22)申请日 2022.09.16 (71)申请人 中国矿业大 学 地址 221000 江苏省徐州市南郊翟山 申请人 徐州市第一人民医院 (72)发明人 周玉　龚维康　孙彦景　李世银　 周勇　丁继存　席纪江　李泳　 李松　 (74)专利代理 机构 芜湖宸泽知识产权代理事务 所(普通合伙) 34208 专利代理师 陈斐 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01)G06T 3/40(2006.01) G06Q 10/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种全景拼接图像质量评价方法 (57)摘要 本发明的全景拼接图像质量评价方法， 利用 全景图像和组成图像中生成一组失真图像块和 参考图像块， 并一起送入图像质量评价网络。 通 过卷积神经网络结构的特征提取器获取参考图 像块和失真图像块的特征图以及他们的特征差 异图作为全 景图像的局部特征信息， 将特征图融 合 后 送 入 视 觉 自 注 意 力 模 块 Transformer Encoder， 通过多头自注意力机制模 块学习图像块之间的相互关系， 并且 经过条件位 置编码生成器C ‑PEG根据输入图像尺寸动态生成 位置编码 。 最终结合图像块之间的相互关系和位 置信息， 以及图像局部特征， 建立全景图像的全 局信息， 并预测图像质量。 高效的利用了组成图 像的无失真特性这一隐含信息； 实现了局部特征 与全局信息相结合； 可以处理不同尺 寸的输入图 像。 权利要求书3页 说明书10页 附图2页 CN 115424051 A 2022.12.02 CN 115424051 A 1.一种全景拼接图像质量评价方法， 其特征在于： 从全景图像中选取关键图像块， 将关 键图像块与 组成图像进行特征点匹配， 并生成一组失真图像块和 参考图像块， 并一起送入 图像质量评价网络进 行评价， 通过卷积神经网络结构的特征提取器获取参考图像块和失真 图像块的特征图以及他们的特征差异图作为全景图像的局部特征信息， 之后将特征图融合 后送入视觉自注意力模块Transformer  encoder， 通过多头自注意力机制模块学习图像块 之间的相互关系， 并且经过条件位置编码生成器C ‑PEG根据输入图像尺寸动态生成位置编 码； 最终结合图像块之间的相互关系和位置信息， 以及图像块局部特征， 建立全 景图像的全 局信息， 并预测图像质量。 2.根据权利要求1所述全景拼接图像质量评价方法， 其特征在于， 所述方法具体包括以 下几个步骤： (1)关键图像块选 择： 将全景图像Ip的特征点进行聚类， 根据聚类结果， 获取 失真图像块 Pd,i,1≤i≤K， K为失真图像块的个数； (2)图像块特征匹配： 将失真 图像块Pd,i和组成图像Ic,jj＝1,…,N， N为组成图像个数, 经过SIFT特征检测算法生 成特征点kd,i和kc,j； 将失真图像块特征点kd,i与组成图像特征kc,i 进行匹配以生成失真图像块Pd,i与参考图像块Pr,i,1≤i≤K； (3)图像局部特征提取： 成对的失真图像块Pd,i与参考图像块Pr,i分别经过VGG16网络的 特征提取器得到两组特征图特征fd,i与fr,i,1≤i≤K； 在fd,i和fr,i之间执行差分运算来表示 由拼接失真引起的特征差异图Di； 将失真图像 块与参考图像 块的特征差异图Di与fr,i、 fd,i通 过连接Concatenate操作连接在一起 得到Vi； Vi分别经过平均池化操作层与特征映射层进行 数据降维， 最后将特 征Vi拉平成序列Xi输入视觉自注意力模块t ransformer  encoder； 公式(1)表示了图像局部特 征提取的各个阶段： (4)图像全局信息建模： 在输入序列Xi,i＝1,…,K中加入了一个 可学习的qualitytoken 向量X0， 学习图像的质量分数Q， 变为Xi,i＝0,1, …,K， 共K+1个向量； 然后为输入序列Xi,i＝ 0,1,…,K添加位置编码输入到视觉自注意力模块transformer  encoder中， 最终利用 qualitytokenX0进行分类预测， 公式(2)表示添加可 学习的位置编码的过程： z0＝[X0+PE0， X1+PE1，…， XK+PEK]    (2) 将Z0输入视觉自注意力模块transformer  encoder； 在每一层的视觉自注意力模块 transformer  encoder后都添加了条件位置编码生成器C ‑PEG模块动态生成位置编码并与 Zl相加后输入下一层视 觉自注意力模块t ransformer  encoder； (5)质量分数预测： 视觉自注意力模块transformer  encoder的最后 一层的输出Zl中的 可学习qualitytoken： Zl[0](X0+PE0)经过一个全连接FC层预测分数； 质量分数Q的范围为0 ‑ 100， 得分越高即质量越好。 3.根据权利要求2所述全景拼接图像质量评价方法， 其特征在于， 所述关键图像块选择 的方法如下： 将全景图像 Ip经过SIFT特征检测算法生成全景图像特征点kp， 将这些兴趣点 经权　利　要　求　书 1/3 页 2 CN 115424051 A 2过LOF算法去除特征点kp中的离群 点； 之后将全景图像特征点kp经过K‑Means++进行聚类， 具 体做法为： Step1:从数据集中随机 选取一个样本作为初始聚类中心C1； Step2:首先计算每个样本与当前已有聚类中心之间的最短距离， 用D(x)表示； 接着计 算每个样本被选为下一个聚类中心的概率 最后， 按照轮盘法选择出下一个 聚类 中心； Step3:重复第2步 直到选择出共K个聚类中心， Ci,i＝1,…,K； 经过K‑Means++聚类算法得到了K个 聚类中心点之后， 以聚类中心Ci为中心裁切出256* 256的图像块， 即得到失真图像块Pd,i,i＝1,…,K。 4.根据权利要求2所述全景拼接图像质量评价方法， 其特征在于， 所述图像块特征匹配 的方法为： 将失真图像块Pd,i和组成图像Ic,jj＝1,…,N， N为组成图像个数,经过SIFT特征检 测算法生成特 征点kd,i和kc,i； 使用FLANN库， 通过构建k ‑dTree并在k ‑dTree上使用最近邻查找算法， 将失真图像块特 征点kd,i与组成图像特征kc,j进行匹配， 得到匹配相似度Sj以及匹配特征点km,j， 并计算kd,i 到km,j的投影变换矩阵Hj； 在遍历完所有组成图像后， 选择匹配相似度最高 的一张组成图像 Ic,j， 取其相对应的匹配特征点km,j的最大外接矩形， 以获得相应的参考图像块Pr,i； 同时对 Pd,i进行投影变换， 使得Pd,i与Pr,i保持一致的视角； 然后将Pd,i经过投影变换后的形状作为 二值模板与Pr,i相与； 最后对Pd,i与Pr,i都求取其最大内接矩形并裁切， 并调整图像块尺 寸至 224*224。 5.根据权利要求4所述全景拼接图像质量评价方法， 其特征在于， 所述全景图像尺寸为 H×W， 最终得到的图像块的尺寸为n ×n， 则在K‑Means++聚类算法中K值的选择按照式(3)进 行， K取18： 6.根据权利要求2所述全景拼接图像质量评价方法， 其特征在于， 所述视觉自注意力模 块Transformer  encoder由两个模块组成： 多头自注意力MSA模块和多层感知机MLP模块， 每 个模块前都有归一化LN层对输入数据归一化， 且在每个模块的后面都连接Dropout层用于 抑制过拟合； 设定的超参数为视觉自注意力模块transformer  encoder的深度L＝4， MSA模 块的头数为 4， 式(4)表示了 视觉自注意力模块t ransformer  encoder中的各个阶段： 7.根据权利要求2所述全景拼接图像质量评价方法， 其特征在于， 所述条件位置编码生 成器C‑PEG的处理方法是： 首先将输入条件位置编码生成器C ‑PEG的一维序列 其中还B为批大小， K为图像块的个数， 经过EncoderBlock； 然后在二维空间中进行重塑得到权　利　要　求　书 2/3 页 3 CN 115424051 A 3