(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210942337.9 (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 114998602 A (43)申请公布日 2022.09.02 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 王子磊　张燚鑫　贺伟男　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06V 10/40(2022.01) G06N 3/04(2006.01)G06V 10/24(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 113553906 A,2021.10.26 CN 114842267 A,202 2.08.02 CN 114283287 A,202 2.04.05 审查员 张裕 (54)发明名称 基于低置信度样本对比损失的域适应学习 方法及系统 (57)摘要 本发明公开了一种基于低置信度样本对比 损失的域适应学习方法及系统， 使用对比学习的 方法， 在原有的利用目标域高置信度样本的域适 应方法上， 充分利用目标域低置信样本， 防止图 像分类模型因偏向目标域中与源域相近的样本 而导致的次优的领域迁移效果； 而且， 在对比学 习中， 对原始的图像特征进行重新表示， 更好地 编码了任务特有的语义信息； 此外， 对低置信样 本使用了跨域混合， 并使低置信样 本在其中占主 导， 减小了领域差异， 使 图像分类模型更好的学 习领域不变特征。 总的来说， 本发明利用了低置 信样本， 提升了无监督域适应和半监督域适应图 像分类的准确率。 权利要求书4页 说明书11页 附图4页 CN 114998602 B 2022.12.30 CN 114998602 B 1.一种基于低置信度样本对比损失的域 适应学习方法， 其特 征在于， 包括： 根据设定阈值从目标域图像集 合中筛选出低置信度样本集 合； 对于每一低置信度样本 图像， 使用数据增强方法获得两个不同的增强视 图图像， 称为 第一增强视图图像与第二增强视图图像， 并在源域图像集合中随机选择源域样本图像， 使 用数据增强方法获得两个不同的增强视图图像， 称为第三增强视图图像与第四增强视图图 像； 将所述第一增强视图图像与第 三增强视图图像混合后作为查询图像， 将所述查询图像 输入至第一图像分类模型中， 通过所述第一图像分类模型进 行图像特征提取并进 行重新表 示获得第一重新表示特征； 将所述第二增强视图图像与第四增强视图图像分别输入至第二 图像分类模型中， 通过所述第二图像分类模型分别进 行图像特征提取并进 行重新表示获得 对应的重新表示特征； 将所述第二增强视图图像与所述第四增强视图图像对应的重新表示 特征混合构成混合重新表示特 征， 过程表示 为： 其中，F为所述第一图像分类模型中的特征提取器， 为所述第二图像分类模型中的特 征提取器， 为L2范数标准化函数， 为对图像特征进行重新表示的函数； 为查 询图像， 为使用L2范数标准化函数对查询图像 的特征进行标准化处理后获得的图像特 征， 为第一重新表示特征； 为第i个低置信度样本图像对应的第二增强视图图像， 为 使用L2范数标准化函数对 的特征进行标准化处理后获得的图像特征， 为图像特征 对 应的重新表示特征； 为源域样本图像 对应的第四增强视图图像， 为使用L2范数标准 化函数对 的特征进行标准化处理后获得的图像特征， 为图像特征 对应的重新表示 特征； 为混合重新表示特征， 为所述第一增强视图图像与第三增强视图图像混合时使 用的混合系数； 将所述第一重新表示特征作为查询特征， 其余所有重新表示特征作为对比特征， 利用 查询特征与各个对比特征的差异构 造对比损失， 并结合所述第一图像分类模型的基础损失 构造总损失函数对所述第一图像分类模 型进行训练； 其中， 其余所有重新表示特征包括： 第 二增强视图 图像与第四增强视图 图像对应的重新表示特 征， 以及混合重新表示特 征。 2.根据权利要求1所述的一种基于低置信度样本对比损失的域适应学习方法， 其特征 在于， 将所述第一增强视图 图像与第三增强视图 图像混合的方式表示 为： 权　利　要　求　书 1/4 页 2 CN 114998602 B 2其中， 为混合系数， 为Beta分布的参数， 为所述第一增强视图图像与第三增强视 图图像混合时使用的混合系数， 它是通过max函数获得的新的混合系数； 为第i个低置信 度样本图像对应的第一增强视图图像， 为源域样本图像 对应的第三增强视图图像， 为混合获得的查询图像。 3.根据权利要求1所述的一种基于低置信度样本对比损失的域适应学习方法， 其特征 在于， 对图像特 征进行重新表示的函数 表示为： 其中， 为第一图像分类模型中分类器 C的权值， 表示softmax函数； ， 为第二图像分类模型中分类器 的权值， T为转置符号， 为重新表示 时的温度系数。 4.根据权利要求1所述的一种基于低置信度样本对比损失的域适应学习方法， 其特征 在于， 利用查询特 征与各个对比特 征的差异构造对比损失表示 为： 其中， 为查询特征， 为混合重新表示特征， 为所述第二增强视图图像对应的重 新表示特征， 为所述第四增 强视图图像对应的重新表示特征， 为记忆库 M中存储的通 过所述第二图像分类模型获得 的其他低置信度样本图像的第二增强视图图像对应的重新 表示特征； 为余弦相似性 函数。 5.根据权利要求1所述的一种基于低置信度样本对比损失的域适应学习方法， 其特征 在于， 所述总损失函数表示 为： 其中， 为基础损失， 为对比损失， 为对比损失的权重系数， 为 数学期望符号； 为源域图像集合 与低置信度样本集合 的并集， 为 中的单个图像； 所述基础损失包括： 有标注图像上的交叉熵损失 ， 用于跨域对齐特征的损失 ， 高置信度样本中的KLD正则项 ， 以及使用FixMatch后高置信度样本的交叉熵损失 权　利　要　求　书 2/4 页 3 CN 114998602 B 3