(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210780030.3 (22)申请日 2022.07.04 (71)申请人 梅卡曼德 （北京） 机 器人科技有限公 司 地址 100085 北京市海淀区创业路8号3号 楼1层3-1号1001 (72)发明人 崔致豪　丁有爽　邵天兰　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 张芳　臧建明 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) B25J 9/16(2006.01) (54)发明名称 虚拟图像的生 成方法、 装置、 设备、 介质及产 品 (57)摘要 本公开提供一种虚拟图像的生成方法、 装 置、 设备、 介质及产品。 其中方法获取待合成图 像， 所述待合成图像中的物体至少包括真实物 体； 获取实例组， 所述实例组包括至少一个第一 实例， 所述第一实例包括单个物体的图像； 基于 所述待合成图像和所述实例组， 合成获得虚拟图 像， 所述虚拟图像中的物体包括所述待合成图像 中的物体和所述实例组对应的物体。 本方案通过 从数据库中选取实例组， 并与待合成图像合成虚 拟图像， 可以为机械手臂训练抓取提供训练数 据。 权利要求书2页 说明书14页 附图3页 CN 115082795 A 2022.09.20 CN 115082795 A 1.一种虚拟图像的生成方法， 其特 征在于， 包括： 获取待合成图像， 所述待合成图像中的物体至少包括真实物体； 获取实例组， 所述实例组包括至少一个第一实例， 所述第一实例包括单个物体的图像； 基于所述待合成图像和所述实例组， 合成获得虚拟图像， 所述虚拟图像中的物体包括 所述待合成图像中的物体和所述实例组对应的物体。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述待合成图像和所述实例组， 合成获得虚拟图像， 包括： 确定所述实例组对应的物体在所述待合成图像中的放置位置； 检测所述实例组对应的物体在所述 放置位置下， 与周边的其它物体是否发生碰撞； 若未发生碰撞， 则通过将所述实例组对应的物体放置在所述待合成图像中的所述放置 位置， 合成获得 所述虚拟图像。 3.根据权利要求1所述的方法， 其特征在于， 所述获取实例组包括从数据库中获取实例 组， 所述数据库包括多个实例。 4.根据权利要求2所述的方法， 其特征在于， 所述检测所述实例组对应的物体在所述放 置位置下， 与周边的其它物体是否发生碰撞之后， 还 包括： 若发生碰撞， 则 重新执行所述确定所述实例组对应的物体在所述待合成图像中的放置 位置的步骤， 直至碰撞检测的次数达到预设的第一阈值时， 重新执行获取实例组的步骤， 其 中重新获取的实例组不同于之前获取的实例组。 5.根据权利要求2所述的方法， 其特征在于， 所述确定所述实例组对应的物体在所述待 合成图像中的放置位置， 包括： 根据所述待合成图像的图像 内容中放置的物体的平均高度， 获得所述实例组对应的物 体的放置高度， 所述 放置高度基于所述平均高度和预定的波动范围确定； 在所述放置 高度对应的平面上随机选取位置， 作为所述实例组对应的物体在所述待合 成图像中的放置位置 。 6.根据权利要求1所述的方法， 其特 征在于， 所述获取待合成图像， 包括： 获取采集得到的真实图像， 作为所述待合成图像； 或者， 将历史合成获得的虚拟图像， 作为所述待合成图像。 7.根据权利要求1所述的方法， 其特征在于， 所述虚拟图像的图像 内容中的物体数量不 超过预定的第二阈值。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述待合成图像和所述实例组， 合成获得虚拟图像之前， 还 包括： 判断所述待合成图像中的物体数量与所述实例组的数量之和是否超过 所述第二阈值； 若所述数量之和超过所述第二阈值， 则调整所述实例组的数量， 使得调整后的数量之 和不超过 所述第二阈值。 9.根据权利要求7所述的方法， 其特征在于， 所述基于所述待合成图像和所述实例组， 合成获得虚拟图像之后， 还 包括： 统计所述虚拟图像的图像内容中放置的物体数量； 若所述物体数量未超过预定的第二阈值， 则将所述虚拟图像作为当前的待合成图像， 再次执行所述获取实例组的步骤， 直至 当前获得的虚拟图像的图像内容中放置的物体数量权　利　要　求　书 1/2 页 2 CN 115082795 A 2达到所述第二阈值， 或者当前 数据库中的实例被遍历结束。 10.根据权利要求1 ‑9任一项所述的方法， 其特征在于， 所述第一实例还包括单个物体 对应的标注， 所述标注包括 点云数据和夹爪标注。 11.一种训练样本库的建立方法， 其特征在于， 所述训练样本库至少包括权利要求1 ‑10 中任一项所述的方法获得的虚拟图像。 12.一种模型训练方法， 其特征在于， 采用如权利要求1 ‑10中任一项所述的生成方法获 得的虚拟图像作为训练样本， 所述训练方法包括： 针对模型的首次训练， 选取采集得到的真实图像以及所述真实图像对应的标注， 作为 训练样本对 模型进行训练； 其中， 所述真实图像的图像内容中放置的物体均为真实物体； 针对所述模型的非首次训练， 从采集得到的真实图像和合成获得的虚拟图像中， 随机 选取图像以及所述图像对应的标注作为训练样本， 对所述模型进行训练。 13.根据权利要求12所述的模型训练方法， 其特征在于， 所述模型用于根据输入的待处 理图像， 生成所述待处 理图像中的物体对应的夹爪。 14.一种虚拟图像的生成装置， 其特 征在于， 包括： 获取模块， 用于获取待合成图像， 所述待合成图像中的物体至少包括真实物体； 选取模块， 用于获取实例组， 所述实例组包括至少一个第 一实例， 所述第 一实例包括单 个物体的图像； 合成模块， 用于基于所述待合成图像和所述实例组， 合成获得虚拟图像， 所述虚拟图像 中的物体包括所述待合成图像中的物体和所述实例组对应的物体。 15.一种电子设备， 其特 征在于， 包括： 处 理器， 以及与所述处 理器通信连接的存 储器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 以实现如权利要求1 ‑10中任一项 所述的虚拟图像的生成方法， 或者实现如权利要求11所述的训练样本库的建立方法， 或者 实现如权利要求12所述的模型训练方法。 16.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指 令被处理器执行时用于实现如权利要求 1‑10中任一项 所述的 虚拟图像的生成方法， 或者实现如权利要求11所述的训练样本库的建立方法， 或者实现如 权利要求12所述的模型训练方法。 17.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序在被处理器 执行时实现如权利要求 1‑10中任一项所述的虚拟图像的生 成方法， 或者 实现如权利要求 11 所述的训练样本库的建立方法， 或者实现如权利要求12所述的模型训练方法。权　利　要　求　书 2/2 页 3 CN 115082795 A 3