(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510219.0 (22)申请日 2022.05.11 (71)申请人 中湾慧科 （深圳） 科技有限公司 地址 518109 广东省深圳市龙华区大浪街 道大浪社区下岭排商业楼 2号101-1 (72)发明人 张阳　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 刘慧 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/54(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) (54)发明名称 一种应用 于元宇宙的边云协同编码方法及 系统 (57)摘要 本发明公开了一种应用于元宇宙的边云协 同编码方法， 包括： 当接收到数据孪生的小目标 图像处理任务的指令时， 边缘节点采集原始图 像， 执行特征提取及编码处理， 将获取的特征码 流发送至云服务器； 云服务器对 特征码流进行处 理， 将获取的第一感兴趣区域识别结果发送至边 缘节点； 边缘节点对原始图像执行区域图像提取 处理， 对得到的第一区域图像执行图像编码处 理， 并将区域图像码流发送至云服务器； 云服务 器对区域图像码流执行图像解码及区域推理处 理， 得到第二感兴趣区域识别结果， 并判断小目 标图像处理任务是否完成， 当判断是时， 进行数 字孪生的小目标图像加载。 本发 明实现了端云协 同编码、 计算， 使得系统算力最大化， 提高了实时 处理能力。 权利要求书3页 说明书13页 附图4页 CN 114913457 A 2022.08.16 CN 114913457 A 1.一种应用于元宇宙的边云协同编码方法， 其特 征在于， 所述方法包括： 当接收到数字孪生的小目标图像处理任务的指令时， 边缘节点采集原始图像， 对所述 原始图像执 行特征提取及编码处 理， 获取特征码流， 将所述特 征码流发送至云服 务器； 所述云服务器在接收到所述特征码流后， 对所述特征码流进行处理， 获取第一感兴趣 区域识别结果， 并将所述第一感兴趣区域识别结果发送至所述 边缘节点； 所述边缘节点基于所述第一感兴趣区域识别结果对所述原始图像执行区域图像提取 处理， 得到第一区域图像， 对所述第一区域图像执行图像编码处理， 得到区域图像码流， 将 所述区域图像码流发送至所述云服 务器； 所述云服务器在接收到所述 区域图像码流后， 对所述区域图像码流执行图像解码及区 域推理处理， 得到第二感兴趣区域识别结果， 基于所述第二感兴趣区域识别结果判断所述 小目标图像处理任务是否完成， 当判断是时， 所述云服务器进行所述数字孪生的小目标图 像加载。 2.根据权利要求1所述的方法， 其特征在于， 所述边缘节点采集原始图像， 对所述原始 图像执行特征提取及编码处 理， 获取特征码流， 包括： 所述边缘节点获取原始视频数据， 对所述原始视频数据执行分帧处理， 得到 图像帧序 列； 对所述图像帧序列执行图像采集处理， 得到多张原始图像， 将所述原始图像写入图像 队列； 对所述图像队列中的每个图像执行特征提取处理， 得到所述图像队列中每个图像对应 的特征向量； 将所述特 征向量输入编码网络， 得到所述图像队列中每 个图像对应的特 征码流。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述图像队列中的每个图像执行特 征提取处 理， 得到所述图像队列中每 个图像对应的特 征向量， 包括： 提取所述图像序列中每个图像的边缘图像， 将所述边缘图像输入第一特征提取网络， 得到所述图像序列中每 个图像的第一特 征； 将所述图像序列中每个图像输入第 二特征提取网络， 得到所述图像序列中每个图像的 第二特征； 基于所述第一特 征及所述第二特 征， 得到所述图像序列中每 个图像对应的特 征向量。 4.根据权利要求3所述的方法， 其特征在于， 所述提取所述图像序列中每个图像的边缘 图像， 包括： 计算所述图像序列中每 个图像的每 个像素点的纹 理特征值； 根据所述纹理特征值判断每个图像的每个像素点是否为边缘点， 根据判断结果获取所 述图像序列中每 个图像对应的边 缘点集合； 根据所述 边缘点集合确定所述图像序列中每 个图像的边 缘图像。 5.根据权利要求4所述的方法， 其特征在于， 所述计算所述图像序列中每个图像的每个 像素点的纹 理特征值， 包括： 从所述图像序列中选择一个图像的一个像素点， 从选择的图像中获取选择的像素点的 邻域像素点序列集； 将所述选择的像素点的像素值作为像素阈值， 将所述邻域像素点序列集中每个像素点权　利　要　求　书 1/3 页 2 CN 114913457 A 2的像素值与所述像素阈值进行比对， 基于比对 结果确定所述选择的图像中选择的像素点的 纹理特征值。 6.根据权利要求5所述的方法， 其特征在于， 所述基于比对结果确定所述选择的图像中 选择的像素点的纹 理特征值， 包括： 将第一数值作为所述邻域像素点序列集中像素值大于或等于所述像素阈值的像素点 的比对值， 将第二数值作为所述邻域像素点序列集中像素值小于所述像素阈值的像素点的 比对值； 拼接所述比对值， 得到所述选择的图像中选择的像素点的初始纹 理值； 将所述初始 纹理值转换为十进制数值， 得到所述选择的图像中选择的像素点的纹理特 征值。 7.根据权利要求1所述的方法， 其特征在于， 所述对所述图像帧序列执行图像采集处 理， 得到多张原 始图像， 包括： 将所述图像帧序列中相邻两张图像组合 为一个图像对， 得到多个图像对； 计算每个图像对中两个图像的相似度值， 将相似度值大于或等于相似度阈值的图像对 中的任意一个图像放入第一队列， 将相似度值小于相似度阈值的图像对中的两个图像都放 入第一队列； 将所述第一队列中相邻 两张图像组合为一个新图像对， 计算新图像对中两个图像的相 似度值， 将相似度值大于或等于相似度阈值的新图像对中的任意一个图像放入第二队列， 将相似度值小于相似度阈值的新图像对中的两个图像都放入第二队列， 若第二队列中任意 两个图像的相似度值都小于相似度阈值， 则将第二队列中的图像作为原 始图像。 8.根据权利要求1所述的方法， 其特征在于， 在所述基于所述第 二感兴趣区域识别结果 判断所述小目标图像处 理任务是否 完成之后， 所述方法还 包括： 若判断为否， 所述云服务器将所述第二感兴趣区域识别结果发送至所述边缘节点， 以 供所述边缘节点从原始图像中提取第二区域图像， 并接收所述边缘节点编 码后的第二区域 图像； 对所述编码后的第 二区域图像执行图像解码及区域推理处理， 得到第 三感兴趣区域识 别结果， 并再次判断所述小目标图像处 理任务是否 完成。 9.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 当所述边缘节点接收到云服务器发送的原始图像获取请求 时， 对所述原始图像执行编 码处理， 并将编码后的原 始图像发送至所述云服 务器。 10.一种应用于元宇宙的边云协同编码系统， 其特征在于， 所述系统包括边缘节点及云 服务器， 其中， 所述边缘节点用于在接收到数字孪生的小目标图像处理任务的指令时， 采集原始图 像， 对所述原始图像执行特征提取及编 码处理， 获取特征码流， 将所述特征码流发送至 云服 务器； 在接 收到云服务器发送的第一感兴趣区域识别结果后， 对所述原始图像执行区域图 像提取处理， 得到第一区域图像， 对所述第一区域图像执行图像编码处理， 得到区域图像码 流， 将所述区域图像码流发送至所述云服 务器； 所述云服务器用于在接收到所述特征码流后， 对所述特征码流进行处理， 获取第一感 兴趣区域识别结果， 并将所述第一感兴趣区域识别结果发送至所述边缘节点； 在接 收到所权　利　要　求　书 2/3 页 3 CN 114913457 A 3