(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365615.5 (22)申请日 2022.11.03 (71)申请人 成都摹客科技有限公司 地址 610000 四川省成 都市双流区西南 航 空港经济开发区黄甲街道双兴大道1 号 (72)发明人 刘松　练纯科　孟小江　莫建华　 (74)专利代理 机构 深圳腾文知识产权代理有限 公司 44680 专利代理师 刘洵 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/56(2022.01) G06T 5/50(2006.01)G06F 40/186(2020.01) G06F 40/166(2020.01) (54)发明名称 一种多人实时编辑的处 理方法与装置 (57)摘要 本申请公开了一种多人实时编辑的处理方 法与装置， 用于减少图像与编辑文件的主题产生 不契合的情况。 本申请方法包括： 获取第一编辑 文件和第二编辑文件， 并确定其编辑主题， 并生 成编辑主题 参数； 获取第一编辑文件和第二编辑 文件在目标编辑区域的第一原始图像和第二原 始图像； 获取卷积神经网络模型； 对第一原始图 像和第二原始图像进行特征提取； 将编辑主题参 数分别与第一特征和第二特征进行通道拼接； 将 第一融合特征和第二融合特征进行图像还原， 生 成第一融合图像和第二融合图像； 对第一融合图 像和第二融合图像进行主题概率判定， 生成主题 判定结果； 确定最优的原始图像对应的目标编辑 文件， 将目标编辑文件在目标编辑区域的内容确 定为目标内容。 权利要求书3页 说明书16页 附图6页 CN 115439725 A 2022.12.06 CN 115439725 A 1.一种多人实时编辑的处 理方法， 其特 征在于， 包括： 获取第一编辑文件和第 二编辑文件， 所述第 一编辑文件和所述第 二编辑文件为模板相 同并受到编辑的文件； 确定所述第 一编辑文件和所述第 二编辑文件的编辑主题， 并通过所述编 辑主题生成编 辑主题参数； 获取所述第 一编辑文件在目标编 辑区域的第 一原始图像， 获取所述第 二编辑文件在对 应所述目标编辑区域上的第二原 始图像； 获取卷积神经网络模型， 所述卷积神经网络包括特征提取单元、 特征还原单元和类型 判别单元； 使用所述特征提取单元对所述第 一原始图像和所述第 二原始图像进行特征提取， 生成 第一特征和第二特 征； 将所述编 辑主题参数分别与 所述第一特征和所述第 二特征进行通道拼接， 生成第 一融 合特征和第二融合特 征； 通过所述特征还原单元将所述第 一融合特征和所述第 二融合特征进行图像还原， 生成 第一融合图像和第二融合图像； 通过所述类型判别器单元对所述第 一融合图像和第 二融合图像进行主题概率判定， 生 成主题判定结果； 根据所述主题判定结果确定最优的原始图像对应的目标编 辑文件， 将所述目标编辑文 件在所述目标编辑区域的内容确定为目标内容。 2.根据权利要求1所述的处理方法， 其特征在于， 所述特征提取单元中包括至少两个大 小不同的卷积核； 所述使用所述特征提取单元对所述第 一原始图像和所述第 二原始图像进行特征提取， 生成第一特 征和第二特 征， 包括： 通过所述特征提取单元中的3*3卷积核、 5*5卷积核和7*7卷积核对所述第一原始图像 进行多重特 征提取， 生成3 *3特征数据、 5*5特征数据和7*7 特征数据； 对所述3*3特征数据、 5*5特征数据和7*7特征数据进行特征重要性判定， 生成特征叠加 系数； 通过所述特征叠加系数将所述3*3特征数据、 5*5特征数据和7*7特征数据进行通道叠 加， 生成第一特 征； 根据上述方法处 理所述第二原 始图像， 生成第二特 征。 3.根据权利要求2所述的处理方法， 其特征在于， 所述类型判别器单元包括特征提取模 块、 至少两个残差提取模块和残差融合模块； 所述通过所述类型判别器单元对所述第一融合图像和第二融合图像进行主题概率判 定， 生成主题判定结果， 包括： 通过所述类型判别器单元中的特征提取模块对所述第 一融合图像进行特征提取， 生成 判别特征； 将所述判别特 征输入第一残差提取模块， 生成第一残差； 将所述第一残差 输入第二残差提取模块， 生成第二残差； 将所述第二残差 输入第二残差提取模块， 生成第三残差；权　利　要　求　书 1/3 页 2 CN 115439725 A 2通过所述残差 融合模块并根据 所述特征叠加系数对所述第 一残差、 第 二残差和第 三残 差融合， 生成目标残差； 将所述目标残差通过全局平均池化层和softmax函数生成所述第一融合图像的第一主 题概率； 根据上述方法生成所述第二融合图像的第二主题概 率； 将所述第一主题概 率和所述第二主题概 率作为主题判定结果。 4.根据权利要求1所述的处理方法， 其特征在于， 所述将所述编辑主题参数分别与 所述 第一特征和所述第二特征进行RGB颜色通道拼接， 生成第一融合特征和第二融合特征， 包 括： 计算所述编辑主题和所述模板的模板主题的第一关联度； 当所述第一关联度大于第一预设阈值， 获取 所述模板对应的模板主题参数； 计算所述编辑主题和所述目标编辑区域的区域主题的第二关联度； 当所述第二关联度大于第二预设阈值， 获取 所述目标编辑区域对应的区域主题参数； 根据所述编辑主题参数、 所述模板主题参数、 所述区域主题参数、 所述第 一关联度和所 述第二关联度生成主题拼接通道； 将所述主题拼接通道分别与 所述第一特征和所述第 二特征进行通道拼接， 生成第 一融 合特征和第二融合特 征。 5.根据权利要求4所述的处理方法， 其特征在于， 所述将所述主题拼接通道分别与 所述 第一特征和所述第二特 征进行通道拼接， 生成第一融合特 征和第二融合特 征， 包括： 将所述主题拼接通道分别与所述第一特征和所述第二特征进行RGB颜色通道拼接， 生 成第一融合特 征和第二融合特 征。 6.根据权利要求1至5中任一项所述的处理方法， 其特征在于， 所述通过所述特征还原 单元将所述第一融合特征和所述第二融合特征进 行图像还原， 生成第一融合图像和第二融 合图像， 包括： 对所述第一融合特 征按通道进行分组， 并将每组特 征按通道相加， 生成混洗特 征； 将所述混洗特 征进行图像还原， 生成第一融合图像； 根据上述方法对所述第二融合特 征进行通道分组并相加， 生成第二融合图像。 7.根据权利要求1至5中任一项所述的处理方法， 其特征在于， 在所述获取所述第一编 辑文件在目标编辑区域的第一原始图像， 获取所述第二编辑文件在 对应所述目标编辑区域 上的第二原始图像之后， 使用所述特征提取单元对所述第一原始图像和所述第二原始图像 进行特征提取， 生成第一特 征和第二特 征之前， 所述处 理方法还 包括： 对所述第一原 始图像和所述第二原 始图像进行背景抠除处 理。 8.一种多人实时编辑的处 理装置， 其特 征在于， 包括： 第一获取单元， 用于获取第一编辑文件和第二编辑文件， 所述第一编辑文件和所述第 二编辑文件为模板相同并受到编辑的文件； 第一确定单元， 用于确定所述第一编辑文件和所述第二编辑文件的编辑主题， 并通过 所述编辑主题生成编辑主题参数； 第二获取单元， 用于获取所述第一编辑文件在目标编辑区域的第一原始图像， 获取所 述第二编辑文件在对应所述目标编辑区域上的第二原 始图像；权　利　要　求　书 2/3 页 3 CN 115439725 A 3