(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211430055.7 (22)申请日 2022.11.16 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 金天磊　宋伟　朱世强　王文　 谢冰　周元海　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06T 11/20(2006.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06T 7/73(2017.01) (54)发明名称 一种独立关系检测的场景图生成方法和系 统 (57)摘要 本发明属于计算机视觉领域， 涉及一种独立 关系检测的场景图生成方法和系统， 该方法包 括： 步骤一， 建立独立关系检测模型； 步骤二， 利 用图像、 图像对应的关系标签以及预定义方向锚 训练所述独立关系检测模型， 得到训练好的独立 关系检测模型； 步骤三， 使用训练好的独立关系 检测模型， 输入图像和预定义方向锚， 输出图像 中存在的关系， 对其中相似的关系采用相似关系 抑制算法进行抑制； 步骤四， 同时将通过目标检 测算法检测得到的物体包围框与所述输出图像 中存在的关系的关系起始点和关系末端点进行 位置匹配， 得到<物体 ‑关系‑物体>的三元组， 构 成场景图。 本发 明在不依靠目标检测结果的情况 下就能对图像中的关系进行检测， 提升了场景图 生成的运 算速度。 权利要求书3页 说明书7页 附图5页 CN 115512003 A 2022.12.23 CN 115512003 A 1.一种独立关系检测的场景图生成方法， 其特 征在于， 包括以下步骤： 步骤一， 建立独立关系检测模型； 步骤二， 利用图像、 图像对应的关系标签以及预定义方向锚训练所述独立关系检测模 型， 得到训练好的独立关系检测模型； 步骤三， 使用训练好的独立关系检测模型， 输入图像和预定义方向锚， 输出图像中存在 的关系， 对其中相似的关系采用相似关系抑制算法进行抑制； 步骤四， 同时将通过目标检测算法检测得到的物体包围框与 所述输出图像中存在的关 系的关系起始点和关系末端点进行位置匹配， 得到<物体 ‑关系‑物体>的三元组， 构成场景 图。 2.如权利要求1所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述独立关 系检测模型使用主干网络将输入图像转换为不同尺寸的包含方向信息锚的特征图， 每个特 征图的每个网格中包含若干个方向信息锚且通过方向信息锚计算出关系置信度、 关系类 别、 关系向量偏 差， 利用预定义方向锚和所述的关系向量偏差计算出关系向量， 结合特征图 的网格的位置和计算出的关系置信度、 关系类别、 关系向量， 得到进一 步的关系。 3.如权利要求2所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述每个特 征图的每个网格中包含多个方向信息锚且通过方向信息锚计算出关系置信度、 关系类别、 关系向量偏差， 具体为： 所述特征图的每个网格都是一个一维向量， 所述一维向量被切分为多段， 每一段都是 一个方向信息锚； 所述方向信息锚中包 含关系置信度、 关系类概 率、 关系向量偏差； 其中， 所述关系置信度， 表示关系存在的可能性； 所述关系类概 率， 表示每一种类别的概 率， 关系类概 率最高的类别即为关系类别； 所述关系向量偏差包括 一个角度偏差和一个长度偏差 。 4.如权利要求3所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述利用预 定义方向锚和所述的关系向量偏差计算出关系向量， 具体为： 所述预定义方向锚与所述特 征图的每 个网格中包 含的方向信息锚数量 一致； 在建立所述独立关系检测模型时， 若设定k个预定义方向锚， 则每个特征图的每个网格 包含k个方向信息锚； 每个所述预定义方向锚均为事先设定的值， 包含极坐标系下的预定义极角 和预定义 极径 ， 为极坐标系下的极角和极径的集 合； 所述极坐标系下的预定义极角 加上角度偏差 得到极坐标系下的关系向量极角 ； 所述极坐标系下的预定义极径 乘以长度偏差 得到极坐标系下的关系向量极径 ； 将所述极坐标系下的关系向量极角 和极坐标系下的关系向量极径 ， 转换为笛卡尔权　利　要　求　书 1/3 页 2 CN 115512003 A 2坐标系下的关系向量， 有 。 5.如权利要求4所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述结合特 征图的网格的位置和计算出的关系置信度、 关系类别、 关系向量得到进一步的关系， 具体 为： 图像尺寸除以特征图尺寸得到特征图的缩放因子 ， 不同尺寸的特征图对于不同尺寸 的缩放因子 ； 所述特征图的网格的位置为网格在特 征图中的位置， 宽度位置i， 高度位置j； 所述网格在特征图中的位置乘以所述特征图的缩放因子， 得到关系起始点 ,  ； 所述关系起始点加上笛卡尔坐标系下的关系向量 ， 即可得到关系末端点 ,  ； 则得到的进一步的关系包含所述关系置信度、 所述关系类别、 所述关系起始点和所述 关系末端点。 6.如权利要求5所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述步骤二 中的关系标签包括图像中物体的位置、 标注出来的物体之间的关系类别； 训练所述独立关 系检测模型的过程中， 通过判断物体之 间是否标注关系以及标注出来的物体之 间的关系类 别来计算方向信息锚中关系置信度和关系类别的损失， 通过物体的位置、 物体之间的相对 位置和所述预定义方向锚来计算方向信息锚中的关系向量偏差 。 7.如权利要求5所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述步骤三 中的对其中相似的关系采用相似关系抑制算法进行抑制， 具体为： 对于任意两个关系， 两个关系的关系起始点和所述关系末端点的位置距离接近， 且两 个关系的关系类别一 致， 则认为 这两个关系为相似关系； 对于图像中的相似关系， 采用相似关系抑制算法将关系置信度低的关系抑制， 只保留 相似关系置信度高的关系。 8.如权利要求5所述的一种独立关系检测的场景图生成方法， 其特征在于， 所述步骤 四， 具体为： 同时使用目标检测算法计算出图像中的物体 类别和物体包围框中心点； 判断所述物体包围框中心点与所述关系的关系起始点和关系末端点的距离接近程度， 若存在一个物体包围框中心 点与关系起始点的距离接近， 存在另一个物体包围框中心点与 关系末端点距离的距离接近， 则位置匹配成功； 同时存在多个物体包围框中心点与关系起 始点和关系末端点的距离 接近时， 选择距离最小的物体； 位置匹配成功后， 两个物体之间存在一个关系， 即可得到<物体 ‑关系‑物体>的三元组； 将图像中所有的三元组 组合起来， 构建所述场景图。 9.一种独立关系检测的场景图生成系统， 其特 征在于， 包括： 独立关系检测模型构建模块， 用于建立主干网络， 所述主干网络将图像转换为不同尺 寸的包含方向信息锚的特 征图， 每个特征图的每 个网格中包 含多个方向信息锚； 独立关系检测模型训练模块， 利用图像、 图像对应的关系标签以及预定义方向锚训练权　利　要　求　书 2/3 页 3 CN 115512003 A 3