(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211238991.8 (22)申请日 2022.10.11 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 刘世霞　陈长建　陈嘉澍　王昊泽　 赵曦滨　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) (54)发明名称 用于对多个视频样本进行故事线布局可视 化的方法和系统 (57)摘要 本发明公开了用于对多个视频样本进行故 事线布局可视化的方法和系统， 该方法包括接收 多个视频样本， 其中， 多个视频样本的每个视频 样本对应一个事件， 多个视频样 本对应同一事件 类型， 并且多个视频样本的每个视频样本包含多 个帧； 获得多个视频样本中任意两个视频样本的 帧之间的对应 关系； 根据获得的任意两个视频样 本的帧之间的对应 关系， 确定多个视频样本的帧 在故事线的时间轴上的位置； 以及对多个视频样 本的帧进行可视化展示。 本发明的方法可以对多 个视频样本提高标注效率。 权利要求书3页 说明书9页 附图9页 CN 115546694 A 2022.12.30 CN 115546694 A 1.一种用于对多个视频样本进行故事线布局可视化的方法， 包括： 接收多个视频样本， 其中， 所述多个视频样本的每个视频样本对应一个事件， 所述多个 视频样本对应同一事 件类型， 并且所述多个视频样本的每 个视频样本包 含多个帧； 获得所述多个视频样本中任意两个视频样本的帧之间的对应关系； 根据所述获得的任意两个视频样本的帧之间的对应关系， 确定所述多个视频样本的帧 在故事线的时间轴上的位置； 以及 对所述多个视频样本的帧进行 可视化展示。 2.根据权利要求1所述的方法， 其中， 所述根据所述获得的任意两个视频样本的帧之间 的对应关系， 确定所述多个视频样本的帧在故事线的时间轴上的位置包括： 根据获得的所述多个视频样本 中任意两个视频样本的帧之间的对应关系， 确定任意两 个视频样本之间的样本第一相似度。 3.根据权利要求2所述的方法， 其中， 所述根据所述获得的任意两个视频样本的帧之间 的对应关系， 确定所述多个视频样本的帧在故事线的时间轴上的位置包括： 对所述多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧 在故事线上的位置的确定； 获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的 样本第二相似度以及样本第二相似度的第一 排序； 以及 根据所述第 一排序以及所述获得的任意两个视频样本的帧之间的对应关系， 依次对未 确定帧在故事线上 的位置的视频样本中样本第二相似度最大的视频样本进行帧在故事线 上的位置的确定 。 4.根据权利要求3所述的方法， 其中所述对未确定帧在故事线上的位置的视频样本中 样本第二相似度最大的视频样本进行帧在故事线上的位置的确定包括： 根据未确定帧在故事线上的位置的视频样本中样本第二相似度最大的视频样本与第 一视频样本和第二视频样本的帧之间的对应关系以及第一视频样本和第二视频样本的帧 在故事线 上的位置， 对所述未确定帧在故事线上的位置的视频样本中样本第二相似度最大 的视频样本进行帧在故事线上的位置的确定 。 5.根据权利要求2所述的方法， 其中， 所述根据所述获得的任意两个视频样本的帧之间 的对应关系， 对所述多个视频样本进行帧在故事线的时间轴上的位置的确定包括： 对所述多个视频样本中样本第一相似度最高的第一视频样本和第二视频样本进行帧 在故事线上的位置的确定； 获得未确定帧在故事线上的位置的视频样本与第一视频样本和第二视频样本之间的 样本第二相似度以及样本第二相似度的第一 排序； 根据所述第 一排序以及所述获得的任意两个视频样本的帧之间的对应关系， 对未确定 帧在故事线上 的位置的视频样本中样本第二相似度最大的第三视频样本进行帧在故事线 上的位置的确定； 获得未确定帧在故事线上的位置的视频样本与第 一视频样本、 第 二视频样本和第 三视 频样本之间的样本第三相似度以及样本第三相似度的第二 排序； 以及 根据所述第 二排序以及所述获得的任意两个视频样本的帧之间的对应关系， 对未确定 帧在故事线上 的位置的视频样本中样本第三相似度最大的第四视频样本进行帧在故事线权　利　要　求　书 1/3 页 2 CN 115546694 A 2的时间轴上的位置的确定 。 6.根据权利要求5所述的方法， 其中对所述第四视频样本进行帧在故事线上的位置的 确定包括： 根据所述第四视频样本与第 一视频样本、 第 二视频样本和第 三视频样本的帧之间的对 应关系以及第一视频样本、 第二视频样本和第三视频样本的帧在故事线上 的位置， 对所述 第四视频样本进行帧在故事线上的位置的确定 。 7.根据权利要求3 ‑6之一所述的方法， 其中对所述多个视频样本的帧进行可视化展示 包括： 在可视化展示的xy平面中， 在y轴上， 按照所述多个视频样本中视频之间的视频第一、 第二相似度依次排列所述多个视频。 8.根据权利要求7 所述的方法， 其中还 包括： 在所述可视化展示的xy平面中， 将时间轴作为x轴， 根据所述多个视频样本的帧在故事 线上的位置确定其在x轴上的位置 。 9.根据权利要求1 ‑7之一所述的方法， 其中， 获得所述多个视频样本中任意两个视频样 本的帧之间的对应关系包括： 获得所述任意两个视频样本的第一视频包含的每个帧在所述任意两个视频样本的第 二视频中的对应帧， 所述对应帧为 零个、 一个或多个帧； 通过将所述第一视频中的一个帧与其在所述第二视频中的一个对应帧表示为一个对 应关系， 记录所述第一视频中的帧与所述第二视频中的帧的全部对应关系集合， 其中， 所述 全部对应关系集 合的每个元素为一个对应关系； 以及 选择所述全部对应关系集合中满足时序约束的最大对应关系集合， 其中， 所述最大对 应关系集合为所述全部对应关系集合的子集， 所述最大对应关系集合中的对应关系为所述 第一视频和所述第二视频之间的对应关系。 10.根据权利要求9所述的方法， 其中获得所述任意两个视频样本的第一视频包含的每 个帧在所述任意两个视频样本的第二视频中的对应 帧， 所述对应 帧为零个、 一个或多个 帧 包括： 计算所述第一视频中的每一帧和所述第二视频中的每一帧之间的帧相似度； 以及 根据计算的帧之间的帧相似度， 获得所述第 一视频包含的每个帧在所述第 二视频中帧 相似度大于预设阈值的对应帧， 所述对应帧为 零个、 一个或多个帧。 11.根据权利要求10所述方法， 其中所述时序约束要求任意第一视频中的具有前后时 序关系的两帧在第二视频中的对应帧也具有前后时序关系。 12.根据权利要求11所述方法， 其中所述选择所述全部对应关系集合中满足时序约束 的最大对应关系集 合， 所述最大对应关系集 为所述全部对应关系集 合的子集包括： 记录所述全部对应关系集 合中的任意两个不满足时序约束的对应关系； 得到所述全部对应关系集 合的所有子集； 以及 从所述所有子集中选择所述最大对应关系集合， 其中， 所述最大对应关系集合包含最 大数量的对应关系并且不包 含记录的任意两个不满足时序约束的对应关系。 13.一种用于对多个样本进行网格布局可视化的计算机可读存储介质， 所述计算机可 读存储介质具有存储其中的程序指 令， 所述程序指 令可由计算设备执行以使得计算设备执权　利　要　求　书 2/3 页 3 CN 115546694 A 3