(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211379312.9 (22)申请日 2022.11.04 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 任思宇　侯国飞　王盟　吴立　 殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李秀云 (51)Int.Cl. G06F 11/36(2006.01) G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 算法自动化测试方法、 中心调度设备及可读 存储介质 (57)摘要 本申请公开了算法自动化测试方法、 中心调 度设备及计算机可读存储介质。 该算法测试方法 包括响应于用户的测试指令， 通 讯层将接收的测 试指令发送给服务层； 服务层基于测试指令从数 据层获取测试数据； 服务层将测试指令所指示的 测试任务划分为至少一个子任务， 并从至少一个 子任务中选择符合条件的目标子任务， 将测试数 据以及目标子任务发送给设备集群， 以由设备集 群中的目标设备根据测试数据对目标子任务所 指示的算法程序进行测试； 服务层接收目标设备 返回的测试结果， 并基于测试结果， 生成测试报 告。 通过上述方式， 本申请能够解决算法测试处 理效率低下的技 术问题。 权利要求书3页 说明书11页 附图7页 CN 115422094 A 2022.12.02 CN 115422094 A 1.一种算法自动化测试方法， 其特征在于， 所述算法自动化测试方法应用于一种调度 中心设备， 所述调度中心设备包括通讯层、 数据层和服务层； 所述算法自动化测试方法包 括： 响应于用户的测试指令， 所述 通讯层将接收的测试指令发送给 所述服务层； 所述服务层基于所述测试指令从所述数据层获取测试 数据； 所述服务层将所述测试指令所指示的测试任务划分为至少一个子任务， 并从所述至少 一个子任务中选择符合条件的目标子任务， 将所述测试数据以及所述目标子任务 发送给设 备集群， 以由所述设备集群中的目标设备根据所述测试数据对所述目标子任务所指示的算 法程序进行测试； 所述服务层接收所述目标设备返回的测试 结果， 并基于所述测试 结果， 生成测试报告。 2.根据权利要求1所述的算法自动化测试 方法， 其特 征在于， 所述服务层基于所述测试指令从所述数据层获取测试数据之前， 所述算法自动 化测试 方法还包括： 所述数据层通过第 一脚本插件将所述测试数据的标注格式统一标准化， 以使所述调度 中心设备兼容多种数据集格式。 3.根据权利要求1所述的算法自动化测试 方法， 其特 征在于， 所述服务层将所述测试指令所指示的测试任务划分为至少一个子任务， 并从所述至少 一个子任务中选择符合条件的目标子任务， 将所述测试数据以及所述目标子任务 发送给设 备集群， 包括： 所述服务层根据所述通讯层的测试指令， 确定所述测试指令所指示的测试任务， 并将 所述测试任务根据若干所述子任务类型划分为多个子任务， 将处于可运行状态的子任务放 入相应的消息队列； 所述服务层将所述消息队列中的目标子任务及其测试 数据发送给 所述设备集群； 其中， 所述消息队列由所述服务层根据若干子任务类型分别创建相应的消息队列， 所 述消息队列用于存放所述测试指令所指示的子任务； 所述子任务类型包括： 数据集预处理、 测试算法程序运行、 结果比对以及生成测试报 告； 其中， 所述数据集预处理的初始状态为可以运行， 所述测试算法程序运行、 所述结果比 对以及所述 生成测试报告的初始状态为 等待运行； 所述将处于可运行状态的子任务 放入相应的消息队列， 包括： 所述服务层在 当前子任务执行完成后， 将按照子任务顺序的下一个子任务的状态切换 为可以运行， 并将处于可运行状态的子任务 放入相应的消息队列。 4.根据权利要求3所述的算法自动化测试 方法， 其特 征在于， 所述服务层将所述消息队列中的目标子任务及其测试数据发送给所述设备集群， 包 括： 在所述目标子任务的子任务类型为测试算法程序运行时， 所述服务层将所述消息队列 中的目标子任务及其测试 数据发送给 所述设备集群。 5.根据权利要求1所述的算法自动化测试 方法， 其特 征在于， 所述通讯层将接收的测试指令发送给 所述服务层， 包括： 所述通讯层获取每 个服务层的连接数；权　利　要　求　书 1/3 页 2 CN 115422094 A 2所述通讯层将所述测试指令发送给 连接数小于预设连接数阈值的服 务层。 6.根据权利要求1所述的算法自动化测试 方法， 其特 征在于， 所述基于所述测试 结果， 生成测试报告， 包括： 所述服务层将接收到的目标子任务测试结果与对应的标准结果进行对比， 以生成所述 测试报告； 其中， 所述测试报告的报告配置服务由所述服务层通过第二脚本插件进 行配置， 以提供多种定制化的测试报告样式， 所述报告配置服 务包括测试报告样式和/或统计指标； 所述服务层对目标子任务测试结果与对应的标准结果进行比对的比对配置和比对逻 辑由所述 服务层通过第三脚本插 件进行配置， 以提供多种灵活的比对方案 。 7.根据权利要求1或6所述的算法自动化测试 方法， 其特 征在于， 所述算法自动化测试 方法， 还包括： 所述服务层通过第四脚本插件对算法程序的测试环境进行配置， 以运行不同平台的测 试算法程序。 8.根据权利要求1所述的算法自动化测试 方法， 其特 征在于， 所述目标子任务的任务类别包括静态图片流、 动态图片流、 模糊视频流、 精准视频流中 至少一种； 所述目标子任务的算法程序为人脸识别算法； 所述服务层将接收到的目标子任务测试 结果与对应的标准结果进行对比包括： 当所述任务类别为所述静态图片流 时， 所述服务层获取与每一检测图片对应的预设数 量个匹配程度最高的测试结果； 若所述标准结果包括所述测试结果中的任意一个结果， 则 确定所述人脸识别算法基于所述标准结果对所述检测图片的识别结果 为正确； 当所述任务类别为所述动态图片流 时， 所述服务层获取与检测图片序列对应的所有测 试结果， 所述测试结果包括与所述检测图片序列中每一检测图片对应的一匹配程度最高的 测试结果； 若所述标准结果包括所述测试结果中的任意一个结果， 则确定所述人脸识别算 法基于所述标准结果对所述检测图片序列的识别结果 为正确； 当所述任务类别为所述模糊视频流 时， 所述服务层获取与检测视频对应的所有测试结 果， 所述测试结果包括与所述检测视频每一帧图像对应的匹配程度最高的测试结果； 若所 述标准结果包括所述测试结果中的任意一个结果， 则确定所述人脸识别算法基于所述标准 结果对所述检测视频的识别结果 为正确； 当所述任务类别为所述精准视频流 时， 所述服务层获取与检测视频对应的所有测试结 果， 所述测试结果包括与所述检测视频每一帧图像对应的匹配程度最高的测试结果； 若所 述标准结果包括所述测试结果， 所述测试结果与所述标准结果属 性匹配， 则确定所述人脸 识别算法基于所述标准结果对所述检测视频 的识别结果为正确； 其中， 属 性匹配包括所述 测试结果对应的图像帧号与相应的所述标准结果的图像帧号匹配， 所述测试结果位于图像 帧中的位置信息与相应的所述标准结果的位置信息匹配、 所述测试结果的索引名称与相应 的所述标准结果的索引名称匹配。 9.一种调度中心设备， 其特征在于， 所述调度中心设备包括存储器以及与所述存储器 耦接的处 理器； 其中， 所述存储器用于存储程序数据， 所述处理器用于执行所述程序数据以实现如权 利要求1至8任一项所述的算法自动化测试 方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机存储介质用于存储程序数据，权　利　要　求　书 2/3 页 3 CN 115422094 A 3