(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221043902 9.4 (22)申请日 2022.04.25 (71)申请人 网易(杭州)网络有限公司 地址 310000 浙江省杭州市滨江区长河街 道网商路59 9号4幢7层 (72)发明人 孙晓磊　 (74)专利代理 机构 北京博浩百 睿知识产权代理 有限责任公司 1 1134 专利代理师 赵昀彬　谢湘宁 (51)Int.Cl. G06F 11/36(2006.01) G06V 10/74(2022.01) G06V 20/40(2022.01) (54)发明名称 控制终端执行测试操作 的方法、 装置、 存储 介质及电子装置 (57)摘要 本发明公开了一种控制终端执行测试操作 的方法、 装置、 存储介质及电子装置。 该方法包 括： 接收来自于第一终端当前采集的视频流； 基 于所述视频流执行视频渲染操作， 在第二终端上 显示第一图像； 监听作用于所述第一图像的第一 操作事件， 在所述第二终端上生成事件测试脚 本； 向所述第一终端注入所述事件测试脚本， 以 控制所述第一终端按照所述事件测试脚本执行 对应的测试操作。 本发明解决了相关技术提供的 人工编码生成脚本或基于事件录制驱动的自动 化测试方法其成本高、 难度大、 效率低以及兼容 性差的技 术问题。 权利要求书2页 说明书19页 附图7页 CN 114880214 A 2022.08.09 CN 114880214 A 1.一种控制终端执 行测试操作的方法， 其特 征在于， 包括： 接收来自于第一终端当前采集的视频流； 基于所述视频流执 行视频渲染操作， 在第二终端上显示第一图像； 监听作用于所述第一图像的第一操作事 件， 在所述第二终端上生成事 件测试脚本； 向所述第一终端注入所述事件测试脚本， 以控制所述第 一终端按照所述事件测试脚本 执行对应的测试操作。 2.根据权利要求1所述的方法， 其特征在于， 监 听作用于所述第 一图像的所述第 一操作 事件， 生成所述事 件测试脚本包括： 按照预设对应关系将所述第一操作事件转化为第二操作事件， 其中， 所述预设对应关 系用于记录在所述第一终端上执行的操作事件与所述第二终端上执行的操作事件之间的 对应关系； 获取事件录制信息集合， 其中， 所述事件录制信息集合包括： 第一录制信息、 第二录制 信息和第三录制信息， 所述第一录制信息用于记录所述第一操作事件对应的时间戳， 所述 第二录制 信息用于记录所述第一操作事件的事件详情， 所述第三录制 信息用于记录所述第 一操作事 件对应的画面帧； 采用所述第二操作事 件和所述事 件录制信息集 合生成所述事 件测试脚本 。 3.根据权利要求2所述的方法， 其特征在于， 所述第二录制信息包括： 所述第一操作事 件的事件类型对应的事件位置属性， 其中， 所述事件位置属 性用于从所述第一图像中截取 第二图像， 所述第二图像的显示内容包括： 所述第一操作事 件的操作对象。 4.一种控制终端执 行测试操作的方法， 其特 征在于， 包括： 将第一终端当前采集的视频流发送至第二终端； 接收所述第二终端注入的事件测试脚本， 其中， 所述事件测试脚本是通过所述第二终 端监听作用于第一图像的第一操作事件所生成的测试脚本， 所述第一图像是所述第二终端 基于所述视频流执 行视频渲染操作所显示的图像； 通过对所述事 件测试脚本进行回放， 执 行对应的测试操作。 5.根据权利要求4所述的方法， 其特征在于， 通过对所述事件测试脚本进行回放， 执行 对应的测试操作包括： 从所述事件测试脚本中获取第二操作事件和事件录制信息集合， 其中， 所述第二操作 事件由所述第一操作事件按照预设对应关系转化得到， 所述预设对应关系用于记录在所述 第一终端上执行的操作事件与所述第二 终端上执行的操作事件之 间的对应关系， 所述事件 录制信息集合包括： 第一录制 信息、 第二录制信息和第三录制 信息， 所述第一录制 信息用于 记录所述第一操作事件对应的时间戳， 所述第二录制 信息用于记录所述第一操作事件的事 件详情， 所述第三录制信息用于记录所述第一操作事 件对应的画面帧； 基于所述事 件录制信息集 合对所述第二操作事 件进行回放， 执 行对应的测试操作。 6.根据权利要求5所述的方法， 其特征在于， 基于所述事件录制信 息集合对所述第 二操 作事件进行回放， 执 行对应的测试操作包括： 从所述第二录制信息中， 获取 所述第一操作事 件的事件类型对应的事 件位置属性； 基于所述事件位置属性和所述第 三录制信 息， 从所述第 一图像中截取第 二图像， 其中， 所述第二图像的显示内容包括： 所述第一操作事 件的操作对象；权　利　要　求　书 1/2 页 2 CN 114880214 A 2对所述第 二图像与第三图像进行图像匹配， 得到匹配结果， 其中， 所述第 三图像为所述 第一终端上显示的图像， 所述第三图像与所述第一图像的显示内容相同， 所述第三图像与 所述第一图像分别采用不同的图像分辨 率； 依据所述匹配结果对所述第二操作事 件进行回放， 执 行对应的测试操作。 7.根据权利要求6所述的方法， 其特征在于， 对所述第二图像与第三图像进行图像匹 配， 得到所述匹配结果包括： 获取所述第二图像对应的第一 坐标； 采用预设图像匹配算法对所述第一坐标、 所述第二图像和所述第三图像进行分析， 得 到至少一个第二 坐标； 基于所述至少一个第二 坐标确定所述匹配结果。 8.根据权利要求7所述的方法， 其特征在于， 基于所述至少一个第 二坐标确定所述匹配 结果包括： 响应于采用所述预设图像匹配算法得到多个第 二坐标， 获取所述多个第 二坐标中每个 第二坐标对应的归一 化坐标以及所述第一 坐标对应的归一 化坐标； 基于所述多个第二坐标中每个第二坐标对应的归一化坐标与所述第一坐标对应的归 一化坐标之间的比对结果， 确定所述多个第二 坐标中每 个第二坐标对应的置信度； 依据所述多个第二 坐标中每 个第二坐标对应的置信度确定所述匹配结果。 9.一种控制终端执 行测试操作的装置， 其特 征在于， 包括： 接收模块， 用于 接收来自于第一终端当前采集的视频流； 渲染模块， 用于基于所述视频流执 行视频渲染操作， 在第二终端上显示第一图像； 监听模块， 用于监听作用于所述第一图像的第一操作事件， 在所述第二终端上生成事 件测试脚本； 控制模块， 用于向所述第一终端注入所述事件测试脚本， 以控制所述第一终端按照所 述事件测试脚本执 行对应的测试操作。 10.一种控制终端执 行测试操作的装置， 其特 征在于， 包括： 发送模块， 用于将第一终端当前采集的视频流发送至第二终端； 接收模块， 用于接收所述第 二终端注入的事件测试脚本， 其中， 所述事件测试脚本是通 过所述第二 终端监听作用于第一图像的第一操作事件所生成的测试脚本， 所述第一图像是 所述第二终端基于所述视频流执 行视频渲染操作所显示的图像； 执行模块， 用于通过对所述事 件测试脚本进行回放， 执 行对应的测试操作。 11.一种非易失性存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 其中， 所 述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的控制终端执行测试 操作的方法。 12.一种电子装置， 包括存储器和 处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行所述权利要求 1至8任一项中所述的控 制终端执 行测试操作的方法。权　利　要　求　书 2/2 页 3 CN 114880214 A 3