(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365066.1 (22)申请日 2022.11.03 (71)申请人 博和利统计大 数据 （天津） 集团有限 公司 地址 300000 天津市滨 海新区华苑产业区 华天道6号海 泰信息广场H座209 (72)发明人 郭晓和　王楠　杨孟磊　刘成平　 李通　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 吴英杰 (51)Int.Cl. G06F 16/951(2019.01) G06F 16/958(2019.01) G06F 16/901(2019.01)G06F 9/50(2006.01) G06N 5/04(2006.01) G06F 8/41(2018.01) (54)发明名称 数据抓取引擎开发方法、 执行方法、 设备及 存储介质 (57)摘要 本申请涉及一种数据抓取引擎开发方法、 执 行方法、 设备及存储介质， 引擎开发方法包括： 获 取录制访问样本， 录制访问样 本包括浏览器操作 行为数据和HTTP请求数据； 基于黑板系统和HTTP 回放技术对录制访问样本进行推导， 获取请求访 问目标的最优访问推导信息， 其中， 最优访问推 导信息包括最优路径、 最优路径的最优参数集和 最优参数因果路径； 基于最优访问推导信息， 构 建行为树， 生成表征行为树和状态机的DSL文件； 通过对DSL文件进行词法、 语法分析， 识别行为树 的节点中待生成代码的目标行为节 点， 对目标行 为节点进行代码生成。 本申请可解决开发周期 长、 请求逻辑分析难、 代码编写成本高、 性能优化 繁琐困难、 代码可维护性和复用性差等问题。 权利要求书2页 说明书17页 附图7页 CN 115408595 A 2022.11.29 CN 115408595 A 1.一种数据抓取引擎 开发方法， 其特 征在于， 包括： 获取不同维度的数据作为录制访问样本， 所述不同维度的数据包括浏 览器操作行为数 据和HTTP请求数据； 基于黑板系统和HTTP回放技术对所述录制访问样本进行推导， 获取请求访问目标的最 优访问推导信息， 其中， 所述最优访问推导信息包括最优路径、 所述最优路径的最优参数集 和最优参数因果路径； 基于所述 最优访问推导信息， 构建行为 树， 生成表征 所述行为 树和状态机的D SL文件； 通过对所述DSL文件进行词法、 语法分析， 识别所述行为树的节点中待生成代码的目标 行为节点， 对所述目标 行为节点进行代码生成。 2.根据权利要求1所述的方法， 其特征在于， 所述基于黑板系统和HTTP回放技术对所述 录制访问样本进行推导， 获取请求访问目标的最优访问推导信息包括： 将所述录制访问样本导入黑板系统， 作为当前共享知识； 为所述黑板系统选取多个知识源； 使每个知识源基于先验知识对所述当前共享知识进行推导， 得到先验结果， 将所述先 验结果中的所述请求访问目标的最优路径、 所述最优路径的最优参数集和最优参数因果路 径进行HTTP重放测试， 得到新的共享知识， 将新的共享知识 导入所述黑板系统， 并将所述新 的共享知识作为所述当前共享知识； 重复所述使每个知识源基于先验知识对所述当前共享知识进行推导， 得到先验结果的 步骤， 直到所有知识源对当前共享知识的推导不再产生新的先验结果， 最新的先验结果中 的所述请求访问目标的最优路径、 所述最优路径的最优参数集和最优参数 因果路径即为所 述请求访问目标的最优访问推导信息 。 3.根据权利要求1或2所述的方法， 其特征在于， 所述基于所述最优访问推导信 息， 构建 行为树， 生成表征 所述行为 树和状态机的D SL文件包括： 基于所述最优路径构建双层行为树， 所述双层行为树的顶层节点包括一控制节点， 第 二层节点均为访问行为节点； 基于所述 最优参数集， 在所述访问行为节点的父级扩展数据处 理行为节点； 基于所述最优参数因果路径， 对所述数据处理行为节点进行垂直展开， 再加入控制节 点， 进行同步水平扩展； 采用前序遍历的方式， 从根节点开始， 参照DSL词法表推导出DSL文法结构， 得到所述 DSL文件。 4.根据权利要求1或2所述的方法， 其特征在于， 在所述通过对所述DSL文件进行词法、 语法分析， 识别所述行为树的节点中待生成代码的目标行为节点， 对所述 目标行为节点进 行代码生成之前， 还 包括： 提供人工介入调整所述行为 树的入口； 所述通过对所述DSL文件进行词法、 语法分析， 识别所述行为树的节点中待生成代码的 目标行为节点， 对所述目标 行为节点进行代码生成包括： 通过对所述D SL文件进行词法、 语法分析， 识别D SL声明的行为节点是否存在语法异常； 若是， 则中断代码生成过程， 并生成提 示消息， 用以提 示人工介入修改； 若否， 则利用模板技 术对所述D SL声明的未引用实现的行为节点进行实现代码生成；权　利　要　求　书 1/2 页 2 CN 115408595 A 2将生成的代码文件落盘至指定代码路径， 并根据获取的DSL定义语句位置更新补全定 义语句。 5.一种数据抓取引擎执 行方法， 其特 征在于， 包括： 响应于外部事件， 计算行为 树的当前 行为节点的权 重； 基于所述当前行为节点的权重以及所述当前行为节点的后 续行为节点的权重， 生成所 述当前行为节点的优先级数值； 基于所述当前 行为节点的优先级数值更新任务队列； 基于更新后的任务队列， 对所述行为 树的节点执 行进行调度。 6.根据权利要求5所述的方法， 其特 征在于， 所述当前 行为节点的权 重的计算公式为： ; 式中， 为所述当前行为节点的权重； 为所述当前行为节点第 次执行的节点运行时 间， 其中， ， ≥1且 为整数； 为所述当前行为节点已执行的次数， 其中， ≥1且 为整数。 7.根据权利要求5或6所述的方法， 其特征在于， 在所述响应于外部事件， 计算行为树的 当前行为节点的权 重之前， 还 包括： 检查黑板系统中是否存在 初始化的行为 树； 若是， 则对所述行为 树的上下文信息进行初始化； 若否， 则利用DSL文件还原所述行为 树。 8.根据权利要求7所述的方法， 其特征在于， 所述利用所述DSL文件还原所述行为树包 括： 扫描所述D SL文件； 根据DSL词法表构造有穷状态机， 通过所述有穷状态机解析所述DSL文件， 得到词法 token流； 根据DSL语法表构造语法分析器， 对所述词法token流顺序遍历， 载入所述语法分析器 中进行语法检查， 清理无语义to ken； 采用逆波兰后缀表达式方式， 通过双堆栈逐 行构造抽象语法树； 对所述抽象语法树进行 执行， 在执行过程中翻译成内存中所述行为 树的节点。 9.一种电子设备， 其特征在于， 包括存储器和处理器； 所述存储器上存储有能够被所述 处理器加载并执 行如权利要求1至8任一项所述方法的计算机程序。 10.一种计算机可读存储介质， 其特征在于， 存储有能够被处理器加载并执行如权利要 求1至8任一项所述方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115408595 A 3