(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211440650.9 (22)申请日 2022.11.17 (71)申请人 北京滴普科技有限公司 地址 100081 北京市海淀区学院南路62号 院1号楼10层10 01-1002 (72)发明人 曹源　 (74)专利代理 机构 北京国谦专利代理事务所 (普通合伙) 11752 专利代理师 肖应国 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 一种数据集成作业中计算资源智能控制方 法及系统 (57)摘要 本发明提供一种数据集成作业中计算资源 智能控制方法及系统， 其中， 方法包括： 当数据集 成任务执行时， 监控系统日志和DEC的常驻内存 使用情况； 基于系统日志和常驻内存使用情况， 确定计算资源分配策略； 执行计算资源分配策 略。 本发明的数据集成作业中计算资源智能控制 方法及系统， 可以有效的减少数据集成任务中， OOM导致任务异常中断， 同时可以通过动态增加 内存资源的机制， 保障了高优先级任务的平稳运 行， 降低了任务中端对下游产生影 响的情况出现 的概率。 同时单个服务器节点内的智 能分配， 也 可以有效的缓解整个集群的资源分配压力， 减少 了企业的运维 成本。 权利要求书3页 说明书10页 附图2页 CN 115495251 A 2022.12.20 CN 115495251 A 1.一种数据集成作业中计算资源智能控制方法， 其特 征在于， 包括： 当数据集成任务执 行时， 监控系统日志和DE C的常驻内存使用情况； 基于所述系统日志和所述常驻内存使用情况， 确定计算资源分配策略； 执行所述计算资源分配策略。 2.如权利要求1所述的一种数据集成作业中计算资源智能控制方法， 其特征在于， 基于 所述系统日志和所述常驻内存使用情况， 确定计算资源分配策略， 包括： 基于所述系统日志， 确定是否有O OM事件发生； 若是， 确定计算资源分配策略为： 若所述DEC为P1级别， 重启所述数据 集成任务， 增加所 述DEC的内存资源分配； 若所述DE C为P2级别， 重启所述数据集成任务； 若所述DEC为P0级别， 基于所述常驻内存使用情况， 确定所述DEC的RES占用是否接近 cgoup.limites； 若是， 确定计算资源分配策略为： 主动增 加所述DE C的内存资源分配； 若所述DEC为P2级别或P3级别， 基于所述常驻内存使用情况， 确定所述DEC的RES占用是 否持续低于预设的百分比； 若是， 确定计算资源分配策略为： 主动减少所述DE C的内存资源分配。 3.如权利要求2所述的一种数据集成作业中计算资源智能控制方法， 其特征在于， 所述 P0级别为主动保障级别； 所述P1级别为失败重试保障级别； 所述P2级别为常规级别； 所述P3级别为低优先级 级别。 4.如权利要求1所述的一种数据集成作业中计算资源智能控制方法， 其特征在于， 还包 括： 当用户输入人工远程计算资源 控制请求时， 获取 所述数据集成任务的任务信息； 对所述任务信息进行 特征提取， 获得多个任务特 征； 基于所述多个任务特 征， 构建第一任务描述向量； 获取预设的计算资源控制专家库， 所述计算资源控制专家库包括： 多组一一对应的专 家节点和第二任务描述向量； 获取所述专家节点的节点信息， 所述节点信息包括： 最近预设的第一时间内专家进行 人工远程计算资源 控制获得的多个客户评价记录； 基于所述节点信息， 从所述专 家节点中挑选出较佳专 家节点； 计算所述第一任务描述向量与任一所述较佳专家节点对应的所述第二任务描述向量 之间的第一向量相似度； 将最大所述第一向量相似度对应的所述较佳专 家节点作为 适宜专家节点； 将所述系统日志和所述常驻内存使用情况持续投递至所述 适宜专家节点； 获取所述适宜专家节点回复的计算资源 控制策略； 执行所述计算资源 控制策略。 5.如权利要求4所述的一种数据集成作业中计算资源智能控制方法， 其特征在于， 基于 所述节点信息， 从所述专 家节点中挑选出较佳专 家节点， 包括： 对所述节点信息进行 预处理；权　利　要　求　书 1/3 页 2 CN 115495251 A 2对预处理结果进行 特征提取， 获得多个节点信息特 征； 基于所述多个节点信息特 征， 从所述专 家节点中挑选出较佳专 家节点。 6.如权利要求5所述的一种数据集成作业中计算资源智能控制方法， 其特征在于， 对所 述节点信息进行 预处理， 包括： 从所述客户评价记录中提取客户填写评价问卷时选择任一评价选项时前和后预设的 第二时间内的视线移动轨 迹； 按照所述评价选项在所述评价问卷中的选项先后顺序倒序遍历所述评价选项； 每次遍历时， 提取遍历到的所述评价选项中的内容结构； 获取所述内容结构对应的预设的第一轨 迹描述向量； 对所述客户选择遍历到的所述评价选项时前和后预设的第二时间内的视线移动轨迹 进行特征提取， 获得多个轨 迹特征； 基于所述多个轨 迹特征， 构建第二轨 迹描述向量； 计算所述第二轨 迹描述向量与所述第一轨 迹描述向量之间的第二向量相似度； 若所述第二向量相似度小于等于预设的向量相似度阈值， 剔除对应所述客户评价记 录； 当所述节点信息中 需要剔除的所述 客户评价记录均剔除后， 完成预处 理； 和/或， 从所述客户评价记录中提取客户填写评价问卷时选择任一评价选项时的停留时长； 按照所述评价选项在所述评价问卷中的选项先后顺序倒序遍历所述评价选项； 每次遍历时， 获取遍历到的所述评价选项对应的预设的停留时长阈值； 若客户填写评价问卷时选择遍历到的所述评价选项时的停留时长小于等于所述停留 时长阈值， 剔除对应所述 客户评价记录； 当所述节点信息中 需要剔除的所述 客户评价记录均剔除后， 完成预处 理。 7.如权利要求5所述的一种数据集成作业中计算资源智能控制方法， 其特征在于， 基于 所述多个节点信息特 征， 从所述专 家节点中挑选出较佳专 家节点， 包括： 基于所述多个节点信息特 征， 构建第一节点描述向量； 获取预设的节点评价库， 所述节点评价库包括： 多组一一对应的第二节点描述向量和 第一评价 值； 将所述第一节点描述向量与任一所述第二节点描述向量进行匹配； 若匹配符合， 若 匹配符合的所述第 二节点描述向量对应的所述第 一评价值大于等于预 设的第一评价阈值， 将对应所述专 家节点作为较佳专 家节点。 8.一种数据集成作业中计算资源智能控制系统， 其特 征在于， 包括： 监控模块， 用于当数据集成任务执 行时， 监控系统日志和DE C的常驻内存使用情况； 确定模块， 用于基于所述系统日志和所述常驻内存使用情况， 确定计算资源分配策略； 执行模块， 用于执 行所述计算资源分配策略。 9.如权利要求8所述的一种数据集成作业中计算资源智能控制系统， 其特征在于， 所述 确定模块基于所述系统日志和所述常驻内存使用情况， 确定计算资源分配策略， 包括： 基于所述系统日志， 确定是否有O OM事件发生； 若是， 确定计算资源分配策略为： 若所述DEC为P1级别， 重启所述数据 集成任务， 增加所权　利　要　求　书 2/3 页 3 CN 115495251 A 3