standard download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211443356.3 (22)申请日 2022.11.18 (71)申请人 天河超级计算淮 海分中心 地址 276000 山东省临沂市兰山区临沂 北 站站房东侧角房3楼 (72)发明人 李健增 孟祥飞 张振伟 张士岩  刘金明 冯源 孙娜 唐斌  (74)专利代理 机构 北京锺维联合知识产权代理 有限公司 1 1579 专利代理师 黄利萍 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 基于优先级的超算节 点使用方法、 电子设备 和存储介质 (57)摘要 本发明提供了一种基于优先级的超算节点 使用方法、 电子设备和存储介质, 涉及大数据处 理领域。 所述方法包括: S100, 在检测到存在未处 理的计算任务时, 执行S2 00; S200, 基于当前未处 理的计算任务和预设超算节点使用优先级信息 表, 获取按优 先级从高到低的顺序排列的待计算 文件集C; S300, 获取可使用超算节点, 并利用获 取到的可使用超算节点对C中的待计算任务依次 进行处理。 本发明在出现任务排队时, 能够基于 用户提供的计算任务的数量、 平均单个任务的计 算耗时和任务紧急情况来分配超算节 点, 从而能 够使得超算节点的使用变得更加合理。 权利要求书2页 说明书8页 附图1页 CN 115495224 A 2022.12.20 CN 115495224 A 1.一种基于优先级的超算节点使用方法, 其特 征在于, 所述方法包括: S100, 在检测到存在未处 理的计算任务时, 执 行S200; S200, 基于当前未处理的计算任务和m个预设超算节点使用优先级信息表, 获取按优先 级从高到低的顺序排列的待计算任务组集C= (C1, C2, …, Ck,…, CL) ; 其中, 第i个预设超算 节点使用优先级信息表的第j行包括 (Wij, Aij, Tij, Eij) , Wij为第i个预设超算节点使用优先 级信息表中的第j个任务类型, Aij为Wij对应的任务量, Tij为Wij对应的平均单个任务计算耗 时, Eij为Wij对应的任务属性, Wij对应的优先级为Pi, i的取值为1到m, j的取值为1到f (i) , f (i) 为第i个预设超算节点使用优先级信息表的任务类型数量; P1>P2> …>Pi>…>Pm; 第k个待计算任务组Ck= (Ck1, Ck2,…, Ckr,…, Ckf(k)), Ckr为Ck中的第r个待计算任务集, Ckr = (IDCkr, RCkr1, RCkr2,…, RCkrb,…, RCkrh (k, r)) , IDCkr为Ckr对应的用户ID, RCkrb为Ckr中的第 b个待计算任务, Ckr的优先级为Gk, Ckr的执行顺序为r, k的取值为1到L, L为C中的待计算任 务组的数量, L≤m; r的取值为1到f (k) , f (k) 为Ck中的待计算任务集的数量, b的取值为1到h (k, r) , h (k, r) 为Ckr中的待计算任务的数量, Gk∈{P1, P2, …, Pm}; S300, 获取可使用超算节点, 并利用获取到的可使用超算节点对C中的待计算任务依次 进行处理; S300具体包括: S310, 获取从任务计算节点中释放的超算节点, 得到可使用超算节点; S320, 如果当前处理的Ckr对应IDCkr对应的总任务量和平均单个任务计算耗时满足第 一设定条件, 执 行S330; 如果满足第二设定条件, 执 行S340; 否则, 执 行S360; S330, 如果Ckr中已计算的任务数量Q (k, r) <D1, 则利用可使用超算节点继续计算Ckr中 的 (D1‑  Q (k, r) ) 个待计算任务, 执 行S350; 如果Q (k, r) =D1, 执 行S350; D1为第一设定阈值; S340, 如果Ckr中已计算的任务数量Q (k, r) <D2, 则利用可使用超算节点继续计算Ckr中 的 (D2‑Q (k, r) ) 个待计算任务, 执 行S350; 如果Q (k, r) =D2, 执 行S350; D2为第二设定阈值; S350, 将Ckr的执行顺序调整为f(k), 并将Ck中除Ckr之外的待计算任务集的执行顺序分 别增加1; 执行S370; S360, 利用可使用超算节点对Ckr中的待计算任务进行计算, 在 Ckr中的所有待计算任务 计算完后, 执 行S370; S370, 设置r=r+1; 如果r≤f (k) , 执 行S320, 否则, 执 行S380; S380, 设置k=k+1; 如果 k≤L, 执行S320; 否则, 退 出控制程序。 2.根据权利要求1所述的方法, 其特 征在于, 在S20 0中, Gk基于如下步骤得到: S201, 从当前正在计算的任务中获取属于IDCkr的计算任务数量h1 (k, r) 以及 从当前待 计算的任务中获取属于IDCkr的计算任务数量h (k, r) ; S202, 获取IDCkr对应的当前任务属性E (k, r) 、 IDCkr提交的总计算任务的任务量d (k, r) 以及IDCkr的平均单个任务计算耗时t (k, r) , 其中, d (k, r) =h1 (k, r) +h (k, r) , t (k, r) = ( ) /d (k, r) , t (k, r)u为IDCkr当前提交的总计算任务中的第u个计算任务的计算耗 时; S203, 基于E (k, r) 、 d (k, r) 和t (k, r) , 从m个预设超算节点使用优先级信息表中获取对 应的优先级作为Gk。权 利 要 求 书 1/2 页 2 CN 115495224 A 23.根据权利要求2所述的方法, 其特征在于, t (k, r)u基于设定的计算耗时预测模型得 到。 4.根据权利要求3所述的方法, 其特征在于, 所述设定的计算耗 时预测模型基于已经计 算成功的N个 计算任务的时间控制要素、 计算使用资源和计算 耗时构建。 5.根据权利要求 4所述的方法, 其特 征在于, t (k, r)u基于如下步骤得到: S2020, 获取第u个 计算任务的时间控制要素和计算使用资源; S2021, 将第u个计算任务的时间控制要素和计算使用资源输入到所述设定的计算耗时 预测模型中, 得到对应的预测计算 耗时tc (k, r)u; S2022, 获取t (k, r)u=tc (k, r)u。 6.根据权利要求1所述的方法, 其特 征在于, 在S310之前还 包括: S312, 如果当前处 理的Ckr的任务属性 为设定属性, 执 行S314; 否则, 执 行S320; S314, 基于Ckr需要的超算节点数量, 从可使用超算节点中获取对应数量的超算节点作 为Ckr的锁定节点; 在Ckr中的待计算任务计算完后, 执 行S370。 7.根据权利要求1所述的方法, 其特征在于, 所述任务属性包括重点紧急、 重点不紧急、 非重点紧急、 非重点 不紧急。 8.根据权利要求1所述的方法, 其特征在于, 所述任务属性包括锁定计算、 重点紧急、 重 点不紧急、 非重点紧急、 非重点 不紧急。 9.一种非瞬时性计算机可读存储介质, 所述存储介质中存储有至少一条指令或至少一 段程序, 其特征在于, 所述至少一条指令或所述至少一段程序由处理器加载并执行以实现 如权利要求1 ‑8中任意一项的所述方法。 10.一种电子设备, 其特征在于, 包括处理器和权利要求9中所述的非瞬时性计算机可 读存储介质。权 利 要 求 书 2/2 页 3 CN 115495224 A 3

PDF文档 专利 基于优先级的超算节点使用方法、电子设备和存储介质

文档预览
中文文档 12 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于优先级的超算节点使用方法、电子设备和存储介质 第 1 页 专利 基于优先级的超算节点使用方法、电子设备和存储介质 第 2 页 专利 基于优先级的超算节点使用方法、电子设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:00:24上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。