(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211431185.2 (22)申请日 2022.11.16 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 郑军　余丽　吴芋颖　周非凡　 燕锋　赵庶源　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. H04W 28/26(2009.01) G06F 9/50(2006.01) G06N 3/08(2006.01) (54)发明名称 边缘节点频谱与计算资源 联合分配方法、 装 置和存储介质 (57)摘要 本发明公开了一种边缘节点频谱与计算资 源联合分配方法、 装置和存储介质， 包括以下步 骤： S1、 系统对DQN网络进行初始化训练； S2、 系统 中心控制器对新到达的用户业务请求的特征参 数以及系统中频谱资源和计算资源的状态参数 归一化处理； S3、 系统中心控制器将归一化后的 用户业务请求参数数据和资源状态参数输入训 练好的DQN网络中， 根据DQN网络的输出结果， 为 新到达的用户业务请求预分配频谱资源和计算 资源； 本发明一种基于DQN的单边缘节点系统频 谱与计算资源 联合分配方法和装置， 在满足单边 缘节点系统不同类型用户业务请求的服务时延 上限要求的前提下， 最大化系统的吞吐量。 权利要求书3页 说明书9页 附图6页 CN 115499882 A 2022.12.20 CN 115499882 A 1.一种边 缘节点频谱与计算资源联合分配方法， 其特 征在于， 包括以下步骤： S1、 系统对DQ N网络进行初始化训练； S2、 系统中心控制器对新到达的用户业务请求的特征参数以及系统中频谱资源和计算 资源的状态参数归一 化处理； S3、 系统中心控制器将归一化后的用户业务请求参数数据和资源状态参数输入训练好 的DQN网络中， 根据DQN网络的输出结果， 为新到达的用户业务请求预分配频谱资源和 计算 资源； S4、 系统中心控制器根据所述步骤S3中所输出的频谱资源和计算资源预分配结果， 计 算新到达的用户业务请求在系统中预计经历的总服务时延， 若新到达的用户业务请求在系 统中预计经历的总服务时延大于其服务时延上限， 则系统拒绝该用户业务请求； 否则， 系统 接入该用户业 务请求； S5、 如果新到达的用户业务请求被系 统接入， 基站根据步骤S3中所输出的频谱资源预 分配结果， 为 新到达的用户业 务请求分配频谱资源； S6、 新到达的用户业务请求的数据传输到边缘服务器后， 边缘服务器将根据步骤S3中 所输出的计算资源预分配结果， 为 新到达的用户业 务请求分配 计算资源。 2.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述 步骤S1的具体子步骤如下： S11、 初始化记忆库大小、 DQN中的目标网络和预测网络的网络结构和参数， 预先设置超 参数M； S12、 系统中心控制器与系统环境交互， 生成DQN训练集， 在生成训练集阶段， 系统中心 控制器每次与系统环境交互 时都将得到一个包含系统当前状态、 频谱资源和计算资源联合 预分配决策、 系统环境奖励值以及系统下一状态信息的四元组； S13、 将系统中心控制器与系统环境交互得到的四元组存入到记忆库中， 若记忆库中四 元组数量未超出记忆库的最大容量， 直接将四元 组存储到记忆库中； 否则， 若超 出记忆库最 大容量， 则删去最早存入记忆库中的四元组， 然后存 入新的四元组； S14、 从记忆库中随机抽取一个batch大小的四元组样本数据输入到目标网络与预测网 络中， 并计算损失函数的值； S15、 系统中心控制器使用RMSprop梯度下降法， 根据损失函数的值更新DQN预测网络的 网络参数， DQ N预测网络的网络参数每更新 一次， 计数器加一； S16、 重复步骤S14到S15， 每当DQN预测网络的网络参数更新计数次数达到M的倍数时， 跳转至步骤S17； S17、 系统中心控制器将DQN预测网络的网络参数复制给目标网络的网络参数， 使两个 网络的参数完全相同； S18、 重复步骤S14到S17， 直到损失函数的值收敛。 3.如权利要求2所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述 四元组表示为 ， 其中 表示系统的当前状态， 其包括新到达的用户业务请 求的特征参数以及系统中频谱资源和计算资源的状态参数； 表示系统中心控制器获取权　利　要　求　书 1/3 页 2 CN 115499882 A 2状态 后， 根据 策略选择出的一个频谱资源和计算资源联合预分配决策 ， 其中 表示预分配给用户业务请求的频谱资源块数量， 表示预分配给用户业 务请求的计算资源块数量； 表示系统中心控制器执行 后系统环境反馈的一个奖励值； 表示系统的下一个 状态。 4.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述 步骤S2的具体子步骤 包括： S21、 系统中心控制器分别获取新到达的用户业务请求的类型和数据量以及系统中所 有频谱资源块和计算资源块的释放时间； S22、 对获取的各项参数进行归一 化处理。 5.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述 步骤S3的具体子步骤 包括： S31、 系统中心控制器将经归一化处理后的用户业务请求的各项特征参数以及系统中 频谱资源和计算资源的状态参数输入DQ N网络； S32、 DQN网络根据当前预测网络的网络参数， 输出所有可能的频谱资源和计算资源联 合预分配决策的Q 值； S33、 系统中心控制器为新到达的用户业务请求选择具有最高Q值的频谱资源和计算资 源联合预分配决策。 6.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述 步骤S4的具体子步骤 包括： S41、 根据步骤S3中所输出的频谱资源和计算资源联合预分配结果， 计算新到达的用户 业务请求在系统中预计经历的总服务时延， 依次计算对用户业务请求的业务数据在预分配 的频谱资源情况下可获得的最大传输速率、 对应的传输时延、 在传输侧的排队时延、 对应的 计算时延和在计算侧的排队时延， 用户业务请求在系统中的总服务时延为所述对应的传输 时延、 在传输侧的排队时延、 对应的计算时延和在计算侧的排队时延之和； S42、 如果在预分配的频谱资源和计算资源情况下， 新到达的用户业务请求在系统中预 计经历的总服务时延大于其服务时延上限， 则系统拒绝该用户业务请求； 否则， 系统接入该 用户业务请求。 7.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述 步骤S5的具体子步骤 包括： S51、 新到 达的用户业 务请求进入传输侧用户请求队列等待频谱资源的分配； S52、 基站获取当前时刻系统中的频谱资源状态信 息， 若系统中可用的空闲频谱资源不 少于预分配的频谱资源， 则直接为新到达的用户业务请求分配频谱资源； 否则， 新到达的用 户业务请求将排队等待， 直至系统中足够数量的频谱资源释放出来； S53、 新到达的用户业务请求获得分配的频谱资源后， 对应的用户将通过上行链路将其 业务数据传输 至边缘服务器； S54、 系统更新频谱资源状态。 8.如权利要求1所述的一种边缘节点频谱与计算资源联合分配方法， 其特征在于： 所述权　利　要　求　书 2/3 页 3 CN 115499882 A 3