(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132222.X (22)申请日 2022.09.16 (71)申请人 国网湖北省电力有限公司电力科 学 研究院 地址 430077 湖北省武汉市洪山区徐 东大 街227号 申请人 国网湖北省电力有限公司 　 国家电网有限公司 　华中科技大 学 (72)发明人 柳丹　冀肖彤　王伟　康逸群　 李小平　江克证　曹侃　熊平　 邓万婷　陈霞　叶畅　肖繁　胡畔　 李喆　谭道军　陈孝明　蔡萱　 何宇航　 (74)专利代理 机构 武汉楚天专利事务所 421 13 专利代理师 孔敏(51)Int.Cl. H02J 3/32(2006.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) (54)发明名称 一种多点分布式储能系统聚合控制智能决 策方法及装置 (57)摘要 一种多点分布式储能系统聚合控制智能决 策方法及装置， 该方法包括： 以目标区域内多点 分布式储能系统控制成本最小化为目标， 建立多 点分布式储能控制决策模型； 初始化多点储能聚 合智能体运行环境， 并将多点分布式储能控制决 策模型输入多点储能聚合智能体运行环境中； 基 于深度Q网络对多点储能聚合智能体运行环境中 的多点储能聚合智 能体进行训练， 得到Q网络的 量化数学模型及其参数； 基于Q网络的量化数学 模型及其参数， 在预设的分布式储能的动作空间 进行遍历搜索， 得到最优的多点 分布式储能动作 策略。 本发明考虑当前决策对未来的影响， 可统 筹兼顾多时段的目标、 最大化长期收益以及最小 化系统的综合运行控制综合成本， 快速、 精准地 调节储能系统功率。 权利要求书5页 说明书12页 附图2页 CN 115459320 A 2022.12.09 CN 115459320 A 1.一种多点分布式储能系统聚合控制智能决策 方法， 其特 征在于， 包括如下步骤： 以目标区域内多点分布式储能系统控制成本最小化为目标， 建立多点分布式储能控制 决策模型； 初始化多点储能聚合智能体运行环境， 并将所述多点分布式储能控制决策模型输入多 点储能聚合智能体运行环境中； 基于深度Q网络对所述多点储能聚合智能体运行环境中的多点储能聚合智能体进行训 练， 得到Q网络的量 化数学模型及其 参数； 基于所述Q网络的量化数学模型及其参数， 在预设的分布式储能的动作空间进行遍历 搜索， 得到最优的多点分布式储能动作策略。 2.根据权利要求1所述的一种多点分布式储能系统聚合控制智能决策方法， 其特征在 于， 所述建立多点分布式储能控制决策模型， 包括： 以目标区域内多点分布式储能系统控制成本最小化为目标， 并考虑各点分布式储能系 统的电力平衡约束、 总调节指令约束、 储能充放电功率约束、 储能荷电状态约束、 线路潮流 约束、 节点电压约束条件约束条件， 建立多点分布式储能系统控制决策模型； 其中， 所述多 点分布式储能系统控制决策模型的目标函数如下： 式中： f为目标区域内多点分布式储能系统控制成本； T为控制场景的时间周期， 对于暂 态控制场 景T＝1； Ces(t)为t时刻的各分布式储能的调节成本； Cgrid(t)为t时刻的所述目标 区域的配电网络损耗成本； Cpf(t)为t时刻的对应线路潮流、 节点电压、 电池充放电安全约束 越限的惩罚成本函数； 所述多点分布式储能系统控制决策模型的约束条件包括电力平衡约束、 总调节指令约 束、 储能充放电功率约束、 储能荷电状态约束、 线路潮流约束、 节点电压约束， 分别为： 电力平衡约束： 式中： M为分布式储能系统的数目； N为网络节点数目； L为网络线路数目； Pj为第j处的分 布式储能的充放电功率； PVi为第i处节点的分布式光伏发电功率； PEX为与外部电网的交换 功率； PDi为第i处节点的负荷功率； Pl为第l条线路的功率损耗； 总调节指令约束： 式中： ΔPj为第j处的分布式储能的充放电功率增量； ΔPES为上级调控系统在预设场景 下发出的总调节指令； 储能充放电功率约束： Pj.min≤|Pj|≤Pj,max (4) 式中： Pj.min为第j处分布式储能系统充放电功率下限； Pj.max为第j处分布式储能系统充 放电功率上限；权　利　要　求　书 1/5 页 2 CN 115459320 A 2储能荷电状态约束： SOCj.min≤SOCj≤SOCj,max (5) 式中： SOCj,min为第j处分布式储能系统荷电状态下限； SOCj,max为第j处分布式储能系统 荷电状态上限； SOCj为第j处分布式储能系统荷电状态； Ej为第j处分布式储能系统当前的 能量状态； 为第j处分布式储能系统的额定能量状态； 线路潮流约束： Il＜Il,max (7) 式中： Il为第l条线路的电流； Il,max为第l条线路的热 稳电流； 节点电压约束： Ui.min≤Ui≤Ui,max (8) 式中： Ui,min为第i处节点电压下限； Ui,max为第i处节点电压上限； Ui为第i处节点电压 。 3.根据权利要求1所述的一种多点分布式储能系统聚合控制智能决策方法， 其特征在 于， 所述初始化多点储能 聚合智能体运行环境， 包括： 定义多点分布式储能 聚合智能体的状态信号空间S为： S＝[PVi(t),PDi(t),SOCj(t),TOU(t)] (9) 式中： PVi(t)为t时刻第i处节点的分布式光伏发电功率； PDi(t)为t时刻第i处节点的负 荷功率； SOCj(t)为t时刻第j处分布式储能荷电状态； TOU(t)为t时刻分时电价； 定义多点分布式储能 聚合控制深度强化学习的动作信号空间A为： A＝[Pj(t)|g] (10) 式中： Pj(t)为t时刻第j处分布式储能的充放电功率； g为连续变量的离散化粒度， 其表 示为采样周期； 基于t时刻目标区域内多点分布式储能系统控制成本， 定义深度强化学习的奖励函数R 为： R＝Ces(t)+Cgrid(t)+Cpf(t) (11) 式中： Ces(t)为t时刻的各分布式储能的调节成本； Cgrid(t)为t时刻的该区域配电网络 损耗成本； Cpf(t)为t时刻的对应线路潮流、 节点电压、 电池充放电的惩罚成本函数。 4.根据权利要求1所述的一种多点分布式储能系统聚合控制智能决策方法， 其特征在 于， 所述基于深度Q网络对所述多点储能聚合智能体运行环境中的多点储能聚合智能体进 行训练， 得到Q网络的量 化数学模型及其 参数， 具体包括： 初始化经验池、 经验池包括不同分布式储能动作策略及其对应的奖励值； 定义Q网络结 构并设置初始的所述 Q网络的各个参数， 即： r＝Q(s,a,ω0) 式中， Q网络为一个 具有h层全连接隐层， 每层隐层由u个神经元， 参数为ω0的神经网络； Q网络的输入为多点储能聚合智能体运行环 境状态变量s和多点分布式储能的动作变量a； Q 网络的输出为基于上述Q网络结构参数以及输入变量得到奖励值r， 即采用Q网络作为量化 环境状态变量s、 动作变量a输入值和奖励值r输出值之间数 学关系的近似函数；权　利　要　求　书 2/5 页 3 CN 115459320 A 3