基于深度强化学习的电动汽车协调充电算法
信息技术与网络安全 4期
张子霖
(中国科学技术大学 自动化系，安徽 合肥230026)
摘要：针对具有多个目标的多辆电动汽车协调充电问题，包括降低用户的充电成本并保证足够的电池电量，同时避免变压器过载，提出一种基于多智能体深度强化学习的分布式算法。该算法首先将上述问题建模为马尔可夫决策过程，然后采用一种通信神经网络模型进行信息交互，实现了全局信息在多个智能体上的分布式计算。最后，通过仿真验证了该算法在住宅充电区域的有效性和可扩展性。
中图分类号：TP18
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2022.04.013
引用格式： 张子霖. 基于深度强化学习的电动汽车协调充电算法[J].信息技术与网络安全，2022，41(4)：83-89.
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2022.04.013
引用格式： 张子霖. 基于深度强化学习的电动汽车协调充电算法[J].信息技术与网络安全，2022，41(4)：83-89.
A deep RL-based algorithm for coordinated charging of electric vehicles
Zhang Zilin
(Department of Automation，University of Science and Technology of China，Hefei 230026，China)
Abstract：A distributed algorithm based on multi-agent deep reinforcement learning(DRL) is proposed in this paper to solve the problem of coordinated charging of multiple electric vehicles(EVs) with multiple objectives, including reducing the charging cost, ensuring sufficient battery state of charge(SoC) for users, and avoiding the transformer overload. To this end, the above problem is formulated as a Markov Decision Process(MDP), and then a communication neural network(CommNet) model is adopted for information interaction to realize the distributed computation of global information on multiple EVs. Finally, simulations are presented to verify the effectiveness and scalability of the proposed algorithm in a residential charging area.
Key words :electric vehicle；multi-agent system；deep reinforcement learning；distributed charging scheduling
0 引言
电动汽车作为一种新型的分布式移动资源，已成为智能电网发展的重要组成部分[1]，越来越多的研究人员开始关注电动汽车在电网中的社会价值。但电动汽车的日益普及也不可避免地给用户和电网带来了一系列的问题和挑战。例如，大量电动汽车的不协调充电，将导致电网承受不可预测的负荷。因此，如何设计多辆电动汽车在整个工作过程中的协调充电策略，以降低能源成本，保证用户对电动汽车荷电状态的满意度，并将对配电网的影响降到最低，是亟需解决的问题。
近年来，为了解决电动汽车的协调充电问题，出现了许多分布式调度方法。例如，为了最大限度地提高电动汽车用户的便利性，开发了一种分散的基于交替方向乘法器的优化算法[2]。为使电动汽车充电成本最小化，使用电动汽车充电概率模型建立了一个严格凸分散系统形式的多人博弈[3]。但上述研究只关注了单一的目标，这在实际应用中往往是受限制的。针对多目标的协调充电问题，通过多智能体自私协同优化的方案，除了实现用户利益以外，也保证避免变压器过载[4]，但它没有充分考虑状态空间泛化和值函数逼近的影响，导致拟合性能较差，计算开销也不理想。针对该问题，文献[5]考虑采用基于机器学习的方法，其以收敛速度快、计算效率高而被广泛应用于大规模数据的高维问题中。
本文详细内容请下载：http://www.chinaaet.com/resource/share/2000004104
作者信息：
张子霖
(中国科学技术大学 自动化系，安徽 合肥230026)
此内容为AET网站原创，未经授权禁止转载。