基于多智能体深度强化学习的无人机集群自主决策
信息技术与网络安全 5期
刘志飞，曹 雷，赖 俊，陈希亮
(陆军工程大学 指挥控制工程学院，江苏 南京210007)
摘要：由于传统的无人机由人工进行操控，无人机群在强电磁干扰和复杂多变的战场环境中表现较为呆板。在这项研究中，开发了一种灵活智能的无人机控制器。通过使用一个经过多智能体深度强化学习技术训练的神经网络，无人机可以在飞行中控制自己的行为，从战场环境中获取状态信息，自主决策，并且和其他无人机形成有效战斗队形，灵活协调和配合，并产生了最优的动作。
中图分类号：TP181
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2022.05.012
引用格式： 刘志飞，曹雷，赖俊，等. 基于多智能体深度强化学习的无人机集群自主决策[J].信息技术与网络安全，2022，41(5)：77-81.
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2022.05.012
引用格式： 刘志飞，曹雷，赖俊，等. 基于多智能体深度强化学习的无人机集群自主决策[J].信息技术与网络安全，2022，41(5)：77-81.
Utonomous decision making of UAV cluster with multi-agent deep reinforcement learning
Li Zhifei，Cao Lei，Lai Jun,Chen Xiliang
(College of Command and Control Engineering，Army Engineering University，Nanjing 210007，China)
Abstract：Because the traditional UAV is controlled manually, UAV cluster is more rigid in the strong electromagnetic interference and complex and changeable battlefield environment. In the study, a flexible and intelligent UAV controller is developed. With a neural network trained by multi-agent deep reinforcement learning technology,UAV can control his behavior in flight. At the same time,UAV obtains state information from the battlefield environment, makes independent decisions, forms an effective combat formation with other UAVs, flexibly coordinates and cooperates with each other, and produces the optimal action.
Key words :unmanned aerial vehicle；reinforcement learning；multi agent；autonomous decisio
0 引言
对人工操纵无人机来说，同时操控多架无人机完成多项任务且无人机之间形成有效配合是相当困难的，注意力分散或者操控失误都会造成较大的安全风险。无人机的操控还受到电磁干扰和远程控制距离的限制，因此，无人机灵活自主决策能力显得尤为重要。近年来，多智能体深度强化学习(Multi-Agent Deep Reinforcement Learning，MADRL)在复杂游戏中取得完胜人类专家水平的胜利，表明多智能体深度强化学习在解决复杂序贯问题上取得重要突破。强化学习技术应用到无人机群可以提高无人机群的灵活智能性。本文以一个由6架无人机组成的无人机群为例，使用墨子AI仿真实验平台，无人机群组成一个巨大的动作空间，时间步内有200多个组合的动作空间，为每架无人机在每一步行为的机动方向、航线或向目标发出攻击都有提供了上千种选择。使用深度神经网络来预测每个无人机在每个时间步的最优动作，并根据每个无人机的局部观察产生自主决策。MADRL方法生成无人机群作战决策对无人机作战研究具有重要的参考价值，是未来人工智能应用在军事领域的重要方向。
本文详细内容请下载：http://www.chinaaet.com/resource/share/2000004251
作者信息：
刘志飞，曹 雷，赖 俊，陈希亮
(陆军工程大学 指挥控制工程学院，江苏 南京210007)
此内容为AET网站原创，未经授权禁止转载。