面向移动边缘计算基于强化学习的计算卸载算法-AET-电子技术应用

面向移动边缘计算基于强化学习的计算卸载算法

2021年电子技术应用第2期

杨戈1，2，张衡1

1.北京师范大学珠海分校智能多媒体技术重点实验室，广东珠海519087； 2.北京大学深圳研究生院深圳物联网智能感知技术工程实验室，广东深圳518055

摘要：针对移动边缘计算(Mobile Edge Computing，MEC)的计算卸载决策的问题，基于强化学习方法提出了一个在多用户的MEC系统中的计算卸载决策算法(Offloading Decision algorithm based on Reinforcement Learning，ODRL)。ODRL算法根据任务模型、计算模型以及信道状态对任务进行卸载决策，采用强化学习方法求解最优计算卸载策略。仿真结果证明了所提出的ODRL算法与基线策略相比，具有更低的系统总成本。

关键词： 移动边缘计算计算卸载强化学习 Q-learning

中图分类号：TN911.22
文献标识码：A
DOI：10.16157/j.issn.0258-7998.200920
中文引用格式：杨戈，张衡. 面向移动边缘计算基于强化学习的计算卸载算法[J].电子技术应用，2021，47(2)：36-40，48.
英文引用格式：Yang Ge，Zhang Heng. Offloading decision algorithm based on reinforcement learning for mobile edge computing[J]. Application of Electronic Technique，2021，47(2)：36-40，48.

Offloading decision algorithm based on reinforcement learning for mobile edge computing

Yang Ge1，2，Zhang Heng1

1.Key Laboratory of Intelligent Multimedia Technology，Beijing Normal University(Zhuhai Campus)，Zhuhai 519087，China； 2.Engineering Lab on Intelligent Perception for Internet of Things(ELIP)，Shenzhen Graduate School， Peking University，Shenzhen 518055，China

Abstract：For the problem of computing offloading decision in mobile edge computing, this paper proposes an offloading decision algorithm based on enhanced learning in multiuser MEC system. According to the task model, calculation model and channel state, ODRL algorithm makes the task unloading decision and uses reinforcement learning method to solve the optimal computing unloading strategy. Simulation results show that the ODRL algorithm proposed in this paper has lower total system cost compared with the baseline strategy.

Key words :mobile edge computing；computing offloading；reinforcement learning；Q-learning

0 引言

随着万物互联趋势不断加深，网络边缘的智能终端设备不断增加^[1-10]。移动边缘计算是为提升移动设备服务质量而提出的一种具有前景的新范式^[11-20]。

(1)以降低时延为优化目标

文献[3]将卸载决策归结为两种时间尺度下的随机优化问题，并采用马尔科夫决策过程来处理这个问题。通过分析每个任务的平均时延和设备的平均能耗，提出了一个能量约束的时延最小化问题，并设计了一个有效的一维搜索算法找到了最优的任务卸载策略。

文献[4]提出了一种低复杂度的渐近最优在线算法，该算法在每个时隙中通过封闭形式或二等分搜索获得最优解，共同决定卸载决策、移动执行的CPU周期频率和计算卸载的发射功率。

文献[5]提出了一种基于云的分层车辆边缘计算(VEC)卸载框架，在该框架中引入了附近的备用计算服务器来弥补MEC服务器的不足计算资源。基于此框架，文献采用斯塔克尔伯格博弈方法设计了一种最佳的多级卸载方案，该方案可以最大程度地利用车辆和计算服务器的效用。

(2)以降低能耗为优化目标

文献[6]将卸载决策公式化为凸优化问题，用于在边缘云计算能力无限和有限的两种情况以及在计算等待时间的约束下最小化加权和移动能量消耗。文献[7]对该方案做出了改进，相比前者降低了90%的能耗。

(3)以权衡能耗和时延为目标

文献[8]分析了单用户MEC系统的能耗延迟权衡问题，提出了一种基于Lyapunov优化的云卸载计划方案以及云执行输出的下载调度方案。在文献[9]中扩展到了多用户系统。

文献[10]研究了在多信道无线干扰环境下移动边缘云计算的多用户计算卸载问题。采用博弈论方法以分布式方式实现有效的计算卸载。

本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003370

作者信息:

杨戈1，2，张衡1

(1.北京师范大学珠海分校智能多媒体技术重点实验室，广东珠海519087；

2.北京大学深圳研究生院深圳物联网智能感知技术工程实验室，广东深圳518055)

原创声明：此内容为AET网站原创，未经授权禁止转载。

相关内容