基于分层强化学习框架的6G确定性网络技术研究-AET-电子技术应用

基于分层强化学习框架的6G确定性网络技术研究

2022年电子技术应用第12期

邢燕霞1，胡兴洪2

1.中国电信股份有限公司研究院，北京102209；2.北京邮电大学信息与通信工程学院，北京100876

摘要：随着远程医疗、智慧工厂等时延敏感类业务的发展，对移动确定性网络的需求不断提高。3GPP R16版本提出5G协同TSN的5G TSC网络架构，实现了移动网络的确定性服务。然而，5G TSC网络架构依然面临许多技术问题：不支持联合业务调度、不支持广域网长距离传输、不支持应用协同等。因此，梳理3GPP支持移动确定性网络的推进过程，明确问题存在的原因，并面向6G网络给出基于人工智能算法的解决方案。

关键词： 确定性网络 6G 5GTSC 强化学习

中图分类号：TN929.5；TP18
文献标识码：A
DOI：10.16157/j.issn.0258-7998.223371
中文引用格式：邢燕霞，胡兴洪. 基于分层强化学习框架的6G确定性网络技术研究[J].电子技术应用，2022，48(12)：1-4，10.
英文引用格式：Xing Yanxia，Hu Xinghong. 6G deterministic network technology based on hierarchical reinforcement learning framework[J]. Application of Electronic Technique，2022，48(12)：1-4，10.

6G deterministic network technology based on hierarchical reinforcement learning framework

Xing Yanxia1，Hu Xinghong2

1.China Telecom Corporation Limited Research Institute，Beijing 102209，China； 2.School of Information and Communication Engineering，Beijing University of Posts and Telecommunications，Beijing 100876，China

Abstract：With the development of delay-sensitive services such as telemedicine and smart factories, the demand for mobile deterministic networks continues to increase. The 3GPP R16 version proposes the 5G TSC network architecture of 5G coordinated TSN, which realizes the deterministic service of the mobile network. However, the 5G TSC network architecture still faces many technical problems: not supporting joint service scheduling, not supporting long-distance WAN transmission, and not supporting application collaboration. Therefore, this paper sorts out the promotion process of 3GPP supporting mobile deterministic networks, clarifies the reasons for the existence of problems, and provides solutions based on artificial intelligence algorithms for 6G networks.

Key words :deterministic network；6G；5G TSC；reinforcement learning

0 引言

随着工业制造、车联网、智能电网等时延敏感类业务的发展，对移动通信网络的实时性和确定性需求不断提高[1]。例如，工业互联网的数据上传和控制指令下发、远程机器人手术、无人驾驶等，需要将端到端时延控制在1~10 ms，将时延抖动控制在微秒级，但传统的网络只能将端到端时延减少到几十毫秒^[1]。因此，面向未来6G时代，提供“尽力而为”业务保障的传统网络，将逐步演进发展为可靠、安全、有界的确定性网络。

确定性网络技术已成为当今学术界和产业界研究和关注的热点之一，各大标准组织均设立了专门的工作组进行相关技术的推进，包括：

(1)IEEE设立时间敏感网络(Time-Sensitive Networking，TSN)工作组，用于解决二层网络的确定性问题。在IEEE 802.1标准框架下，制定了围绕时间同步、流量整形、资源预留等多项关键技术的协议族。目前，TSN主要应用于汽车控制领域、工厂内网、智能电网等场景^[2]。

(2)IETF设立确定性网络(Deterministic Networking Working，DetNet)工作组，致力于解决三层网络的确定性问题，并与TSN工作组合作，定义了二层网络和三层网络的通用框架。DetNet借鉴了TSN的机制和架构，通过实现时钟同步、资源预留、多径路由等技术，为三层数据提供确定性的延迟、抖动、丢包以及高可靠性保障。目前，DetNet主要应用于专业和家庭音频/视频、车载多媒体、工业控制系统，以及TSN工作组考虑的应用^[1]。

(3)由于TSN技术不能提供广域网和无线场景下的确定性保障，而5G具备部署灵活、移动性支持等优势，在自动巡检、机器人等工业领域具有广泛的应用前景。因此，3GPP在R16中引入了TSN技术，提出5G时间敏感通信网络(Time-Sensitive Communication，TSC)，支持移动网络的确定性^[3]；在R17中进一步增强了网络架构，支持UE-UE的确定性^[4]；在R18中开始了DetNet的研究，以支持三层网络的确定性。

(4)国内标准组织(例如CCSA、ITM-2030、确定性工业联盟等组织)均在开展确定性相关的研究和产业推进。

本文基于3GPP提出的5G与TSN协同网络，分析其提供的功能和存在的问题，并面向6G网络提出相应的解决方案。

本文详细内容请下载：https://www.chinaaet.com/resource/share/2000005031。

作者信息：

邢燕霞1，胡兴洪2

(1.中国电信股份有限公司研究院，北京102209；2.北京邮电大学信息与通信工程学院，北京100876)

原创声明：此内容为AET网站原创，未经授权禁止转载。

相关内容