基于动态均衡技术的海量异构数据高并发可靠接入方法
作者：赵勋，周成胜，靳文京，刘晓曼，王桂温
发布日期：2024-02-29
来源：网络安全与数据治理
引言
随着计算机信息技术、互联网与物联网技术的快速发展，各类数据资源呈现爆发式增长，海量数据的产生和积累已成为一种不可避免的趋势。这些数据往往具有多源异构、分布广泛、动态增长等特点［1］，如传感器数据、社交网络数据、视频数据等，称其为海量异构数据。在众多领域，海量异构数据并发接入已成为一个重要且具有挑战性的问题［2-4］。为了更好地管理和处理这些数据，需要研究和设计高效的数据并发接入技术和策略，以实现数据的快速处理、分析和应用。在数据接入系统设计方面，已有研究人员在物联网、车辆交通、电网调度等领域分别对于物联网设备数据采集［5］、列车网络设备实时数据采集［6］、电网智能调度数据采集［7］进行了系统设计，用来解决海量数据接入处理问题，但是这些系统设计均是针对特定的业务场景提出，缺少一定的通用性。在海量异构数据接入过程中，如何在高并发接入的场景下依然能够确保接入系统稳定可靠运行是数据接入系统设计面临的主要挑战。在有限的集群资源前提下，当海量异构高并发数据产生接入任务时，只有将接入任务合理分配并且快速执行，才能保证数据的顺利接入。
作者信息
赵勋，周成胜，靳文京，刘晓曼，王桂温
（中国信息通信研究院安全研究所，北京100191）
文章下载地址：https://www.chinaaet.com/resource/share/2000005878
