安全态势感知系统中K-Means算法的并行化研究
《信息技术与网络安全》2020年第7期
江佳希，谢颖华
东华大学 信息科学与技术学院，上海201620
摘要：大数据环境下的网络安全事件层出不穷，安全态势感知系统的应用势在必行。通过挖掘日志数据并进行安全分析，可以实现对异常事件的追责与溯源，有效地减少网络安全事故的发生。针对传统K-Means算法时间开销大、执行效率低的问题，将改进K-Means算法在大数据计算框架Hadoop上实现并行化，来满足大数据下安全态势感知系统日志安全分析的需求。实验表明，改进后的算法在有效性和时间复杂度方面都优于传统算法。
中图分类号：TP311
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2020.07.006
引用格式： 江佳希，谢颖华. 安全态势感知系统中K-Means算法的并行化研究[J].信息技术与网络安全，2020，
39(7)：36-40，51.
文献标识码：A
DOI：10.19358/j.issn.2096-5133.2020.07.006
引用格式： 江佳希，谢颖华. 安全态势感知系统中K-Means算法的并行化研究[J].信息技术与网络安全，2020，
39(7)：36-40，51.
Research on parallelization of K-Means algorithm in security situation awareness system
Jiang Jiaxi，Xie Yinghua
School of Information Science and Technology，Donghua University，Shanghai 201620，China
Abstract：With the emergence of network security events in a big data environment, the application of security situation awareness systems is imperative. By digging log data and performing security analysis, we can achieve accountability and traceability to abnormal events, and effectively reduce the occurrence of network security incidents. Aiming at the problems of large time overhead and low execution efficiency of the traditional K-Means algorithm, the security situation awareness system in this paper improves the K-Means algorithm to achieve parallelization on the big data computing framework Hadoop，and to meet the needs of log security analysis under big data. Experimental results show that the improved algorithm is superior to traditional algorithms in terms of effectiveness and time complexity.
Key words :Hadoop；security situation；K-Means；data mining
随着大数据时代的来临，SQL注入攻击、XSS攻击等网络安全事件层见叠出，给网络安全带来了巨大的挑战。日志记录着设备运行状态，各种安全事件都会在系统中留下日志记录，通过对日志进行分析，可以挖掘重要信息，实时掌握网络安全状况，既可做到事前防护，又可做到事后追本溯源及责任追查。
本文设计的安全态势感知系统将采集到的日志文件送至分布式文件系统HDFS进行存储，在Hadoop架构上将改进的K-Means算法和MapReduce高效的并行计算能力相结合，对存储的日志进行聚类和分析。安全态势感知系统可以实时监控网络安全态势，实现日志分析追责，有效地减少网络安全事故的发生。系统采用高可用部署模式，具有可靠、易拓展、易维护以及可视化的特点。
本文详细内容请下载：http://www.chinaaet.com/resource/share/2000003220
作者信息：
江佳希，谢颖华
(东华大学 信息科学与技术学院，上海201620)
此内容为AET网站原创，未经授权禁止转载。