分布式元数据系统的设计与实现
电子技术应用
郭志超1，张丛旭1，刘晓鹏1，刘瑞2，焦冬冬1
（1.华北计算机系统工程研究所，北京 100083；2.中国人民解放军航天工程大学士官学校，北京 102299）
摘要：随着企业业务发展以及业务数据的不断积累，数据类型参差不齐，海量数据越来越难以处理。元数据系统作为提升数据质量和数据分析的平台应运而生。元数据现已成为数据仓库以及商业智能的核心，各个厂商针对元数据系统提出了自己的解决方案。现有解决方案目前对业务数据的更新操作支持不足。针对当前元数据系统面临的随着业务数据的增加，元数据系统快速扩展支持不够，造成数据无法及时处理，以及针对元数据修改无法同步更新到业务数据中，导致元数据和业务数据不同步的问题，提出一种分布式元数据解决方案，支持系统横向扩展，同时支持通过元数据操作，反向控制业务数据。通过元数据操作，支持业务生成。
中图分类号：TP311.5
文献标志码：A
DOI: 10.16157/j.issn.0258-7998.223662
中文引用格式：郭志超，张丛旭，刘晓鹏，等. 分布式元数据系统的设计与实现[J]. 电子技术应用，2023，49(6)：84-88.
英文引用格式：Guo Zhichao，Zhang Congxu，Liu Xiaopeng，et al. Design and implementation of distributed metadata system[J]. Application of Electronic Technique，2023，49(6)：84-88.
文献标志码：A
DOI: 10.16157/j.issn.0258-7998.223662
中文引用格式：郭志超，张丛旭，刘晓鹏，等. 分布式元数据系统的设计与实现[J]. 电子技术应用，2023，49(6)：84-88.
英文引用格式：Guo Zhichao，Zhang Congxu，Liu Xiaopeng，et al. Design and implementation of distributed metadata system[J]. Application of Electronic Technique，2023，49(6)：84-88.
Design and implementation of distributed metadata system
Guo Zhichao1，Zhang Congxu1，Liu Xiaopeng1，Liu Rui2，Jiao Dongdong1
(1.National Computer System Engineering Research Institute of China， Beijing 100083， China； 2.PLA Aerospace Engineering University Non commissioned Officer School，Beijing 102299，China)
Abstract：With the development of enterprise business and the continuous accumulation of business data, data types are uneven, and massive data is becoming more and more difficult to handle. The metadata system emerged as a platform to improve data quality and data analysis. Metadata is now at the heart of data warehouses and business intelligence, and vendors have come up with their own solutions for metadata systems. Existing solutions currently do not support the operation of updating business data. In view of the increase in business data faced by the current metadata system, the lack of rapid expansion support, the inability to process data in time, and the problem that metadata modification cannot be synchronized and updated to business data, resulting in metadata and business data being out of synchronization, this paper provides a distributed metadata solution that supports horizontal expansion of the system and supports reverse control of business data through metadata operations. Support business generation through metadata operations.
Key words :metadata system；distributed system；multi data source access；application generation
0 引言
随着当今信息技术的飞速发展以及互联网技术的迅速普及，计算机技术正深刻影响着人们的生活方式。随着企业的业务扩展以及业务历史数据的不断积累，业务数据种类越来越繁杂，数据量也越来越大。需求变化大，导致开发速度赶不上需求的变化速度，企业数据处理的挑战越来越大。
元数据系统作为提升数据质量和数据分析的平台应运而生。当前元数据系统，主要针对特定的元数据进行管理，对于通用元数据的接入表现一般。对于元数据的更新操作，很难同步更新业务数据，导致元数据和业务数据不一致的问题，需要业务人员手动修改业务数据适配修改后的元数据。此举产生大量的工作量，容易产生业务人员的错误修改导致业务数据与元数据不同步的问题。另一个问题是当前元数据系统针对业务数据激增，导致系统资源不足，无法做到灵活扩展，造成数据处理不及时，甚至无法处理的问题。针对当前元数据系统存在的不足，本文提出如下设计方案.
本文详细内容请下载：https://www.chinaaet.com/resource/share/2000005354
作者信息：
郭志超1，张丛旭1，刘晓鹏1，刘瑞2，焦冬冬1
（1.华北计算机系统工程研究所，北京 100083；2.中国人民解放军航天工程大学士官学校，北京 102299）
此内容为AET网站原创，未经授权禁止转载。