元数据管理Hive Hooks和Metastore监听器介绍.docxVIP

元数据管理|Hive Hooks和Metastore监听器引见 元数据定义 依据传统的定义，元数据（ Metadata ）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据次要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据形态及ETL 的任务运转形态。在数据仓库系统中，元数据可以挂念数据仓库管理员和开发人员格外便利地找到他们所关怀的数据，用于指点其进行数据管理和开发工作，提高工作效率。将元数据按用途的不同分为两类：技术元数据（ Technical Metadata)和业务元数据（ Business Metadata ）。技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。 元数据分类 技术元数据 分布式计算系统存储元数据 如Hive表、列、分区等信息。记录了表的表名。分区信息、责任人信息、文件大小、表类型，以及列的字段名、字段类型、字段备注、能否是分区字段等信息。 分布式计算系统运转元数据 类似于Hive 的Job 日志，包括作业类型、实例名称、输入输出、SQL 、运转参数、执行时间等。 任务调度元数据 任务的依靠类型、依靠关系等，以及不同类型调度任务的运转日志等。 业务元数据 业务元数据从业务角度描述了数据仓库中的数据，它供应了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务