? ?
?
? ?
大数据预处理架构和方法简介
?
? ?
?
?
?
?
?
?
?
? ? ?
?
?
?
?
?
数据预处理主要包括数据清洗(Data Cleaning)、数据集成(Data Integration)、数据转换(Data Transformation)和数据消减(Data Reduction)。本节在介绍大数据预处理基本概念的基础上对数据预处理的方法进行讲解。
大数据预处理整体架构
大数据预处理将数据划分为结构化数据和半结构化/非结构化数据,分别采用传统 ETL 工具和分布式并行处理框架来实现。总体架构如图 1 所示。
图 1 大数据预处理总体架构
结构化数据可以存储在传统的关系型数据库中。关系型数据库在处理事务、及时响应、保证数据的一致性方面有天然的优势。
非结构化数据可以存储在新型的分布式存储中,如 Hadoop 的 HDFSo 半结构化数据可以存储在新型的分布式 NoSQL 数据库中,如 HBase。
分布式存储在系统的横向扩展性、存储成本、文件读取速度方面有着显著的优势。
结构化数据和非结构化数据之间的数据可以按照数据处理的需求进行迁移。例如,为了进行快速并行处理,需要将传统关系型数据库中的结构化数据导入到分布式存储中。
可以利用 Sqoop 等工具,先将关系型数据库的表结构导入分布式数据库,然后再向分布式数据库的表中导入结构化数据。
数据质量问题分
您可能关注的文档
最近下载
- 香港平安卡(平安咭)考试题目及详细答案.docx
- 2026年高考日语三卷试题及答案.doc VIP
- TSXCIES 020—2026辐射制冷膜 发布稿.pdf VIP
- 人教版高中英语建议信常用句型积累与运用汇编.docx VIP
- 河北图集 12J5-1 平面屋.docx VIP
- 基于SSM的视康眼镜网店销售系统的设计与实现 开题报告3.doc VIP
- 人民防空工程平战功能转换设计标准-条文说明.pdf VIP
- java_ssm视康眼镜网店销售系统的设计与实现vue毕业论文.doc VIP
- 医院装饰装修工程施工组织设计方案(超详细).pdf VIP
- Galanz 格兰仕 电蒸炉 DG26T-D20 使用说明书.pdf
原创力文档

文档评论(0)