三七大数据平台专业技术解决方案V.docVIP

三七数据 大数据技术解决方案 北京三七数据技术有限公司 2017年月日1概述6 2面临的挑战6 2.1数据采集10 2.2数据清洗10 2.3数据存储12 2.4数据并行处理12 2.5数据分析12 2.6可视化12 2.7传统解决方案的分析12 3相关技术的研究12 3.1参考模型框架12 3.2数据采集12 3.2.1结构化数据的采集12 3.2.2半结构化数据的采集12 3.2.3非结构化文本数据中信息的抽取15 3.3数据清洗和数据质量的保证15 3.3.1数据质量的概念及分类15 3.3.2数据清洗的原理18 3.3.3单数据源中的数据清洗20 3.4数据的集成和融合37 3.4.1多数据源集成问题的分类38 3.4.2数据标准化的研究40 3.4.3数据集成的流程41 3.4.4多数据源中重复实体的清理41 3.4.5数据不一致性问题的研究43 3.5数据的存储和处理43 3.5.1并行和分布式处理理论43 3.5.2并行RDBMS47 3.5.3Hadoop49 3.5.4Hadoop扩展和优化53 3.5.5NoSQL58 3.5.6查询优化110 3.6大数据中的数据挖掘112 3.6.1传统数据挖掘概述112 3.6.2大数据时代数据挖掘发展新趋势120 3.6.3WEB数据挖掘124 3.6.4超数据集成挖掘方法与技术研究153 3.6.5数据挖掘网格技术1