三七大数据平台技术解决计划方案V10.doc

-_ 三七数据 大数据技术解决方案 北京三七数据技术有限公司 2017年7月31日 目 录 TOC \o 1-3 \h \z \u 1 概述 6 2 面临的挑战 6 2.1 数据采集 10 2.2 数据清洗 10 2.3 数据存储 12 2.4 数据并行处理 12 2.5 数据分析 12 2.6 可视化 12 2.7 传统解决方案的分析 12 3 相关技术的研究 12 3.1 参考模型框架 12 3.2 数据采集 12 3.2.1 结构化数据的采集 12 3.2.2 半结构化数据的采集 12 3.2.3 非结构化文本数据中信息的抽取 15 3.3 数据清洗和数据质量的保证 15 3.3.1 数据质量的概念及分类 15 3.3.2 数据清洗的原理 18 3.3.3 单数据源中的数据清洗 20 3.4 数据的集成和融合 37 3.4.1 多数据源集成问题的分类 38 3.4.2 数据标准化的研究 40 3.4.3 数据集成的流程 41 3.4.4 多数据源中重复实体的清理 41 3.4.5 数据不一致性问题的研究 43 3.5 数据的存储和处理 43 3.5.1 并行和分布式处理理论 43 3.5.2 并行RDBMS