政府大数据可视化平台数据治理建设和运营解决方案[628页Word].doc

大数据可视化数据治理平台综合解决方案 大数据可视化平台 数据治理方案 大数据可视化数据治理平台综合解决方案 目 录 TOC \o 1-3 \h \z \u 1 概述 1 2 面临的挑战 1 2.1 数据采集 7 2.2 数据清洗 7 2.3 数据存储 9 2.4 数据采集 9 2.4.1 半结构化数据的采集 9 2.4.2 非结构化文本数据中信息的抽取 13 2.5 数据清洗和数据质量的保证 13 2.5.1 数据质量的概念及分类 13 2.5.2 数据清洗的原理 17 2.5.3 单数据源中的数据清洗 19 2.6 数据的集成和融合 42 2.6.1 多数据源集成问题的分类 43 2.6.2 数据标准化的研究 46 2.6.3 数据集成的流程 47 2.6.4 多数据源中重复实体的清理 47 2.6.5 数据不一致性问题的研究 50 2.7 数据的存储和处理 50 2.7.1 并行和分布式处理理论 50 2.7.2 并行RDBMS 55 2.7.3 Hadoop 57 2.7.4 Hadoop扩展和优化 63 2.7.5 NoSQL 69 2.7.6 查询优化 138 2.8 大数据中的数据挖掘 140 2.8.1 传统数据挖掘概述 140 2.8.2 大数据时代数据挖掘发展新趋势 151 2.8.3 WEB数据挖掘 156 2.8.4 超数据集成挖掘方法与技术研究 193 2.8.5 数据挖掘网格技术 237 2.9 大规模机器学习 265 2.9.1 机器学习概述 267 2.9.2 扩展机器学习的必要性 270 2.9.3 面临的挑战 273 2.9.4 概率图模型 275 2.9.5 集成学习 276 2.10 可视化和可视化分析 288 2.10.1 概述 288 2.10.2 可视化技术 289 2.10.3 可视化分析 292 大数据可视化数据治理平台综合解决方案 2.10.4 文本的可视化分析 293 2.10.5 网络可视化分析 296 2.10.6 移动轨迹数据的可视化分析 296 2.10.7 交互式可视化分析 296 2.11 数据溯源技术的研究 296 2.11.1 概述 296 2.11.2 模式级数据的溯源 298 2.11.3 实例级数据的溯源 298 2.11.4 数据溯源应用的分类 299 2.11.5 未来研究方向 300 2.12 同步技术的研究 302 2.12.1 概述 302 2.12.2 通信程序 302 2.12.3 数据库复制技术 307 2.12.4 ETL技术 311 2.12.5 事务处理 313 2.12.6 XML技术 316 2.13 数据共享技术 319 2.14 安全技术的研究 319 2.14.1 安全风险分析 319 2.14.2 安全技术需求 321 2.14.3 身份认证与密匙协商 322 2.14.4 访问控制技术 323 2.14.5 入侵检测技术 324 2.15 隐私保护技术的研究 325 2.15.1 概述 325 2.15.2 隐私保护的技术手段 327 2.15.3 匿名技术研究 329 4基础资源平台设计 331 4.1 网络设计 331 4.1.1 系统现状 331 4.1.2 需求分析 334 4.1.3 数据中心网络系统设计 338 4.1.4 同城DWDM系统设计 370 4.2 XXX云大数据平台基础设施建设需求分析 375 4.2.1 建设需求分析 375 4.2.2 XXX云大数据平台基础设施建设技术方案建议 380 4.2.3 XXX云大数据平台基础设施平台两地三中心建设方案建议 406 5大数据支撑平台设计 417 5.1 设计思路 417 5.1.1 轻量服务化架构 417 5.1.2 弹性可扩展 418 5.1.3 开放共享 418 大数据可视化数据治理平台综合解决方案 5.1.4 安全可靠 418 5.1.5 自主可控 419 5.2 设计内容 419 5.2.1 数据存储 421 5.2.2 计算能力 431 5.2.3 高速服务框架 436 5.2.4 垂直搜索引擎