大数据架构.pdfVIP

大数据架构 云南机场集团有限责任公司 范怀炜 2017年3 月 未来10年最具经济影响力的颠覆性技术 未来10年最具经济影响力的颠覆性技术（资料来源 《麦肯锡研究报告》） 至2025年的预估潜在经济影响上限 （单位：万亿美元） 12. 可再生能源 11. 先进材料 10. 先进油气勘探及开采 9. 3D打印 8. 储能技术 7. 下一代基因组学 6. 自动汽车 5. 先进机器人 4. 云 3. 物联网 2. 知识工作自动化 1. 移动互联网（大数据、BI、自然人机接口） 0 2 4 6 8 10 12 大数据分析系统的思维逻辑 系统使用思维 数据展示 数据采集 数据存储 数据计算 系统建设思维 数据存储 数据计算 数据采集 数据展示 ——以系统建设思维，交流讨论 大数据系统体系建设规划 搭平台 采数据 建模型 编代码 图呈现 第一阶段 第二阶段 一次建设逐步扩展 重复迭代持续滚动 可查询简应用 可分析展现深入应用 ——巧妇有米可炊 ——巧妇百变花样 主要内容 1. 大数据的基本概念 2. 大数据存储体系（云计算平台） 3. 大数据的计算体系（分布式计算） 4. 大数据的数据采集体系 5. 大数据的典型应用 6. 大数据可视化 7. 大数据与安全 本PPT用于教学研讨，引用文档较多且 并未全部列出来源，在此一并谢过！ 大数据是什么？  大数据（Big Data）一词正式出现是在2011年麦肯锡全球研究院发布的 《大数据：下一个创新、竞 争和生产力的前沿》研究报告中。  大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处 理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资 产。  大数据技术则特指新一代的创新型技术，能够突破常规软件的限制，是对大数据进行采集、存储、 和处理的技术的统称。 —— 大数据需要特殊的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布 式数据库、云计算平台、互联网和可扩展的存储系统、流计算、深度学习、数据可视化等。 ——这些年来，大数据先是被神化，继而被“泛华”化。目前，其实谁也不知道别人所谓的大数据指 的是什么。有时候大数据的定义里既有平台（硬件）又有分析技术，有时候只是一个硬件平台或者 是一个互联网上的应用或者是传统的BI （数据仓库+统计分析）。