2019年大数据解析.pptVIP

大数据解析 目录 什么是大数据 到底什么是大数据？ 大数据就是：海量数据本身+处理方法 大数据(big data)或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。 身边的大数据（军事、政治、娱乐、体育） 人物（理论、技术、应用、政策） 海量、多样性、价值 海量存储技术、分布式计算技术…… 非相关数据的相关性分析、全样本数据……. 影响 数据 技术 创新思维 大数据影响商业变革的三个要素 关键词：大不同 大数据标签 不相关 R语言 全样本 预测 洞察 效率 大数据思维 所谓大数据思维，是指一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。 ——《大数据时代》 大数据思维 相关分析 聚类分析 神经网络 遗传算法 机器学习 不是随机样本，而是全体数据 不是精确性，而是混杂性 不是因果关系，而是相关关系 ———《大数据时代》 全体数据 纷繁复杂 相关关系 大数据的四大特性 4V 数据量特别大 1、volume 2、variely 3、velocity 4、value 数据多样化 数据处理速度快 数据处理价值密度低 大数据 = 海量数据 + 复杂类型的数据 海量交易数据 （交易） 海量交互数据 （人的交互行为） 海量数据处理（物联网） 大数据的构成 Facebook 淘宝、京东 大数据处理流程和方法 采集 预处理 处理与 管理 分析挖掘 应用 复杂性 即时性 规模性 异构性 基本要求 数据融合 数据打标 数据关联 决策辅助 商业智能 风险预警 智能交通 欺诈识别 大规模辅助处理 分布式存储与计算 流处理 可视化 分析 预测性 分析 数据挖掘算法 数据质量和数据管理 语义引擎 爬虫抓取 感知采集 调研数据 标签清洗 外部数据接入 隐私权 大数据挖掘与分析的五个基本面 可视化分析 预测性分析 语义引擎 数据质量和数据管理 数据挖掘算法 可视化分析 2019-2-14 目录 采集处理 分析挖掘 存储组织管理 “处理流程与处理技术的要求” 强！ 大数据处理流程技术需求 快! 及时！ 智能！ 可视化！ 高效！ 量大！ 安全！ 大数据涉及的关键技术 需求 技术描述 关键技术 海量数据分布式处理 Hadoop 生态系统 针对大量数据进行分布式处理的系统框架 实时数据处理 Streaming Data 流计算引擎 非结构化数据处理 可视化交互界面 通过交互式可视化界面辅助用户进行分析 交互式可视化探索分析技术 智能数据分析 大规模机器学习技术 计算机模拟人类学习行为，包括特征提取、图形生成等 保护隐私数据与信息个体的对应关系等安全技术 高效存储和管理大规模数据 数据存储备份技术、数据放置和调度技术、数据溯源 存储、放置、调度大规模的数据 数据隐私保护 数据隐私防范保护措施与数据安全技术 大数据采集处理 大数据分析 存储、组织、管理 大数据核心技术主要涉及三大块：大数据采集处理、大数据分析、大数据存储、组织、管理 文本处理技术；自然语言理解； 多媒体处理技术… 文本内容分词与分析；图像、音视频分析 分布式计算 古代，人们用牛来拉重物，当一头小牛拉不动一根原木时，他们想的并不培育更大更壮的牛。同样，我们也不需要动辄使用超级计算机，而应试着结合使用更多计算机系统。 格蕾丝·莫里·霍珀 （1906-1992） Ambari 安装、部署、配置和管理工具 HDFS 分布式文件系统 MapReduce 分布式计算框架 Pig 数据流处理 Hive 数据仓库 Mahuot 数据流处理 Hbase 实时分布式数据库 Zookeeper 分布式协作服务 Sqoop 数据库ETL工具 Flume 日志收集工具 Hadoop！ 大数据的计算模式 批处理 准确 流处理 实时 代表：strom、S4 代表：Hadoop、Spark 对于先存储后计算,实时性要求不高,同时,数据的准确性、全面性更为重要的应用场景,批量计算模式更合适 对于无需先存储,可以直接进行数据计算,实时