大数据及其在数字城管应用探讨(数字城管学组专家陈向东)资料.ppt

大数据 及其在数字城管的应用探讨 陈向东 中国测绘科学研究院 2014年5月15日 洛阳 目录 一、大数据 二、大数据应用案例 三、大数据在数字城管应用探讨 什么是大数据 春运迁徙图 根据2012年互联网络数据中心(IDC)发布的《数字宇宙2020》报告，2011年全球数据总量已达到1.87ZB(1ZB=十万亿亿字节)，并且以每两年翻一番的速度飞快增长。预计到2020年，全球数据总量将达到35～40ZB，10年间将增长20倍以上。 大数据已成为信息主权的一种表现形式，将是继边防、海防、空防之后大国博弈的另一个空间 大数据正在开启一次重大的时代转型，“它将改变人类的生活以及理解世界的方式 什么是大数据 大数据的4V特征—容量、类型、速度和价值 处理大数据的一些相关技术—存储 结构化数据 海量数据的查询、统计、更新等操作效率低 非结构化数据 ?图片、视频、word、pdf、ppt等文件存储 ?不利于检索、查询和存储 半结构化数据 ?转换为结构化存储 ?按照非结构化存储 处理大数据的一些相关技术—分析 数据处理 自然语言处理技术 统计和分析 A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘 关联规则分析；分类；聚类 模型预测 预测模型；机器学习；建模仿真 大数据分析三个阶段 第一阶段：批量分析 数据主要以来自内部结构化数据（如生产、管理数等据）为主 第二阶段：近实时分析 数据分析类型从传统的结构化数据逐步演进为结构化，非结构化（音视频、社群等）和半结构化数据（包括系统日志、客户信息） 第三阶段：实时分析 数据来源和种类更加丰富，不仅限于内部的生产数据、用户数据和社群网站，还会纳入来自于第三方数据（竞争实时监控，目标用户群体采购行为监控等） 大数据应用平台—一体化 大数据环境下的基础软件平台很像一个 “泛OS” ，以数据为中心，将操作系统、分布 式存储、数据库等产品融合起来，对结构化、 半结构化和非结构化等全数据进行高效存储与 管理，并对应用提供统一的数据服务支撑接口 国际上一体化融合的大数据处理平台已经成为主流趋势 2013年，EMC公司发布了自身的Apache?Hadoop发行版—Pivotal HD 大规模并行数据库技术与Apache Hadoop框架集成 HAWQ的技术，将Greenplum分析型数据库与Hadoop分布式架构进行紧密地融合，实现了HDFS上SQL并行数据库处理，提高了性能并使Hadoop平台与SQL开发者实现了接轨 惠普则发布了大数据解决方案HAVEn分析平台 惠普大数据产品的组合 整合了Hadoop/HDFS、HPAutonomy语义处理引擎、HP Vertica列存数据库、EntERPrise Security安全技术等形成大数据处理方案。 国内，业界的主流思路 用基于MPP架构的新型数据库集群(如EMC GreenPlum、南大通用GBase 8a、HP Vertica等)管理结构化大数据，侧重于行业大数据分析型应用场景 用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据，侧重于互联网大数据应用场景 MPP集群与Hadoop产品混搭部署、相互融合，共同支撑大数据应用。 云计算 分布式计算 网格计算 云计算 局域网 数据资源固定 计算资源分布全网 互联网 数据资源、计算资源相对固定 互联网 数据资源、计算资源未知 大数据与云计算 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。 如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！ 云计算充当了工业革命时期的发动机的角色，而大数据则是电。 大数据与云计算 大数据与