大数据机遇与挑战战与应用.pptVIP

大数据时代 数据单位 1Bye=8bit,一粒沙子 1KB=1.024 Bytes,几撮沙子 1MB=1024KB=1.048576 Bytes,-大汤勺沙子 1GB=1.024MB=1,048576KB,一鞋盒沙子 1PB=1024TB=1048576GB,一片1.6千米长海滩的沙子 1EB=1024PB=1048.576TB,上海到香港之间的海滩的沙子 1ZB=1,024EB=1,048.576PB,几乎全世界所有的海滩沙子之和 2010年全球数字世界的规模首次达到了ZB级别,1.227ZB。而2005年这个数字 有130EB基本上五年增长了10倍 友情提示 请勿在室内吸烟 上课时间请勿 上课时间欢迎 大数据时代 大数据的定义和特征 大数据的发展 三、大数据的结构类型 五、机遇与挑战 六、大数据的应用 七、大数据基础设施 大数据展示与交互 十二、大数据安全与隐私 大数据的定义和特征 图灵理论——PC 关系代数—数据库 谓词演算—专家系统 云计算 ?—大数据 实验科学理论科学计算科学数据密集型科学时代 大数据的定义和特征 In information technology big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications Volume:表示大数据的数据体量庞大 Variety:表示大数据的类型复杂 Velocity:表示数据产生、处理、分析的速度在持续加快,数据流量大。 Value:表示随莙数据体量的不断加大,单位数据的价值密度在不断降低,然而整 体价值却在提高。 通过使用高速( velocity)的采集、发现分析【 ,有的不要】,从超大容量( volume)的多样( variety)数据中经济地 提取价值( value) 二、大数据的发展 2011年5月,麦肯锡《大数据:创新、竟争和生产力的下一个新领域》 2012年1月份,瑞士达沃斯召开的世界经济论坛上《大数据,大影响》 2012年3月,美国奥巴马政府在《大数据研究和发展倡议》 2012年3月22日,奥巴马政府宣布2亿美元投资大数据领域 2012年7月,联合国政务白皮书——《大数据促发展:挑战与机遇》 2014年5月,美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据 抓住机遇、守护价值》 2015年10月,中国共产党的十八届五中全会公报提出要实施“国家大数据战略 二、大数据的发展 DB--LDB-—VLDB-—BD 来源:自然大数据、生命大数据、社交大数据 动力:廉价的存储、传感器和数据采集技术快速发展、通过云和虚拟化存储设 增加的信息链路,以及创新软件和分析工具,正在驱动着大数据。 可视化是引起数字世界急剧膨胀的主要原因之 三、大数据的结构类型 包括预定义的数据类型、格式和结构 结构化例:事务性数据和联机分析处理数据(是数据仓库系统最主要的 应用) 具有可识别的模式并可以解析的文本数据文件 半结构化例:自描述的具有定义模式的XML( Extensible Markup Language)数据文件 没有固定结构的数据,通常保存为不同类型的文件 非结构化 例:文本文档、PDF文件、图件和视频 四、大数据的技术架构 应用层 ·实时决策,内冒预测能力 数据驱动,数据货币化 分析层 ·自助服务 ·迭代、灵活,实时协作 管理层 结构化数据和非结构化数据 并行处理,线性可扩展性 基础层 虚拟化、网络化、分布式 横向可扩展体系架构