数据与大数据分析-1.pptVIP

Contents 我们可以做些什么 实操分享 大数据，你从哪来 你是谁 中国网民数量：7.51亿 半年增长率：2.7% 中国注册网站数量：344.3万个 手机网民：7.236亿 占网民总数：96.3% 月均网络交易： 16亿笔 每日新发微 博数量： 1亿+条 注册微博用户数： 2.9071亿 发布的网页数量：866亿页 年增速：~40% 网络直播用户：3.43亿 占网民总数：47.1% 很多人还没搞清楚什么是PC互联网，移动互联来了；我们还没搞清楚移动互联的时候，大数据时代又来了！ ——马云 数据爆炸式的增长 数据资产管理的挑战 需要更高性价比的数据计算与储存方式 需要不同的数据管理策略 01 你从哪里来？ 数据爆炸式的增长 数据资产管理的挑战 数据资产 数据资产管理 传统数据管理方式面临挑战 需要更高性价比的数据计算与储存方式 计算更快 存储更省 10万 GB 10万 TB 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB 需要不同的数据管理策略 15% 结构化的 DB/DW 残缺 当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限 概念（Concept） 特征（Features） 变革（Change） 技术（Technology） 数据库（database） 大数据（bigdata） 你是什么？ 02 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。 全球信息咨询机构国际数据公司（IDC）对大数据的技术定义是：通过高速捕捉、发现或分析，从大容量数据中获取价值的一种新的技术架构。 所谓“大数据”(big data) 指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P(1000个T)， E(一百万个T)或Z(10亿个T)为计量单位，所以称之为大数据。 概念 数据类型多 越来越多非结构化数据；音频、 食品，地理位置信息等多类型数 据对数据处理能力提出更高要求。 数据价值高 海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。 大数据的特点-4V理论 数据处理速度快 对数据实时处理有着极高的要求， 通过传统数据库查询方式得到的 “当前结果”很可能已经没有价值。 数据规模大 从TB跃升到PB甚至EB。 一组公式：1024GB=1TB; 1024TB=1PB;1024PB=1EB。 。 各级政府、主管部门、上市公司、企业集团、外资公司都将基于大数据分析平台优化其决策。 优化 大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。 革命 银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务 颠覆 因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。 改变 大数据改变生活 IBM CP Industry 需求 海量数据存储技术 实时数据处理技术 数据高速传输技术 搜索技术 描述 分布式文件系统 流计算引擎 服务器/存储间高速通信 文本检索、智能搜索、实时搜 索 技术 Hadoop，x86/MPP Map Reduce Streaming Data Infini Band