企业级数据库维护与大数据技术应用.pptVIP

美国和其他40多个国家 400万个评分 300万次搜索请求 基于对海量数据积累和分析的结果，利用大数据技术，选择观众喜爱的演员、导演和题材，从而实现火爆的收视率 2012年年初的一天，一个父亲闯入他家附近的Target超市向经理兴师问罪，因为超市将婴儿尿片和童车的优惠券寄送给了他17 岁的女儿。但一个月后，这位父亲打来电话道歉，因为他的女儿的确怀孕了。 这其中的玄妙就在于Target运行的大数据模型，能够通过对客户购买行为的分析将各种类型的顾客细分出来。 这是一个变化的年代，当很多人还没有搞懂PC互联网的时候，移动互联网来了，当很多人还没弄懂移动互联网，大数据来了。 农耕时代 工业时代(17世纪) 电气时代(20世纪) 互联网时代(2000年) 数据量井喷，据统计，全球90%的数据都是在过去两年中生成的。互联网、社交网络、传感器、科研、金融正在产生越来越多的数据。 想驾驭这庞大的数据，我们必须了解大数据的特征。 全球每秒钟发送 2.9 百万封电子邮 每天会有 2.88 万个小时的视频上传到Youtube 推特上每天发布 5 千万条消息 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7千亿分钟… Google 上每天需要处理24PB 的数据… 中国移动每天产生1PB+信令数据 Big Data 什么是大数据 Hadoop IBM 英特尔 HP 数据 商业智能 数据库 服务器 SAP HANA NoSQL SQL HDFS 预测 数据流 运算节点 机器学习 并行计算 磁盘阵列 ORACLE AMD 内存计算 Google Map reduce 可视化 Gb Pb Tb Zb 大数据(big data)或称巨量数据、海量数据，指的是所涉及的资料量规模巨大到无法通过人工在合理时间内达到撷取、管理、处理，并整理成为能够人类解读的信息。 “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）” 就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 Volume Velocity Value Variety 大数据的4V特征 Volume 海量 1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10亿TB）！ Velocity 高速 6000万用户登录/天 20亿次 页面访问/天 每天1.2亿次网站访问 响应时间小于100毫秒 大数据的惊人不止是在数量上，同时数据还是巨量的具有动态分析价值的数据。 访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。 数据化会存在时效性，需要快速处理，并得到结果出来。比如说一些电商数据，今天的信息不处理没有结果化，将会影响到今天捕获很多商业决策。 对于很多情况下，动态的数据价值远大于静态数据。 数据： 结构化数据 半结构化数据 非结构化数据 指关系型数据表 指关系结构与内容混合在一起的数据类型 文档、视频、音频、图片 2012年互联网产生的数据 Variety 多样 75%非结构化 25% 结构化 50%-70%源于人与人的互动 Big Data 什么是大数据 Value 价值 大数据的核心思想之一 大量的不相关信息，不经过处理则价值较低，属于价值密度底的数据。 以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。 用户统计数据 用户浏览数据 用户消费数据 用户潜在需求 数据 形成庞大的 消费者数据库 提升亚马逊零售平台的营销能力 优化亚马逊的消费者服务能力 完善亚马逊的网站平台与产品设计 辅助亚马逊的发展决策与策略制定 亚马逊云计算平台AWS 杰夫?贝佐斯一直将数据看的极为重要，并表示亚马逊的每个重要决定都是依据于数据，始终不变的是其对于数据的