大数据时代大数据的定义,理解和应用.pptVIP

第一V是Variety，海量数据有不同格式，第一种是结构化，我们常见的数据，还有半结据化网页数据，还有非结构化视频音频数据。而且这些数据化他们处理方式是比较大的。 很多不同形式（文本、图像、视频、机器数据），无模式或者模式不明显，不连贯的语法或句义 第二点就是Volume，量比较大，我们有一些用户化每秒就要进入很多数据，很多客户内部都有几批数据，还有下面淘宝都是几PB数据，所以PB化将是比较常态的情况。 非结构化数据的超大规模和增长，占总数据量的80~90%，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍 第三个是Velocity，因为数据化会存在时效性，需要快速处理，并得到结果出来。比如说，一些电商数据，今天的信息不处理没有结果化，将会影响到今天捕获很多商业决策。 立竿见影而非事后见效 第四个是Value：大量的不相关信息，不经过处理则价值较低，属于价值密度底的数据 海量数据分析非常复杂，使得过去靠单纯易于关于数据库BI已经不是太适合了。所以，可能需要新的创新。 * 大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商； 现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统； 终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系； * * 云计算只是一个概念，很多人也都会，一说起云计算，就觉得会想吐的感觉，现在大家都在说云计算，各种各样的服务，各种各样的公司，各种云，总在说云计算是一个概念。百度，也是一个很典型的云计算平台，他有很多很多的数据会在上万台服务器上出运算，这个可能在传统的一些计算环境是无法满足的。 * 数据越多越值钱，这个可能也是一个误区。很多公司其实都有很多数据，什么某度，某讯，他们都有很多数据，相比较而言淘宝的商业数据就更有价值 * 第一个是互联网企业，比如我们有用户做网络广告监测，每天有几百G技术，网络点击数据，他就会去分析这些点击日志来分析，哪些用户在哪些阶段点击广告，从而帮助商户们来判断他投广告是否有价值。 第二是智能电网，比如说，他们一个省有300个用电用户，每隔几分钟会将他们大宗数据发送到后端集群当中，之后集群就会对这些数亿条数据进行分析，来分析一下大概的用电模式，根据用电模式来生产电力，这样能够节省电力资源的浪费。 第三个方面是车联网，车载终端，是每隔几分钟都会上传一些数据到后端数据集群里面，最后会分析这些数据，来判断一下大致路况是什么情况，之后将有价值的路况信息给Push客户端里面，能够帮助客户节省在路上时间。 第四是医疗行业，每个人看病都有病例，如果我们把全国，几千万病例都汇总起来之后进行一些数据分析，数据处理，会找出大致的一些模式，通过这种模式非常容易的帮助医生看病。 第五个是安全领域，在美国比较火，中情局，他们有很多视频数据关于煽动的，还有本拉登一些照片，之后就分析一些哪些煽动助萨达姆，卡札菲，本拉登，除此之外还有一些通过海量分析文本数据从而形成一定程度的AI。 * 实际上，如果你的数据，不管你什么样的方式计算出来，如果不能很快去查，你的数据永远只是一些数字而已，产生不了任何的商业价值。 * 【图像化】 * 几乎是全行业！ * Newland Enterprise Solutions Copyright @Newland corporation 2011 All Right Reserved * Thanks 大数据时代 第一页，共二十五页。 不知道BIG DATA? 你out了! 反对派认为，我们现在处在一个盲目的大数据崇拜时代 第二页，共二十五页。 大数据的定义 理解大数据 相关技术与应用 目录 第三页，共二十五页。 21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。 大数据时代的背景 第四页，共二十五页。 想驾驭这庞大的数据，我们必须了解大数据的特征。 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场