大数据定义和特征-1.ppt

* 10年前我们大谈物联网的时候，今天我们早已实现了人机交互，你可以远程跟你的汽车甚至你的冰箱对话。我们的穿戴设备，我的生活用品，都在联网，每分每秒都在产生数据，数据量大到你无法想像，现阶段的摩尔定律是：每18个月产生的数据之前全人类的总和。万物互联的时代我们今天对物品可以定义为在线上的和在线下的。 * 大数据 2018 Big Data * 一.认识大数据时代 二.大数据的定义 三.大数据4V特性 大数据时代 * 一.认识大数据时代 7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。 9：00，今天你要带朋友到购物公园逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看今天的交通预测。 “XX预测” 根据以往用户定位请求信息建议你前往步行街。 12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。 2XXX年的一个周末 * 一.认识大数据时代 14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去十六潭公园还是去潜山森林公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了十六潭公园。 16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国移动至少有5亿用户，每天至少能产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。 22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇…… 18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。 * 一.认识大数据时代 《纽约时报》2012年2月的一篇专栏中所称 ，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。 亚马逊前任首席科学家Andreas Weigend说：“数据是新的石油。” 哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。” 一.认识大数据时代 * 随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。 当今“大社会”， 三分技术，七分数据， 得数据者得天下。 * 一.认识大数据时代 大数据很抽象，表示数据规模的庞大。 大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产、无线网络革命称为引领未来繁荣发展的重大技术变革。 * 一.认识大数据时代 全球流量累计达到1EB（即10亿GB） 的时间 一年（2001） 一个月（2004） 一周（2007） 一天（2013） 一天产生的信息量可刻满1.88亿张DVD光盘 全球网民平均每月使用流量： 1M（1998） 10M（2000） 100M（2003） 1G（2008） 10G（2014） 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍 数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革 运营式系统阶段 第一阶段 运营式系统阶段实例－超市购物，在数据库系统中生成购物信息 第二阶段 用户原创内容阶段 * 一.认识大数据时代 智能终端的普及 电子商务、社交网络、 电子地图等的全面应用 大数据的产生： 第三阶段 感知式系统阶段 万物互联网的的时代已经来临 物联网底层是感知层，如RFID、摄像头、传感器 * 一.认识大数据时代 维基百科给出的定义： 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 “3V”定义 规模性（Volume） 多样性（Variety） 高速性（Velocity） “4V”定