大数据Big_Data可编辑.pdfVIP

Big Data 1 大数据时代 • 在科学研究(天文学、生物学、高能物理等) • 计算机仿真 • 互联网应 • 电子商务等领域 数据量呈现快速增长的趋势 2 大数据时代 在科学研究方面: 大型强子对撞机每年积累的新数据量为15PB 右 在电子商务领域: 沃尔玛公司每天通过 6000 多个商店,向全球客户销 售超过 2.67 亿件商品 为了对这些数据进行分析,HP 公司为沃尔玛公司建 造了大型数据仓库系统,数据规模达到 4PB,并且仍 在不断扩大 3 大数据时代 大规模数据主要来源1: 传感器数据 分布在不同地理位置上的传感器,对所处 境进行感知,不断生成数据.即便对这些数据 进行过滤,仅保留部分有效数据,长时间累积 的数据量也是非常惊人的 4 大数据时代 大规模数据主要来源2: 网站点击流数据 为了进行有效的市场营销和 广,用户在网 上的每个点击及其时间都被记录下来;利用 这些数据,服务提供商可以对用户存取模式 进行仔细的分析,从而提供更加具有针对性 的服务 5 大数据时代 大规模数据主要来源3:移动设备数据 通过移动电子设备包括移动电话和PDA、 导 设备等,我们可以获得设备和人员的位 置、移动、用户行为等信息,对这些信息进 行及时的分析,可以帮助我们进行有效的决 策,比如交通监控和疏导系统 6 大数据时代 大规模数据主要来源4:射频 ID 数据 RFID 可以嵌入到产品中,实现 体的跟踪. 一旦 RFID 得到广泛的应用,将是大量数据 的主要来源之一 7 数据分析的新趋势:超越常规报表 的深度分析需求的增长 • 为了从数据中发现知识 加以利用,指导人 们的决策,必须对数据进行深入的分析,而不 是仅仅生成简单的报表. • 这些复杂的分析必须依赖于复杂的分析模 型,很难用SQL 来进行表达,统称为深度分析 (deep analysis). 8 • 人们不仅需要通过数据了解现在发生了什 么,更需要利用数据对将要发生什么进行预 测,以 在行动上做出一些主动的准备 • 比如,通过预测客户的流失预先采取行动,对 客户进行挽留.