BigData大数据技术培训（精品培训）.pptxVIP

培训资料标题：大数据BigData技术培训（精品培训）培训人：xx什么是大数据？大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。海量快速交易数据价值交互数据传感数据多样性什么是大数据？集成共享交叉复用智力资源知识服务能力大数据究竟有多“大”海量 巨型TB? PB? 主观标签How big is it？大数据究竟有多“大”各大公司的业务量How big is it？大数据特点云存储、分布式文件存储等关系数据库、NoSQL、SQL等大数据处理流程数据抽取（ETL）工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集合中，成为联机分析处理、数据挖掘的基础。分类、估计、预测、相关性分组或关联规则、聚类、描述和可视化、复杂数据类型挖掘假设检验、显著性检验、差异分析、相关分析方差分析处理自然语言的关键是要让计算机理解自然语言，所以自然语言处理又叫做自然语言理解，也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。预测模型、机器学习、建模仿真云计算、标签云、关系图等大数据涉及的技术大数据分析方法研究状况当前发展情况大数据的重大意义消费者使用行为用户生成内容（UGC）大数据知识大数据的重大意义未来石油第三次浪潮的华彩乐章大数据的重大意义目前所面临的问题目前所面临的问题社会层面全社会开放与共享数据还很难，这让数据质量大打折扣开放与隐私如何平衡，亦是一大难题发展前景大数据的真正意义并不在于大带宽和大存储，而在于对容量大且种类繁多的数据进行分析并从中萃取大价值。需要新型的处理方式去促成更强的决策能力、洞察力与优化处理。发展前景结语谁率先具备从各种各样类型的数据中快速获得有价值信息的能力与机会谁就是赢家！win!大数据时代在科学研究(天文学、生物学、高能物理等)计算机仿真互联网应用电子商务等领域数据量呈现快速增长的趋势大数据时代在科学研究方面: 大型强子对撞机每年积累的新数据量为15PB 左右在电子商务领域: 沃尔玛公司每天通过 6000 多个商店,向全球客户销售超过 2.67 亿件商品 为了对这些数据进行分析,HP 公司为沃尔玛公司建造了大型数据仓库系统,数据规模达到 4PB,并且仍在不断扩大大数据时代大规模数据主要来源1: 传感器数据 分布在不同地理位置上的传感器,对所处环境进行感知,不断生成数据.即便对这些数据进行过滤,仅保留部分有效数据,长时间累积的数据量也是非常惊人的大数据时代大规模数据主要来源2: 网站点击流数据 为了进行有效的市场营销和推广,用户在网上的每个点击及其时间都被记录下来;利用这些数据,服务提供商可以对用户存取模式进行仔细的分析,从而提供更加具有针对性的服务大数据时代大规模数据主要来源3: 移动设备数据 通过移动电子设备包括移动电话和PDA、导航设备等,我们可以获得设备和人员的位置、移动、用户行为等信息,对这些信息进行及时的分析,可以帮助我们进行有效的决策,比如交通监控和疏导系统大数据时代大规模数据主要来源4: 射频 ID 数据 RFID 可以嵌入到产品中,实现物体的跟踪.一旦 RFID 得到广泛的应用,将是大量数据的主要来源之一数据分析的新趋势:超越常规报表的深度分析需求的增长为了从数据中发现知识并加以利用,指导人们的决策,必须对数据进行深入的分析,而不是仅仅生成简单的报表.这些复杂的分析必须依赖于复杂的分析模型,很难用SQL 来进行表达,统称为深度分析(deep analysis).人们不仅需要通过数据了解现在发生了什么,更需要利用数据对将要发生什么进行预测,以便在行动上做出一些主动的准备比如,通过预测客户的流失预先采取行动,对客户进行挽留.这里,典型的OLAP 数据分析操作(对数据进行聚集、汇总、切片和旋转等)已经不够用,还需要路径分析、时间序列分析、图分析、What-if 分析以及由于硬件/软件限制而未曾尝试过的复杂统计分析模型时间序列分析商业组织积累了大量的交易历史信息,企业的各级管理人员希望从这些数据中分析出一些模式,以便从中发现商业机会,通过趋势分析,甚至预先发现一些正在涌现出来的机会.时间序列分析比如在金融服务行业,分析人员可以开发针对性的分析软件,对时间序列数据进行分析,寻找有利可图的交易模式(profitable trading pattern),经过进一步验证之后,操作人员可以使用这些交易模式进行实际的交易,获得利润大规模图分析和网络分析社会网络虚拟环境本质上是对实体连接性的描述.在社会网络中,每个独立的实体表示为图中的一个节点,实体之间的联系表示为一条边.大规模图分析和网络分析通过社会网络分析,可以从中发现一些有用的知识比如发现