BJDigitalSalesTraining探索.pptxVIP

How?To find and close A BIG DATA OPPORTUNITY Liu Kai Analytics Group- Digital Sales 刘凯 广西 桂林 Digital Sales 8 Years + Analytics Sales Leader 全球数据量单位（Exabytes) 传感器 (物联网) Multiple sources: IDC,Cisco 100 90 80 70 60 50 40 30 20 10 不确定，不准确的百分比 VoIP 9000 8000 7000 6000 5000 4000 3000 2000 1000 0 2005 2010 2015 数据的概念除了传统IT数据外,更包括来自互联网的社交媒体数据和来自传感器物联网的数据,后两者将来的占比和作用更大 企业内部数据 数据质量管理方案对企业内部数据比如客户，产品以及地址信息持续治理，但是这只是企业全部数据中的一小部分。 到2015年，全球互联的设备数将是全球全部人口的两倍。所有的感应数据均有不确定性。 社交媒体数据 (视频，音频和文字) 社交媒体的总账户数将超过全球人口的总数。从陈述和内容上看，这些数据也有很大的不确定性。 3 大数据的特点 综合分析覆盖面越来越宽的种类 应对日益增长的速度 有效地处理日益增长的数量 建立大数据来源的真实性 三分之一商界领袖感到无法信任那些帮助他们做决策的信息 50x 35 ZB 2020 2010 300亿 RFID传感器和计数器 世界上80%的数据是非结构化的 大数据的代表技术 基于普通x86硬件平台(低硬件成本) 基于大规模集群技术，能够扩展至上千个节点(高伸缩扩展性) 能够存储和分析PB级别的各种数据(非结构化数据分析) 基于普通x86硬件平台(低硬件成本) 基于大规模集群技术，能够扩展至上千个节点(高伸缩扩展性) 微妙级别的大数据流量分析能力(实时数据分析与处理) 能够处理半结构化和非结构化数据 Hadoop 流计算 6 实时大数据 -- 海量数据＋异构数据＋实时主动分析 不同视频，音频，邮件，短信等综合数据,用户分群，热点分析，犯罪行为分析 ， 金融交易系统实时欺诈风险分析，股票的趋势分析 天气预测告警分析，交通拥堵预测分析. 医疗系统检测分析 多渠道的客户分析，精确营销，网络优化，用户分群，改善客户满意度。 打造大数据中心关键 一个平台 综合性集成的大数据平台 三个能力 大数据承载和落地能力 大数据分析和挖掘能力 大数据的实时处理能力 大数据中心三大能力之一 大数据承载和落地能力 大数据平台首先是一个数据承载平台，能存储多种类型的数据，其中既包括结构化的数据库数据，也包括半结构化甚至非结构化的数据，如文本，图像，互联网上的信息，日志文件，信号或传感器数据，甚至音频视频内容等。这个数据承载能力要求这个大数据平台不只是能存储各种数据，同时要能实现数据的快速查询。另外，为了实现数据承载能力，还需要有一些辅助能力支撑，包括数据采集和抽取能力，数据的清洗何转换能力等。从成本上考虑，这个大数据平台的相对成本应比较低。大数据平台首先要服务于学院的学习和科研，将来还可能会面向市场，因此该平台还应具有多租户管理能力。这个能力主要通过Hadoop及相关软件和组件实现。 大数据中心三大能力之二 大数据的分析和挖掘能力 大数据平台的第二个能力是数据分析、数据探索、数据挖掘的能力。目前的大数据平台除了用来存放各种类型数据并进行快速查询外，更多的是用来作数据分析、数据探索，以及数据挖掘，从一大堆充分收集的低价值数据中找出有价值的信息，或者从看似不相关的数据中找出它们的内在关系，形成算法和明星。从而为业务提供指导，为决策提供依据。好的算法和模型能充分体现大数据的价值，而要形成数据分析和数据探索的能力，就需要有良好的工具来支撑，如数据挖掘工具、文本分析引擎等，利用这些有效的工具能从海量数据中发现高价值的信息，或构建出好的算法模型，从而进一步为业务或领导决策服务。这个能力的实现离不开一些工具软件，如数据挖掘软件等。 大数据中心三大能力之三 大数据的实时处理分析能力 大数据平台的第三个能力是实时的能力。大数据的3V(Volume, Variety, Volocity)理论里，有一个V就是速度（Velocity）, 既指处理海量数据的速度和能力，又指瞬间处理和反应的能力。这种能力，在工业生产、市场营销、风险管控、公共安全、环境保护等各行业各领域都有广泛的需求。如果没有这种能力，即使有了很准确的分析预测结果，也会错失稍纵即逝的机会，或者难以及时挽回损失了。大数据的实时分析和处理能力，就是要考虑如何