BJ Digital Sales Training.pptxVIP

How?To find and close A BIG DATA OPPORTUNITYLiu KaiAnalytics Group- Digital Sales凯 广西 桂林Digital Sales 8 Years + Analytics Sales Leader 数据的概念除了传统IT数据外,更包括来自互联网的社交媒体数据和来自传感器物联网的数据,后两者将来的占比和作用更大到2015年，全球互联的设备数将是全球全部人口的两倍。所有的感应数据均有不确定性。9000800070006000500040003000200010000100908070605040302010社交媒体的总账户数将超过全球人口的总数。从陈述和内容上看，这些数据也有很大的不确定性。传感器(物联网)全球数据量单位（Exabytes)不确定，不准确的百分比数据质量管理方案对企业内部数据比如客户，产品以及地址信息持续治理，但是这只是企业全部数据中的一小部分。社交媒体数据(视频，音频和文字)VoIP企业内部数据Multiple sources: IDC,Cisco2005 2010 2015大数据的特点有效地处理日益增长的数量应对日益增长的速度综合分析覆盖面越来越宽的种类世界上80%的数据是非结构化的50x35 ZB300亿RFID传感器和计数分之一商界领袖感到无法信任那些帮助他们做决策的信息建立大数据来源的真实性大数据的代表技术流计算Hadoop 基于普通x86硬件平台(低硬件成本)基于大规模集群技术，能够扩展至上千个节点(高伸缩扩展性)微妙级别的大数据流量分析能力(实时数据分析与处理)能够处理半结构化和非结构化数据 基于普通x86硬件平台(低硬件成本) 基于大规模集群技术，能够扩展至上千个节点(高伸缩扩展性) 能够存储和分析PB级别的各种数据(非结构化数据分析)实时大数据 -- 海量数据＋异构数据＋实时主动分析多渠道的客户分析，精确营销，网络优化，用户分群，改善客户满意度。医疗系统检测分析天气预测告警分析，交通拥堵预测分析.金融交易系统实时欺诈风险分析，股票的趋势分析不同视频，音频，邮件，短信等综合数据,用户分群，热点分析，犯罪行为分析 ，打造大数据中心关键一个平台综合性集成的大数据平台三个能力大数据承载和落地能力大数据分析和挖掘能力大数据的实时处理能力大数据中心三大能力之一大数据承载和落地能力大数据平台首先是一个数据承载平台，能存储多种类型的数据，其中既包括结构化的数据库数据，也包括半结构化甚至非结构化的数据，如文本，图像，互联网上的信息，日志文件，信号或传感器数据，甚至音频视频内容等。这个数据承载能力要求这个大数据平台不只是能存储各种数据，同时要能实现数据的快速查询。另外，为了实现数据承载能力，还需要有一些辅助能力支撑，包括数据采集和抽取能力，数据的清洗何转换能力等。从成本上考虑，这个大数据平台的相对成本应比较低。大数据平台首先要服务于学院的学习和科研，将来还可能会面向市场，因此该平台还应具有多租户管理能力。这个能力主要通过Hadoop及相关软件和组件实现。大数据中心三大能力之二大数据的分析和挖掘能力大数据平台的第二个能力是数据分析、数据探索、数据挖掘的能力。目前的大数据平台除了用来存放各种类型数据并进行快速查询外，更多的是用来作数据分析、数据探索，以及数据挖掘，从一大堆充分收集的低价值数据中找出有价值的信息，或者从看似不相关的数据中找出它们的内在关系，形成算法和明星。从而为业务提供指导，为决策提供依据。好的算法和模型能充分体现大数据的价值，而要形成数据分析和数据探索的能力，就需要有良好的工具来支撑，如数据挖掘工具、文本分析引擎等，利用这些有效的工具能从海量数据中发现高价值的信息，或构建出好的算法模型，从而进一步为业务或领导决策服务。这个能力的实现离不开一些工具软件，如数据挖掘软件等。大数据中心三大能力之三大数据的实时处理分析能力大数据平台的第三个能力是实时的能力。大数据的3V(Volume, Variety, Volocity)理论里，有一个V就是速度（Velocity）, 既指处理海量数据的速度和能力，又指瞬间处理和反应的能力。这种能力，在工业生产、市场营销、风险管控、公共安全、环境保护等各行业各领域都有广泛的需求。如果没有这种能力，即使有了很准确的分析预测结果，也会错失稍纵即逝的机会，或者难以及时挽回损失了。大数据的实时分析和处理能力，就是要考虑如何在最短的时间内，作出瞬间的判断。 实时的能力主要通过流计算平台来实现。完整意义上的大数据中心系统设计框架大数据信息发现服务基于大数据的商业智能分析和数据挖掘大数据访问接口和可视化大数据高级分析