企业大数据平台解决方案V1.pptx

企业大数据平台解决方案迈入大数据时代大数据应用场景产业趋势IT产业快速发展移动互联社交云计算大数据70+亿 用户 接近全球人口总数 78% CAGR 数据增长社交即业务86% 企业在社交媒体上开展业务 数据即资产未来5年，企业间的竞争在数据层面云成为新一代IT基础设施 56%中小型企业购买云服务迈入大数据时代1000+PB24亿网民1天产生的数据63% GAGR非结构化数据增长率30+TB交易量3000+万笔/天1PB/SCERN：核爆产生数据的速度数据摩尔定律：Y=C×2XX代表时间，Y代表用户的信息分享量，C代表现在时刻的分享信息量对大数据的理解大数据是指通过对海量数据的智能存储、智能挖掘和智能分析，面向具体的行业应用，把巨量离散的、碎片化的数据加工形成具有商业价值的数据处理技术，以帮助企业/机构更准确地做出趋势判断、进行精准营销和实现精细化运营等。大数据的数据量应足够大，一般是P级，数据的时间跨度应足够长，以真正实现从微观数据到宏观规律的跃迁。企业提高竞争力，应该掌握和分析更多的数据大数据可以帮助企业更准确预判客户需求，洞察市场，产品创新。公司的力量和声音客户占据主动金融：实时征信，精准小微贷，防欺诈…电信：流量经营、客户维挽、套餐包精准营销公安：同行车辆、碰撞分析、…电商：亚马逊推出“预判发货”媒资：Netflix推出《纸牌屋》电视剧……顾客的力量和选择传统媒体互联网1.0互联网2.0/3.0金融：大数据让银行更了解客户与识别潜在风险王五作为某银行客户，需要申请一张新的信用卡2~4周大数据平台交易系统客户信息系统信用系统……实时征信、精准营销、在线明细、精准小微贷、…电信：大数据支撑运营商向Digital Telco转型管道运营能力运营跨界运营... …语音封闭、垄断窄带数据有限程度开放宽带数据防御与竞合超宽带数字经济使能个人客户家庭客户政企客户互联网客户SPCPSP精准营销辅助决策数据开放…CP一份存储，全局共享，全量分析大数据平台 2G 2.5G 3G B3G/4G数字经济驱动运营商彻底进行数字化重构商业架构网络资源为中心客户体验及生态圈为中心 一份数据,一次采集数据源封闭开放、用户驱动、实时知识企业架构B域O域M域Silo云化, 业务感知, 自编排网络架构公安：大数据实现在海量数据中快速检索出价值信息3000+万条记录， 1+亿张照片，约100TB国内某大城市1天的卡口数据：1~2天传统数据库平台模糊检索耗时：大数据平台检索信息耗时：2分钟电商：亚马逊“预判发货”，顾客未动包裹先行顾客此前订单大数据平台顾客搜索记录顾客心愿单顾客购物车顾客浏览行为……大数据分析：“预判发货”媒资：大数据让Netflix在《纸牌屋》开播前就知道会火3300万订阅用户行为大数据平台400万影视评分300万搜索请求上线20天，点播400+万次大数据处理技术主流数据处理技术及数据处理技术趋势数据处理技术与架构发展趋势解决“大、杂”多类型数据复杂计算模型灵活编程接口并行批处理/Hadoop数据挖掘算法/建模/其他工具开发IDE系统管理SQL、Java、Python数据处理能力弱I/O存在瓶颈扩展能力差实时性差高级编程接口传统数据仓库流处理引擎多种计算模型（MR、图计算、…）无法支持复杂计算SQL、UPF解决“大、快”结构化数据快速查询、交互式实时查询批计算MPP DB流计算SQL执行引擎③ ③ ③ CQL、规则行存、磁盘、单机/SE集群非结构化数据存储②②网状算子执行HDFS、SN分布式①内存MPP数据仓库①统一持久层，数据减少移动②统一管理，实现资源共享和管理自动化③同一数据可同时进行批处理、流处理以及查询多种计算模型UPF: User-defined Process FunctionSE: Share EverythingSN：Share NothingSQL、UPF解决“快、杂”异构流数据实时处理向量迭代、并行列存、SN分布式One stack rules them all融合架构（四套变一套）One sizes fit all单一架构One sizes fit domain分离架构（四套系统）内存分析数据库SQL、UPFMicroEngine、并行列存、内存资源管理分布式文件系统Hadoop已成为大数据事实标准6大Hadoop 发行版厂商Cloudera、Hortonworks、MapR、 IBM 、EMC、Huawei第一阶段（2005~2009年）：模仿Google的“三驾马车”，主导者是Yahoo！,Facebook等互联网厂商，相关项目①②③④第二阶段（2009年~）：模仿Google的“新三驾马车”，主导者是Cloudera、Hortonworks等Hadoo