大数据的实时分析和应用案例分享.PDFVIP

大数据的实时分析与应用案例分享 上海云人信息科技有限公司 个人简介  吴朱华，专注于云计算和大数据这两个方向，之前曾在 IBM 中国研究院参与过多款云计算操作系统的开发工作， 包括PureSystem 的原型机，同济本科，并曾在北京大学 读过硕士，在2010 年底组建上海云人科技团队，在2011 年中发表业界最好的两本云计算书之一 《云计算核心技术剖 析》，在2013 年的3 月被福布斯评为中国30 岁以下30 位创业者。 《云计算核心技术剖析》 大数据的时代  来自麦肯锡的报告，未来的10 年里，数据和内容将增长 44 倍，并且这些数据有无法估量的价值；  对于很多以数据为资产的行业，BI 决定公司的核心竞争力。 比如互联网广告，金融机构，大数据实时分析工具对他们而 言，就等同于竞争武器，快或慢一秒钟，往往就意味着财富 的得与失。  对传统行业来说，大数据的冲击来自三个方面：数据终端数 量的增长，例如智能电网和物联网；数据维度的变化，例如 消费行为与社交网络的关联；商业模式和管理模式的变化： 例如从产品消费到信用营销，从经验和直觉决策到数据智能 决策。三个因素组织在一起，使大数据发生了几何级数的增 长。 大数据需求 业务 终端数量激增 BI 决定核心竞争 新兴 力 社交网络 例如智能电网： 一个业务系统每 大 电商实时 数据挖掘 天20 亿条记录 ，广告跟 大 快 踪 部署 传统 简单 新兴 行业 阿里巴巴：从商品销 例如电信账单分 售到保险信贷转型 拣：从两周到一天 快 快 商业模式转变 竞争格局改变 传统 大数据的阶段  第一个阶段 ：自身业务需求产生大量数据，利用这些数据， 通过深入证析，优化相关业务；  第二个阶段 ：搜集与目标业务直接或间接关联的大量异质数 据，建立复杂的分析和预测模型，产生针对目标业务的输出 ；  第三个阶段 ：随着整体数据相关的法律不断补充 ，以及技术 不断成熟 ，形成一个完善的数据生态 ，包括数据市场 ，数据 运营商和数据商店等。  从技术角度而言，趋势是更实时，越快越好，更全面数据分 析需求，包括SQL 、挖掘算法，以及以Deep Learning 为代表机器