大数据的梦想和现实.pdf

弘则弥道（上海）投资咨询有限公司 云计算是大数据的一种应用形式 数据挖掘 商业智能 精准营销 基于数据和实时计算衍生出丰富的应用 基础架构从集中式往分布式方向拓展 分布式存储 分布式计算 虚拟化 弘则弥道（上海）投资咨询有限公司 ● Horizon Insights 2 弘则科技组专题研究 上部分 大数据技术篇 弘则弥道（上海）投资咨询有限公司 ● Horizon Insights 3 代表性运营企业的数据结构 从数据结构的复杂性来看，电信运营商、电商以及互联网企业的数据分布上图所示。 与互联网企业以及电商的数据分布不同，电信运营商在目前的运营模式和IT支撑模式 下，仍会以结构化数据为主。随着流量经营以及与OTT业务的交叉经营等新型商业模 式的成熟和发展，逐步会增加非结构化数据以及混合结构数据的比重。 弘则弥道（上海）投资咨询有限公司 ● Horizon Insights 4 传统BI的数据处理方式越来越无法满足海量数据分析场景 传统BI以集中数据为基础，进而通过集中的分析能力开展各种分析应用，代表企业有 银行以及其他BI系统，这种方式需要数据比较全、产品规范并且对数据集中程度要求 比较高，可以开展全面的精确性的分析应用；缺点是周期比较长，数据质量要求比较 高。新兴的互联网企业是以应用为主，基于单一数据源展开分析，同时采用数据源与 分析能力迭代式的集中，以平台促进应用和数据的建设，这种模式建设速度快，对环 境要求较为宽松，适合于专门化、趋势性的分析服务。 弘则弥道（上海）投资咨询有限公司 ● Horizon Insights 5 企业传统IT架构体系 企业通过CRM 、ERP 和财务系统等应用 程序，创建基于稳 定数据模型的结构 化数据。数据集成 工具用于从企业应 用程序和事务型数 据库中ETL (Extract - Transform - Load) 提取、转换和加载 过程后，数据最终 被模式化到整齐的 结构化数据库中。 从时间或成本效益上看，传