大数据分析市场行业分布讲义.pptVIP

大数据机 大数据分析市场行业分布 ? 2012 年大数据分析需求行业分布 – 政府、互联网、电信、金融的大数据市场规模较大，四个行业将 占据一半市场份额。 ? 结论： 各个行业都存在大数据应用的需求，潜在市场空间非常可观。 云展大数据机 大数据采集 大数据存储 大数据处理 大数据可视化 收集网站日志 , 交易数据 , 音频 视频数据 , 即时 信息 …… 可扩展数据采集 框架 数据导入 元数据管理 分布式大数据存 储 确立分析目标 编写分析程序 大数据并行处理 引擎 为分析目标生成 报表 , 趋势图等 图表生成工具 大数据分析应用 大数据分析平台 云展大数据机 — 软件架构 数据收集框架 基于分布式文件 系统的数据存储 元数据管理 E3 大数据并行处理框架 SQL 接口 E3 编程接口 MapReduce 接口 可视化工具 大数据知识库 文本分析工具 结构化数据 分析工具 云展大数据机 — 硬件架构 ? 标准机架式设计 – 每个机架可容纳 40 台节点机 – 节点机通过千兆以太网连接 – 节点机采用标准 PC 服务器 – 可扩展到 20 个机架 – 原型机： awan （ 2 个机架， 76 台节点机） 云展关键技术 —— E 3 引擎 ? E3 将数据处理过程描述为一个线性工作流，工作流中每一个节点称为一个阶 段，每阶段包含若干处理单元，每个处理单元对数据进行部分处理。 ? E3 按照工作流的顺序，并行地调度处理单元在计算节点上运行，自动在处理 单元之间传递中间运算结果，最终完成整个数据处理过程。 pu1 pu1 pu1 pu1 pu2 pu2 pu3 pu4 pu4 pu5 pu5 pu5 云 数 据 存 储 服 务 云 数 据 存 储 服 务 PU – processing unit （处理单元） E 3 与阿帕奇 Hadoop 的性能比较 ? Grep 任务：每个节点 535M ? Select 任务：每个节点 1G Grep 任务 Select 任务 混合式数据分析工具 ? 同时支持非结构化的文本分析和结构化的数据库分析 ? 建立在统一的 E 3 引擎之上，能够进行交互和联合分析 ? 支持对海量数据的快速分析，发现其中隐藏的知识、行为 模式等 ? 提供描述语言，支持用户进行自定义的数据分析 文本分析工具 结构化数据 分析工具 非机构化分析工具 ? 分布式存储和处理模型 – 无需定义表结构 – 数据直接存储与分布式文件系统中 – 自动错误处理和恢复 ? 基本的数据访问接口 – put/get: 随机的文档数据读取 – scan: 批量数据扫描 – tokenize: 将文档组织成单词组以提供给上层分析处理 ? 分析数据接口 – Extract operator [ ? ]: 提供基于正则表达式和字典的匹配操作 – Select operator [ σ ]: 提供基于用户选择条件的过滤操作 – Join operator [ ? ]: 将来自多个数据源的文档 / 文字流进行合并 – Consolidate operator [ Ω ]: 去重操作 ? 提供类似于 SQL 的文本处理分析语言 : EPQL 非结构化处理流程 ? 每一个 EPQL 将对特定集合的文档进行处理 ? 每个文档将通过 4 个操作的处理，然后中间结果传给连接 操作和去重操作 ? 结果将是符合用户要求的文档或统计内容，比如： – 查找所有包含关键词： [Cloud] [Computing] ，在 2012 年产生的网页 – 统计近一个月内，出现包含钓鱼岛的文档与包含日本车销量内容 的文档的关联度 文本分析示例：用户反馈信息分析 ? 在电子商务网站，如京东等，用户购买结束后，会对产品 购买过程及产品本身进行评价，通过分析用户的反馈信息， 可以发现其中的问题 关键问题：发货速度慢， 需要更换物流公司 结构化数据分析 ? 结构化数据分析通过维护并定期更新 data cube 的方式来 提供高效的分析查询结果 ? 根据时间戳来实现同时支持实时事务处理和分析查询 分布式文件系统 DataCube E 3 引擎 元数据 更新 Cube 事务处 理查询 分析查询 实时数据 键值存储系统 数据分片 分布式索引技术 ? 在结构化分析工