格力大数据项目工作说明书培训资料.docxVIP

1 1 格力大数据项目工作说明书 北京西塔网络科技股份有限公司 二零一六年一月 格力大数据项目工作说明书(SOW) 格力大数据项目工作说明书(SOW) TOC \o 1-3 \h \z \u 1 项目目标 3 2 建设及服务内容 4 2.1 需求调研及数据标准化 4 2.2 大数据基础平台搭建 4 2.3 数据采集 4 2.4 分层存储设计 5 2.5 数据加工处理 5 2.6 数据分析挖掘 5 2.7 内存数据库 5 2.8 交互式探查分析 6 2.9 数据可视化应用 6 2.10 语音智能分析 6 2.11 文本、视频、图片存储 6 2.12 大数据平台运维监控 6 2.13 大数据平台任务调度 7 2.14 ETL过程可视化 7 2.15 培训工作 7 3 建设方案 8 4 时间进度与里程碑 8 5 费用支付 9 6 需求变更过程 9 6.1 变更依据 9 6.2 变更请求处理流程 9 7 双方责任 10 8 项目组织架构 12 9 假定条件 12  项目目标 在珠海格力电器股份有限公司的范围内，分期实现格力工业大数据平台项目的数据集成、连接、处理、分析、挖掘等相关功能。本期项目包括设计、搭建大数据平台，接入商技一部、商技二部、计算机中心的销售订单等相关数据，实现设备故障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。 故障诊断的业务目标： 大数据平台处理、分析商用空调运行时采集回传的工况数据，及时、准确定位运行故障并给出大致原因，为维护部门维修空调设备和系统提供信息支撑，降低故障定位的时间、范围和工作量，缩短停机时长并提高客户满意度、忠诚度。 故障预测的业务目标： 大数据平台利用数据挖掘、机器学习技术，通过学习业已存在的设备故障数据、信息，尤其是发生故障的前兆数据，归纳故障发生的特点、规律知识，并利用流计算相关技术及时发现潜在的故障及风险，及时预警，减少停机的次数及停机时长。另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。 产品统计的业务目标： 大数据平台利用集成的产品及销售数据进行统计分析，用于分析产品的销售情况，客户情况，销售规律、特点及变化趋势，用于指导产品的个性化设计及产品的推广销售。 实时查询的业务目标： 大数据平台利用New SQL存储技术存放设备数据，提供特定编号设备、一段时间内工况信息的实时查询功能，用于业务人员分析、判断特定设备在查询时间范围内的工作状态，总结、发现业务规律。 营销支持的业务目标： 大数据平台利用集成的产品及销售数据进行分析，发现其中先后、重复购买及交叉购买情况和规律，提醒、推荐客户购买特定的产品和服务，提高产品和服务的销量。 智能搜索的业务目标： 大数据平台提供通过语音输入完成产品及销售数据的查询、统计及分析的功能。 建设及服务内容 以下所有内容基于1月19日版本的需求文档。详见《格力大数据需求说明1.0》文档，建设内容为基于Hadoop生态系统构建大数据平台，内容包括商用空调、家用空调、销售等历史数据的入库，ETL处理，数据仓库、离线计算、内存计算、实时计算、即席查询、可视化展示等内容。具体内容如下： 需求调研及数据标准化 包括功能商技一部、商技二部、销售、审计部门的需求调研、数据调研以及数据标准化。 大数据基础平台搭建 基于Hadoop搭建大数据平台，包括HDFS、MapReduce、HBase、Hive、Spark，MySql集群。 使用HDFS存储原始数据，供离线分析挖掘； 使用Spark/MapReduce 执行离线任务； 使用HBase做实时查询； 使用Hive/Spark SQL 做数据仓库； 使用MySql集群存储分析结果书，供上层应用查询。 数据采集 大数据采集包括非结构化数据、结构化数据的采集，非结构化数据采用FlumeNG 采集，Oracle/SQLServer/MySQL关系数据库中的结构化数据采用Sqoop收集。此外还有实时流数据采用分布式消息队列采集。 Flume收集非结构化数据，Flume是一个高可用的，高可靠的，分布式的海量数据采集、聚合和传输的系统，Flume支持定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入到HDFS中。 Sqoop收集结构化数据，Sqoop(发音：skup)，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgre