物联网大数据项目实施方案.pdfVIP

项目编号： 物联网大数据项目 实施方案 甲方： 乙方： 目录 1项目介绍 1.1业务背景(行业背景，企业背景) xxx战略上基于信息化三年滚动规划，深化“四个+”建设工作，落地“数据驱动、在 线管理”,包括“大数据+”。xxx需要通过大数据统一思想，统一平台，统一数据，统一 分析，从而推动公司数据文化，建设整体数据体系，稳步高效地挖掘数据，实现数据全面、 真实、透明、共享。“大数据+”的工作包括IOT采集迭代，基础数据治理，HR分析，业 财一体化分析，运营分析，智慧xxx等。 1.2项目目标 通过本次项目实施，完成构建xxx企业级大数据平台如下目标： 一、建成xxx大数据集群，具备大数据存储和I/O能力 理结点，3数据结点)、mysql(2数据结点)大数据集群 YARN分布式资源调度系统、KAFKA分布式消息系统从而实现数据的存储、转发、监 控管理。 hbase用来存储高读高写在线和离线数据，用做高频数据读写；mysql集群用来存储 在线关系型数据。 或系统类型(0TM、WMS、NC等)分类分区块存储数据。 二、建成IOT数据传入xxx大数据平台的专用通道，完成IOT历史数据迁移 群 据(最近一年视集群规模而定)存入hbase集群。 近一年视集群规模而定)存入hbase集群。 三、建成xxx业务运营数据传入xxx大数据平台的数据通道，业务运营数据可以按通道协议 传入大数据平台 1. 建成非IOT数据传入xxx大数据平台的格式化数据通道。 2. 提供工具，可以通过定期抓取的方式从xxx其它数据平台抓取数据，抓取到的数 据分类写入xxx大数据平台的hadoop集群的对应区块，此部分只建立标准，不实装 数据。 3. 其它非格式化的数据(比如图片、视频等)按通道协议转化格式后可以输入到 大数据平台的hadoop集群对应区块。 四、建成IOT数据ETL能力，提供算法工具供ETL开发升级 成了IOT数据仓库，数据仓库可以直接被使用进行BI开发。 2. 提供十个以上常用开源的数据挖掘算法，xxx运维人员可以使用这些算法进行二 次开发，进行数据挖掘类功能扩展升级。 3. 如果要搭建非IOT数据仓库，可以直接在平台中使用现有算法进行二次开发或引 入新的数据挖掘算法工具生成。 五、建成基础大数据监控能力 及时反馈平台状态。 2.项目实施前提 2.1 xxx系统环境假设 1.假设xxx IoT数据专用通道传输速率稳定在200M以上。 2.假设xxx业务及运营数据专用通道传输速率稳定在200M以上。 3.假设硬件能够在计划时间(2018-1-31)内到货上架并可用。 4.xxx硬件资源、网络资源等支撑服务正常运转。 xxx需要采购的硬件如下： 功能 部件 配置 2 x Intel Xen Silver 41102.1G(8C) CPU 内存 |64G Hadoop集群管理节点 硬盘 4*600G(SAS) (2台) 网卡 4*1GE+2*10GE(含FC模块) 电源 双电源 CPU 内存 128G Hadoop集群数据节点 硬盘 2*600G(SAS)+8*4T(SATA 7.2K) (3台) 网卡 4*1GE+2*10GE(含FC模块) 电源 双电源 2 x Intel Xen Silver 41102.1G(8C)