大数据系统项目立项报告及方案书.docVIP

**集团大数据系统 Splunk项目立项书及建设方案 12/18/2013 北京宇信智臻信息技术有限公司 项目建设目标 辅助**集团实现企业数据战略规划目标 大数据产业已经成为全球高科技产业竞争的前沿领域，以美、日、欧为代表的全球发达国家已经展开了以大数据为核心的新一轮信息战略。IT产业竞争从此前的企业间竞争转变为技术系统、产业体系的竞争，下一步浪潮应该加快整合产业链上下游资源，增强技术生态系统的竞争力,进一步推进行业化应用。如何布局大数据1.实现数据化:制定策略,要保存什么数据,如何保存等;2.建设自己的大数据管理与应用平台;3.自己培养大数据理念或是小数据挖掘的团队;4.做好外部数据储备;5.要有数据侦测能力;6.开放共享的态度,通过与其他企业合作共享形成数据化;7.做好数据方面的战略投资Splunk 是机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据 。生命周期可以划分为 “数据产生 — 数据采集 — 数据传输 — 数据存储 — 数据处理 — 数据分析 —— 数据发布、 展示和应用 —— 产生新数据” 等阶段。S由所有 IT 系统生成，大量不同类型的格式 巨量业务的长足进步，驱动了我们的技术发生了变革。数据导入、模型建立、正则表达式的生成、数据分析报表、控制面板、实时搜索、支持PB级以上的数据是大数据系统的必须的。S站在新的起点和经济结构转型升级的浪潮中，继续秉持，以极大的热忱致力于创新和实现富有活力的增长模式，? IT智能运维、人员通常得要协助: ? 捞数据库 (SQL SELECT) ? 查询ERP、CRM、Log files ? 写程序、客制化 ? 作报表 (Excel? Crystal Report? WebTrends?…etc) ? 开启多个窗口/面板 登入多种系统、服务器、设备 分析多种的记录文件或数据 使用多种诊断工具 写程序来捞数据或处理数据 用Excel或其它报表工具产生报表 二、web分析 1）web分析：公司主要网站的web流量分析，替代awstats（这个产品不能按小时，分钟查询，不能定制），扩展分析（如问题定位，非法访问控制）； 2）业务分析：业务数据分析主要是 推广分析—web注册分析—客户登陆进件分析-信息批审分析—放贷-贷后分析； 3）集成分析或者更多大数据应用（风险控制、保险分析、以后的项目建设重点）； 三、业务分析 （2）数据分析水平有待提高：具有按照现有数据分析和引入外部数据管理工具还没有建立起来，有很好的数据分析人员，但是仍有大幅提升的空间； （3）在软件应用方面，公司只能在开源的应用软件，excel，电子文档表格等应用。但不能实现共享，数据重复录入比较频繁，并且数据统一性差。数据的规范性和追溯性不强；缺少数据集中的管理平台； （4）没有可以支持大规模处理的数据的硬件平台和数据存储机制，数据利用不够； 借助splunk平台，即可以培养人才、也可以构架企业级的大数据建设理念和软件平台，解决实际问题，开启大数据之旅； 项目建设的范围、功能模块以及工程时间 本次项目的实施范围包括宜人贷web分析部门，宜人贷业务分析部门，共同参与打造的大数据分析系统。推动管理数据化战略，在两项业务应用的基础上，进行数据挖掘分析（细化数据绩效管理）和电子商务平台应用； 功能点 功能子需求 项目建设人员配置、软硬件配置要求 企业信息中心人员配置要求： 角色 来源 职能 业务工程师 内部现有人员 需求规划 数据工程师 内部现有人员 软件实施、培训、硬件网络构架 项目管理 乙方人员 培训、推广 在项目立项后，成立项目选型小组，由公司网络部门黄总，亲自担任组长，副总经理担任执行组长，各职能部分负责人协同完成； 项目预算 1）软件 splunk 具体见报价 2）硬件（主要为机房硬件投入、可以复用） 3) 长远投入 项目内容 金 额（万） 制度建立、人员培训、实施推进专项奖金 分公司局域网建设，硬件购买，培训等 项目部网络及电脑购置、培训等 合 计 项目管理 实施计划 服务商ABC、代理商ABC、代理商ABC、代理商网络拓扑调研、代理商ABC 实施方案 编写《Splunk系统实施方案》 代理商ABC、Splunk 实施方案审核 审核《Splunk系统实施方案》 ABC 到货验收 组织相关人员进行验收，提交《设备到货验收报告》 ABC、代理商代理商ABC相关人员协助 系统联调　 对系统与现有系统的联合调试 代理商ABC相关人员协助 子项联调 子系统联调，Splunk系统初始化配置，使监控、管理等所有功能正常运行 代理商ABC相关人员协助 现场培训　 对所安装项目