XHESDB大数据智能化管理平台技术方案.docxVIP

XHESDB大数据智能化管理平台技术方案 一.大数据云计算平台 平台体系架构 2.云计算平台业务示意 3.云计算平台技术核心示意 二.大数据存储系统 1.大数据挖掘 使用大数据挖掘技术神经网络，决策树方法，粗集方法对各个业务平台基础业务数据进行挖掘，使用海量数据存储技术对用户操作数据建立主题挖掘与存储 2.大数据存储 使用HDFS搭建高可用存储架构，存储视频，文件等块性数据，使用HBASE数据库集群存储业务和主题操作型数据，以备只能分析系统做云决策分析 1.用户操作数据存储系统 收集社区平台，政务平台，新媒体平台用户操作数据并做数据兼容性集成存储到云存储系统 2.用户推荐 经过云算法将商品，文章，广告信息推荐到用户端，包括PC网站，手机APP，微信端等 3.客户数据存储与分析 收集社区平台，政务平台，O2O电商平台用户操作与交易数据并做数据兼容性集成存储到云存储系统，通过优质客户分析算法映射出优质用户数据 4.运营平台商机管理 展示通过分析得到的优质客户资源，对优质客户资源进行多维度动态查看，包括客户分类（广告客户，商家客户等，产品使用用户），按客户优质度等查看客户明细，对客户跟踪商务情况 3.商家系统商机管理 展示通过分析行业客户数据得到的对应优质客户资源，对优质客户资源进行多维度动态查看，生成多维度动态统计分析报表（HADOOP-DTL）展示分析结果，供商家决策使用三.辅助决策BI平台 1.数据集成 数据是决策分析的基础。很多情况下，决策需要的数据零散分布在几个业务系统中，为了做出正确的经营决策，就需要把这些零散的数据收集起来，形成一个系统的整体。因此从多个异构数据源，包括内部的业务系统和外部的数据源提取源数据，再经过一定的变换后装载到数据仓库，实现数据的集成是必要的。 2.信息呈现 信息呈现把收集的数据以报表的形式呈现出来，让用户了解到企业、市场现状。这是商务智能的初步功能。例如BusinessObjects（SAP）的水晶报表（crystalreports）允许从各种数据源收集数据，使报表分析人员可以随心所欲、快速便捷地设计报表。在信息呈现的方式上，除了报表、图等形式以外，还可以用其他直观的方式。此外，利用在线分析处理（OLAP），也可以从多个维度观察数据。 3.运营分析 运营分析包括运营指标分析、运营业绩分析和财务分析等。运营指标分析是指对企业不同的业务流程和业务环节的指标进行分析，运营业绩分析是指对各部门的营业额、销售量等进行统计，在此基础上进行同期比较分析、应收分析、盈亏分析和各种商品的风险分析等。财务分析是指对利润、费用支出、资金占用以及其他经济指标进行分析，及时掌握企业在资金使用方面的实际情况，调整和降低企业成本。运营分析包括多方面的内容 4.战略决策支持 战略决策支持是指根据公司各战略业务单元（SBU）的经营业绩和定位，选择一种合理的投资组合战略。由于商务智能系统集成了外部数据，例如外部环境和行业信息，各战略业务单元可据此制定自身的竞争战略。此外，企业还可以利用业务运营的数据，提供营销、生产、财务和人力资源等决策支持四.大数据与云计算管理平台 硬件管理与集成 根据实际数据存储数据数量增加通过管理平台动态增加实体硬件（服务器，网络）的接入和集成，使云平台自动完成新接入硬件的自动化部署与初始化硬件监控，通过实时报表和动态统计图显示各硬件与基础设施运行状况，对于运行故障分等级自动通知管理员（邮件，短信） 分布式存储管理Hadoop Distributed File System HDFS权限管理，通过管理平台设置HDFS name-node与存储块儿区的用户访问权限通过管理平台设置HDFS存储空间，格式化存储空间 分布式计算管理 分布式计算服务器分配，通过管理平台分配云计算服务器资源云计算计划任务，通过管理平台界面设置云计算分析任务，任务设定后根据是设定时间按计划执行云计算与分析等任务云计算算法设计器，开发专属云计算算法设计器，通过业务逻辑描述和信息分析描述生成云计算算法，自动运行产生数据映射mapping Hive用户接口 已经WEB2.0标准，对外提供标准大数据开发接口对业务内部童工SQL操作接口 五.总体架构 2.1设计原则 整个系统框架设计遵循如下原则：（1）易维护性；本系统架构采用灵活架构，代码复用的可维护性设计方法，尽量减少各模块相互之间的依赖项，采用成熟的工业应用级的产品和框架，采用代码审查机制等手段来进行系统框架易维护性的开发设计。传统软件工程用可理解性、可测试性和可修改性来衡量软件的可维护性,CASE软件工程则以考察可重用性来衡量可维护性。可维护性最直接的体现是良好的软件结构和完整正确的文档体系。维护应在文档级以上展开,应从软件结构出发,即以重构为核心。可重用性是可维护性的基