人大金仓大数据平台解决方案32.pptxVIP

人大金仓大数据管理平台34512目录建设背景及目标平台规划及架构平台建设内容建设策略与方法成功案列大数据发展意义 工信部在《基于云计算的电子政务公共平台顶层设计指南》中明确提出，要求“各地充分发挥既有资源作用和新一代信息技术潜能，积极开展基于云计算的电子政务公共平台顶层设计，继续深化电子政务应用，全面提升电子政务服务能力和水平，进一步提高电子政务发展质量”。数据采集发现新知识大数据：1、容量大2、类型多3、存取速度快4、应用价值高创造新价值数据存储提升新能力关联分析（一）大数据成为推动经济转型发展的新动力。（二）大数据成为重塑国家竞争优势的新机遇。（三）大数据成为提升政府治理能力的新途径。新一代信息技术和服务业态1243大数据平台的建设目标建设目的建设内容资源整合、信息共享、业务协同数据集中与整合形成国家政府数据统一开放平台数据存储与处理大数据平台提高服务能力与水平数据交换与共享促进创新服务优化管理提升决策和风险防范水平数据管控与治理提高社会治理的精准性和有效性34512目录建设背景及目标平台规划及架构平台建设内容建设策略与方法成功案列信息源统一规划与运营数据资产管理规划数据中心整体架构实施路线图规划BIU建设大数据管理平台规划数据分析数据共享数据交换数据分发数据管理数据安全数据资源数据标准元数据数据质量系统运维数据服务数据存储应用功能数据采集门户结构化数据仓库结构化及非结构化数据非实时采集管理驾驶舱分析数据集市分析决策人员查询/检索统计分析非结构化数据分布式存储集群开发人员流数据实时采集预警告警数据挖掘大数据分析运维人员系统运维安全与审计体制与机制规范与流程调度与监控配置与变更灾备与恢复基础设施通信网络主机存储操作系统数据库虚拟化数据质量数据安全元数据数据标准大数据管理平台架构 Smartbi dataIn Smartbi Mobile数据应用数据治理数据采集信息共享数据交换ETL云平台数据分析KingbaseSmartBI数据分析多维分析数据挖掘决策仪表盘自助分析灵活报表地图分析业务数据KingbaseDBCloudOracle标准应用接口JDBC、ODBC等数据计算DB2MPP并行SQL水平分区垂直分区R语言高级分析内置数据挖掘算法MangoDB……关系表外部表数据存储非结构化数据HDFS结构化数据34512目录背景及目标平台规划及架构平台建设内容建设策略与方法成功案列大数据平台建设内容ETL架构与工具数据库软件平台金仓ETL流程结构图金仓ETL — 全面的数据访问与平台支撑SQL ServerSybaseHadoopOracleInformixMySQLKingbaseESDB2支持符合ODBC/JDBC接口规范的46种数据库系统KingbaseDI支持主流的国内外操作系统Windows 系列/Linux系列大数据平台建设内容数据库软件平台数据架构设计数据模型设计KingbaseDBCloud — 系统架构KingbaseDBCloud是顺应大数据和云计算时代PB级海量数据处理而推出的高性 能、高可用、高扩展和支持全局事务的并 行分布式云数据库系统。支持 OLTP 和 OLAP两种典型应用场景，使党政军及企业 级应用在处理业务的同时具有大数据分析 能力,可以有效构建100TB-PB级海量云数据中心。采用Share-Nothing架构，包括负载均衡节点、协调节点、存储执行节点 和全局事务管理节点四大组件，每个组件均可以根据实际情况按需添加。在KingbaseDBCloud架构基础上，增加对HDFS文件存储的支持，实现SQL和NoSQL统一访问接口，同时支持SQL和NoSQL查询处理KingbaseDBCloud-系统功能KingbaseDBCloud数据共享（标准应用接口JDBC、ODBC等）数据处理MPP并行SQL水平分区垂直分区R语言高级分析内置数据挖掘算法关系表外部表数据存储结构化数据非结构化数据HDFS大数据平台建设内容统一应用平台应用架构设计典型应用（管理驾驶仓、报表系统等）KingbaseSmartBI — 应用功能体系 Smartbi dataIn Smartbi Mobile数据仓库Nosql数据库关系数据库多维数据库监控视频所有访问终端 Smartbi Office Addin（开发）Smartbi 信息交付门户（在线报表、报告、仪表盘）Smartbi 数据补录3rd SDK3rd ToolSmartbi BI处理引擎 SmartbixQuery决策仪表盘多维分析灵活报表地图分析任务调度所有数据源统一语义模型++++Smartbi绝不是个报表设计器，而是个集成、扩展的平台表现形式丰富：内置全国地图（到区县级）、表格、油量图、泡泡图、雷达图、地图、柱图、饼图、曲线图等丰富的数据展示形式动态画图效果，生动