大数据基础支撑平台方案设计.docx

大数据基础支撑平台方案设计目 录第一章 现状与需求分析41.1 总体现状分析41.1.1 信息化现状41.1.2 关键问题分析101.2 业务需求理解121.2.1 开放的统计云数据平台121.2.2 数据采集与拓展121.2.3 创新应用开发131.3 基础平台建设需求14第二章 总体架构设计162.1 总体架构162.2 数据架构视图172.3 创新的业务模式17第三章 基础资源平台设计183.1 网络设计183.1.1 系统现状183.1.2 需求分析203.1.3 数据中心网络系统设计233.1.4 同城DWDM系统设计453.2 统计云大数据平台基础设施建设需求分析483.2.1 建设需求分析483.2.2 统计云大数据平台基础设施建设技术方案建议13.2.3 统计云大数据平台基础设施平台两地三中心建设方案建议0第四章 大数据支撑平台设计84.1 大数据支撑平台设计（IOP）84.2 设计思路84.2.1 轻量服务化架构84.2.2 弹性可扩展84.2.3 开放共享94.2.4 安全可靠94.2.5 自主可控94.3 设计内容94.3.1 数据存储114.3.2 计算能力184.3.3 高速服务框架214.3.4 垂直搜索引擎244.3.5 开放服务254.3.6 分布式应用服务器26现状与需求分析总体现状分析信息化现状统计信息化是中国统计走向现代化的核心，是提高统计数据质量的关键，是中国统计更加规范统一的重要支撑。统计信息化是统计建设的重要内容，是推动统计改革的内在动力。经过多年的信息化建设，国际统计局已经建成了比较完备的IT软硬件基础设施和专业应用系统，在统计业务的各个环节特别是数据的采集生产环节提供了较为有力的支撑。基础设施建设在基础设施建设方面，统计局通过骨干网扩容提速，实现国家局到31个省（市、区）统计局和新疆生产建设兵团统计局的一级主干网，采用了双设备、双线路的冗余架构，专线的网络带宽已提升到155M（数据）+2*2M（音视频），另外还有1*2链路用来对网络系统的带外管理，大部分异地办公的省级调查总队实现了同城百兆光线的链接。目前，统计局的互联网出口带宽已经提升至1G（联通、电信各500M）。局域网实现了核心万兆交换，桌面千兆接入，部分省及省以下统计信息网络系统进行了扩容改造的配套建设，提升了带宽，有的已将统计信息网延伸到了乡镇一级，全国县以上政府统计机构的3068家统计局、调查队分别以专线、VPN专线、政务网等方式接入国家统计信息主干网，并且各省都建设了独立的互联网出口。国家统计系统的信息交换、数据传输能力不断提升。（图7：国家统计信息网络拓扑结构）近年来，统计局利用虚拟化、资源池、云计算等新技术、新理念，对国家统计核心业务系统进行资源整合，构建了大规模联机业务处理和高并发事务处理能力的核心业务系统，进一步提升了统计数据处理系统的可靠性、安全性，为未来全国统计业务的统一在线处理提供云服务打下了基础。同时，利用农业普查、经济普查、人口普查等大型普查的中央投资以及各地配套资金，为乡镇、县市、省统计局也配备了大量的微机、激光打印机、服务器、小型机、存储、数据库、中间件等软硬件设备，进一步推动了统计信息化基础建设。以三里河西楼为主的机房面积大约3000平方米，包括传输机房、IDC机房、存储机房和UPS机房。目前大约有小型机近40台，PC服务器300余台，并建立了集中的网络设备监控管理系统。目前核心机房的设备大约分为三大部分：小型机系统：主要承载统计局核心业务系统的各个关键应用及Oracle数据库；虚拟化平台：包括300多台PC服务器、150TB磁盘阵列的虚拟化资源池，部署了160多个不同类型和部门的应用软件系统；PC服务器：采用物理机的方式部署了覆盖系统所有工作人员的电子邮件系统与OA系统。（图8：统计局机房设备分布）应用系统建设依托基础设施资源，统计局信息化应用开发取得了显著进展，特别是2012年1月份以来，统计局正式实施统计“四大工程（一库、一表、一台、一网）”，带来了统计数据生产方式的重要变革，在新的数据生产方式下，原有的分散设计改为统一设计，调查制度由原来的分散布置改为统一布置，原始数据由间接采集改为直接采集，实现了统计局直接掌握原始数据并加工和汇总，各级统计机构在线实时共享数据，大大提升了统计局信息化应用的整体水平。统计局开发的数据处理软件，已成功应用于农业普查、经济普查、“R&D”资源清查、人口普查等大型普查，以及畜牧业监测、城乡住户一体化、“一套表”等多项统计调查。采用3G/4G无线网络技术，已在全国500个城市开展了手持移动电子采价系统在统计数据采集工作中的应用。按照全国一库在线、分级管理维护的模式，建成了全国统一的基本单位名录库系统，并建立了与质监、工商、税务、编办、民政等部门的单位信息共享交