高效、快速、灵活的弹性大数据平台设计.pdfVIP

企业研究开发项目计划书

（自主开发类）

项目名称高效、快速、灵活的弹性大数据平台设L___________

企业名称_______XXXX_____________

企业人（签名）_______________________________

项目负责人电话

项目起止时间XXX年1月至XXX年1月

填报日期年月日

一、立项依据

1、国内外现状、水平和发展趋势

目前，伴随移动互联网、智能硬和物联网的快速普及，全球数

据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析

技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，

一个更加注重数据价值的新时代正悄然来临。发达国家一向重视大数

据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作

用，当前更是把大数据视为重要的战略资源，大力抢抓大数据技术与

产业发展先发优势，积极捍卫本国数据主权，力争在数字经济时代占

得先机。我们从各国发展大数据的新举措中或许可以窥探到大数据发

展的新趋势。

2、项目研发的目的、意义

大数据是继云计算、物联网之后IT产业又一次技术变革。“大数

据”是公司在日常运营中生成、累积的数据。这些数据的规模庞大。

因此，积极针对大数据布局，从战略层面应对大数据时代的挑战，推

进并建立起数据驱动型发展方式的金融机构将获得比同业更高的效

率，优化行政物控流程，结合企业内外部数据，在业务扩张的同时，

清楚掌握企业成本消耗，并最终实现精细化管理，并由此培育出自己

的信息核心竞争力。

3、本项目达到的技术水平及市场前景。

A高可用性

数据集市是分布式架构。数据存储是分布式的，数据的计算也是

分布式的，还带有备份机制和监控机制。当某一台数据集市的机器宕

机，另外一台数据集市会自动承担所有计算。该数据集市应用广泛，

有的信级客户的数据量已经达到了上百T,依旧运行稳定可靠。该分

布式数据集市支持对计算和存储节点进行热插拔扩展，可以从一个节

点扩展到几十个甚至上百个节点；

A高并发性

数据集市支持高并发。数据集市作为计算层，支持分布式计算，

采用MapReduce架构来提高计算效率。永洪科技的分布式数据集市，

是列式存储的，采用良好的内存计算技术，可基于多台存储和计算节

点并行工作，非常适合海量数据的实时数据分析。

A高扩展性

整个系统架构，无论是ETL层、数据集市层，还是BI层，都可以

加入或者减少服务器节点。这里的服务器节点，既可以是物理机也可

以是虚拟机。

A高性价比，低TCO

整个系统架构，摒弃了传统系统常见的向上升级(Scale-Up)的

思想，不管是数据集市还是BI前端，都支持横向升级(Scale-Out)o

随着企业的业务增桧，数据量和分析需求都会大幅增桧，基于X86PC

Server集群的平台架构十分关键。在这种架构下，我们不用采购昂贵

的小型机去支撑高并发，去支撑海量数据计算，去支撑数据分析业务

的发展，而是采购多台普通的PCServer搭建集群，建设高性价比的

分析平台。

在达到高技术水平的同时，本项目市场前景较好，可广泛用于军

工、制造、金融、能源等行业，市场前景非常广阔。我公司该项目不

断发展、不断完善，功能以及性能可满足多行业、高标准企业，能提

升企业信息化建设，具有重要的经济和社会效益。

二、研发内容和目标

1.1项目主要内容及目标

研制具有高适应性、高可扩展性、安全可靠的基于Kubernetes和

Docker容器的新型虚拟化技术统一资源调度操作系统，操作系统支持

包括FPGA、GPU等异构计算设备、非易失内存等存储设备虚拟化的统

一资源调度，为大规模并行分析、分布式内存计算和大数、深度学

习、HPC应用等负载提供超融合架构和调度能力，并提升应用迁移处理

能