基于大数据综合数据处理平台方案设计探究.docVIP

基于大数据综合数据处理平台方案设计探究 　　摘要：在大数据的发展时代背景下，我国的各行各业都在致力于将人、物、机等三元世界在网络空间中进行交互、融合，以获得互联网上的大数据资源。在大数据资源的潮流趋势之下，文章主要围绕大数据的研究现状、作用意义展开，在此基础上探索综合数据处理平台，并对其平台方案的设计进行研究，以促进我国信息化社会的建设 关键词：大数据；综合数据处理；平台方案设计；研究 中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2017）01-0069-02 随着互联网、物联网以及云计算等IT技术的进一步发展，我国社会的各行各业都迎来了新的发展机遇和挑战。在大数据的时代背景下，探索综合数据处理平台的方案设计研究，不仅能够改变我国的经济发展增长方式，而且还能够让各行各业的发展跟上时代潮流的发展步伐，提升我国产业经济的国际竞争力，促进我国综合国力的进一步提升 1 大数据的概念及其作用、意义解析 大数据是一个高度抽象、凝练的概括词，各行各业的专家、学者大多都是根据自己的理解来对大数据进行定义，因此，迄今为止，人们对大数据都没有统一、标准的定义，大数据的概念还处于仁者见仁、智者见智的状态 大数据指的是所涉及的资料规模很大，无法通过目前的主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营者进行决策的资讯，这是维基百科对大数据的定义。可以看出在这概念中，维基百科对大数据的解释主要侧重点是强调大数据资源的规模量大的特点，并说明了大数据的功能作用是撷取、管理、处理以及整理相关的信息资源以供企业使用。从维基百科对大数据的定义来看，大数据所服务的对象主要是企业经营者，但就笔者看来，这一定义无可避免地带有了维基百科本身的局限性。大数据并不仅仅是为企业经营者服务的，任何行业包括我国的基层政府、公、检、法等部门都完全可以使用大数据资源来建立综合数据处理平台，以此对相关的决策、政策进行分析，为促进我国社会的全面发展贡献力量 在大数据的飞速发展过程中，其展现了自身的独特作用和功能，对大数据进行精细化的研究，不仅有助于捍卫我国的网络空间的数字主权，维护我国的社会稳定，推动社会与经济的可持续化发展。而且大数据在发展的过程中还能够极大的推动国民经济核心的产业信息化升级，突破当前科学、技术的限制，带动诞生出数据服务、数据材料、数据制药等战略性新兴产业。纵使大数据具备了众多的功能和作用，极大地促进了我国经济社会的发展，但大数据给我国经济社会的发展所带来的挑战也是不容忽视的。大数据由于其数据类型、数据结构以及数据内在模式都极其的复杂；数据本身、数据模型以及数据学习的不确定性；数据模式、数据行为以及智慧的涌现性等现状使得人们在对大数据的使用中存在着诸多的挑战。基于大数据的这些功能作用以及面临的挑战特点，对大数据的综合数据处理平台方案进行设计研究具有重要的现实作用 2 基于大数据的综合数据处理平台的方案设计研究 在大数据的时代背景下，建立综合数据处理平台的首要任务是要明确平台建设的目标。通过运用管理学学科的相关知识对这些目标进行层次的划分，将目标进行细化处理，使其成为一个个可供实践操作的小目标。其次是根据这些目标的需要，结合相关的互联网、物联网技术以及数学分析、建模思想等，构建综合数据处理平台的总体架构，初步搭建综合数据处理平台。最后是对综合数据处理平台的内涵及外延进行填充处理，如对综合数据处理平台进行技术架构、网架架构以及安全架构等等，并采取相关的措施对其进行管理维修，以方便使用 2.1 基于大数据的综合数据处理平台设计的目标分析 由于大数据本身所具备的特殊性，构建基于大数据的综合数据处理平台，首先需要的是明确构建这一平台的目标。在笔者看来，构建基于大数据的综合数据处理平台的目标主要有以下几方面：一是提供各种类型的数据信息，在大数据概念、内涵中都已经明确了其功能作用，大数据主要是为社会各行各业的发展需要提供多元化、便捷化、高速化的服务。构建基于大数据的综合数据处理平台的目标之一就是收集、分析、整理各种类型的数据资源，并将其分门别类地置于综合数据处理平台上，为广大用户群体提供充足的数据资料，方便其决策使用。二是创建新型的共享数据库，实现综合数据处理平台上数据的共建共享。在当前的社会发展中，各大数据库使用的仍然是点对点的数据共享，这一复杂的网状结构既使得同样的信息和功能重复出现，又使得数据库系统中存在大量的信息和功能冗余，这极大地阻碍了数据库功能作用的发挥。而建立的新型综合数据处理平台，采用的是开放式架构体系，其能够有效地实现各系统之间的耦合，这既能够简化数据库中的网状结构，节省数据库的空间，又能够实时完成新型数据库中数据资源的共建、共享，?_到提供信息资源和进行数据