大数据处理平台对电磁频谱监测领域的软件架构的影响.pdf

电信技术研究 总第 397期 RESEARCH ON TELECOMMUNICATION TECHNOLOGY 2017年第 1期 大数据处理平台 对电磁频谱监测领域的软件架构的影响 姚 俐 黄 娟 摘 要 ： 目前，在 电磁频谱监测领域里的大型系统软件适合于各节点功能固定、节 点之间共享少量数据的场景。然而，为了应对 电磁频谱监测领域所呈现出的 “4V”特征， 如何对大型系统的软件架构进行改进?本文首先介绍 了大数据处理平 台：然后讨论 了它 在 电磁频谱监测领域 的潜在应用 ；最后在剖析某工程 当前软件架构 的基础上，提 出了结 合大数据 处理平 台调整软件架构的思路 。 关键词 ：大数据 ；电磁频谱监测：数据处理：软件架构 l 引 言 2 大数据处理平台介绍 随着新数据类型不断出现，新组网装置大 2．1什么是大数据 量接入 ，海量数据 的出现催生了 “大数据 ”这 大数据是一种数据或流量的规模大到其获 一 专业术语，“大数据 ”已经成为当今信息技术 取、存储、管理、分析的能力要求大大超 出了 领域最热 门的话题 。从海量数据 中获得某些价 传统数据库软件工具、系统硬件、存储管理等 值在 以前是不可想象的难题 ，因为这些海量数 能力范围的数据集，其核心理念就是用 比以往 据或者无法完整记录，或者根本无法处理 。 目 快得多、强得多、综合得多的方式来处理与管 前，大数据 的研究在全球范围内开展并取得 了 理来 自于多个数字化传感器(如图像传感器、电 重大效益，在大数据模式下，对通用化硬件、 磁传感器、机械传感器等1的各类数据和信息， 规模化云计算和开源软件进行组合使用就能够 并从这些海量数据中提取数据 内在价值 ，。大 解决上述难题 。在信息技术快速发展的今天， 数据 的定义突出地描述 了大大超 出常规数据库 应用大数据 的概念来构建下一代 电磁频谱监测 系统处理与管理能力的数据 ，因此我们今天所 的系统架构，借鉴大数据 的技术来解决 电磁频 产生的数据并非全部都是大数据 。大数据应该 谱监测 目前所面临的问题 ，是该领域新的发展 具有 “4V”特征： 方向[1,21。本文将在简单介绍大数据处理平台的 ● Volume一一容量 巨大，数据量是 TB、 基础上，具体地讨论在 电磁频谱监测领域里大 PB甚至更高级别，所需收集、存储 、 数据处理平台的潜在应用，针对某工程现有的 分发的数据规模远超传统数据管理 软件架构提出分析演进的思路，并给出未来架 技术的能力； 构的一个示例。