大数据关键技术总结.pdfVIP

大数据关键技术 大数据技术，就是从各种类型的数据中快速获得有价值信息的技 术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、 存储、处理和呈现的有力武器。 大数据处理关键技术一般包括：大数据采集、大数据预处理、大 数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检 索、大数据可视化、大数据应用、大数据安全等） 。 一、大数据采集技术 数据是指通过 RFID 射频数据、 传感器数据、 社交网络交互数据及 移动互联网数据等方式获得的各种类型的结构化、 半结构化 （或称之 为弱结构化）及非结构化的海量数据， 是大数据知识服务模型的根本。 重点要突破分布式高速高可靠数据爬取或采集、高速数据全映 像等大数据收集技术；突破高速数据解析、转换与装载等大数 据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体 系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入 系统，实现对结构化、 半结构化、非结构化的海量数据的智能化识别、 定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必 须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技 术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、 半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。 重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决 策操作的可视化接口技术， 大数据的网络传输与压缩技术， 大数据隐 私保护技术等。 二、大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。 1）抽取： 因获取的数据可能具有多种结构和类型， 数据抽取过程可以帮助我们 将这些复杂的数据转化为单一的或者便于处理的构型， 以达到快速分 析处理的目的。 2）清洗：对于大数据，并不全是有价值的，有些数 据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项， 因此要对数据通过过滤“去噪”从而提取出有效数据。 三、大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相 应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和 非结构化大数据管理与处理技术。 主要解决大数据的可存储、 可表示、 可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文 件系统（ DFS）、能效优化的存储、计算融入存储、大数据的去 冗余及高效低成本的大数据存储技术； 突破分布式非关系型大数 据管理与处理技术，异构数据的数据融合技术，数据组织技术， 研究大数据建模技术； 突破大数据索引技术； 突破大数据移动、 备份、复制等技术；开发大数据可视化技术。 开发新型数据库技术， 数据库分为关系型数据库、 非关系型数据 库以及数据库缓存系统。 其中，非关系型数据库主要指的是 NoSQL数 据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库 等类型。关系型数据库包含了传统关系数据库系统以及 NewSQL数据 库。 开发大数据安全技术。改进数据销毁、透明加解密、分布 式访问控制、数据审计等技术；突破隐私保护和推理控制、数 据真伪识别和取证、数据持有完整性验证等技术。 四、大数据分析及挖掘技术 大数据分析技术。改进已有数据挖掘和机器学习技术；开 发数据网络挖掘、 特异群组挖掘、 图挖掘等新型数据挖掘技术； 突破基于对象的数据连接、相似性连接等大数据融合技术；突 破用户兴趣分析、网络行为分析、情感语义分析等面向领域的 大数据挖掘技术。 数据挖掘就是从大量的、不完全的、有噪声的、