大数据的概念及相关技术.pdfVIP

一.大数据的概念 大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过 目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业 经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写 的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用 所有数据的方法[2]）大数据的4V特点：Volume（大量）、Velocity（高速）、Variety （多样）、Value （价值）。 “大数据”作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、 数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追 捧的利润焦点。 二.大数据的相关技术 1．大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联 网数据等方式获得的各种类型的结构化、半结构化 （或称之为弱结构化）及非结 构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠 数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换 与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。 大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信 体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半 结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转 换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、 适配、传输、接入等技术。 2．大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。 1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我 将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目 的。 2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容， 而另一些数据则是完全错误的干扰项， 因此要对数据通过过滤“去噪”从而提取出有效数据。 3．大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库， 并进行管理和调用。重点解决复杂结构化，半结构化和非结构化大数据管理与处 理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个 关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、 大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管 理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术； 突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化 技术。 开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据 库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据 库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统 关系数据库系统以及NewSQL数据 库。 开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据 审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性 验证等技术。 4．大数据分析及挖掘技术 大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异 群组挖掘、图挖掘等新型数据挖掘技术； 突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、 网络行为分析、情感语义分析等面向领域的大数据挖掘技术。 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中， 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测 模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模 型发现、异常和趋 势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、 时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网 Web；根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数 据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于 范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、 判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动 态聚类等)、探索性分析(主元分析法、相关分析法等)等。神 经网络方法中，可细分为:前向神经网络(BP 算法等)、自组织神经网络(自组织 特征映射、竞争学