面向大数据的Deep Web数据系统关键技术研究.docVIP

面向大数据的Deep Web数据系统关键技术研究 　　摘要：由于数据产生成本的急速下降，人类社会产生的数据不仅以指数级别增长，而且数据的结构变得日趋复杂，使得传统的数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘，从中提取有价值的知识用于决策，已经成为产业界和学术界的广泛关注问题，在一些国家已上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题，总结了“Deep Web”课题的一些先期成果，为开发大数据管理、分析和挖掘系统提供一些参考依据。 　　关键词：大数据；Deep Web；系统；技术研究 　　中图分类号：TJ768.4文献标识码：A 文章编号： 　　 　　引言 　　在全球经济的很多领域，大数据在以很多方式创造价值。随着各个经济领域不断挖掘大数据的潜力，我们正处在一个巨大浪潮的尖峰，这个浪潮，就是大数据驱动的创新、生产效率提高、经济增长以及新的竞争形式和新的价值的产生。 　　1.大数据 　　指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 　　1.1大数据的特点，业界通常用4个“V” ―Volume，Variety，Value，Velocity。或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视