面向大数据Deep Web数据系统关键技术研究.docVIP

面向大数据Deep Web数据系统关键技术研究 　　摘要：由于数据产生成本的急速下降，人类社会产生的数据不仅以指数级别增长，而且数据的结构变得日趋复杂，使得传统的数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘，从中提取有价值的知识用于决策，已经成为产业界和学术界的广泛关注问题，在一些国家已上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题，总结了“Deep Web”课题的一些先期成果，为开发大数据管理、分析和挖掘系统提供一些参考依据。 　　关键词：大数据；Deep Web；系统；技术研究 　　中图分类号：TJ768.4文献标识码：A 文章编号： 　　 　　引言 　　在全球经济的很多领域，大数据在以很多方式创造价值。随着各个经济领域不断挖掘大数据的潜力，我们正处在一个巨大浪潮的尖峰，这个浪潮，就是大数据驱动的创新、生产效率提高、经济增长以及新的竞争形式和新的价值的产生。 　　1.大数据 　　指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 　　1.1大数据的特点，业界通常用4个“V” ―Volume，Variety，Value，Velocity。或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。 　　 1.1.1数据体量巨大。从TB跃升到PB至EB级别。要知道目前的数据量有 　　多大，我们先来看看一组公式。1024GB=1TB;1024TB=1PB;1024PB=1EB;1024 EB=1ZB;1024ZB=YB。到目前为止，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。 　　1.1.2数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，越来越多的非结构化数据的产生给所有厂商都提出了挑战。拜互联网和通信技术近年来迅猛发展所赐，如今的数据类型早已不是单一的文本形式，除了网络日志、音频、视频、图片、地理位置信息等等多类型的数据对数据的处理能力提出了更高的要求。 　　1.1.3价值密度低。价值密度的高低与数据总量的大小成反比。以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。 　　1.1.4处理速度快。这是大数据区分于传统数据挖掘最显著的特征。根据IDC的一份名为“数字宇宙”的报告，预计到2020年全球数据使用量将会达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。 　　2.大数据的价值 　　2.1 现在有很多通过大数据分析受益的经典案例。美国的海啸预警系统一直为人们津津乐道，2011.3.11日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警。随即，NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型便出现在YouTube等网站。大数据分析在指导人们有效规避自然灾害面前发挥了很大的作用. 　　 2.2在商业领域，eBay则很好地起到了示范作用。eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析，每天处理的数据量高达100PB，通过准确分析用户的购物行为，达到了减少广告投入、稳定高端卖家、实现持续增长的目的。 　　 通过案例可知，大数据分析的价值非常大。企业用来分析的数据越全面，分析的结果就越接近于真实，因此，大数据具有很大的商业价值。 　　3.数据到大数据 　　 “大数据”与我们通常所说的“数据”有显著的不同。伴随着传统的商业智能系统向纵深应用的拓展，商业决策已经越来越依赖于数据。一般，企业的数据分3种类型：结构化数据、半结构化数据和非结构化数据。其中，85%的数据属于广泛存在于物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。企业用以分析的数据越全面，分析的结果就越接近于真实。 　　4.Web数据库集成的研究现状 　　Web数据库作为一种重要的Deep Web资源,其中包含了大量可供访问的数据信息。这些数据信息具有良好的结构化特征且指向特定领域的数据记录,因此能够为科学研究和系统应用提供更高质量的数据服务。以下是“Deep Web”课题的