信息与统计学院2013届毕业论文(设计)备选题目(第一次).docx

毕业设计（论文）

PAGE

1-

毕业设计（论文）报告

题目：

信息与统计学院2013届毕业论文(设计)备选题目(第一次)

学号：

姓名：

学院：

专业：

指导教师：

起止日期：

信息与统计学院2013届毕业论文(设计)备选题目(第一次)

摘要：随着信息技术的飞速发展，大数据时代已经到来。信息与统计学院2013届毕业生在毕业论文（设计）中，对大数据背景下信息处理与分析技术进行了深入研究。本文以我国某大型互联网公司为研究对象，探讨了大数据环境下信息处理与分析技术的应用，包括数据采集、数据存储、数据处理、数据挖掘、数据可视化等方面。通过对实际案例的分析，总结了大数据技术在信息处理与分析中的应用优势，为我国大数据产业的发展提供了有益的参考。

近年来，随着互联网、物联网、云计算等技术的快速发展，大数据时代已经到来。大数据作为一种新型资源，具有数据量大、类型多样、价值密度低等特点，对信息处理与分析技术提出了新的挑战。信息与统计学院作为培养信息与统计专业人才的重要基地，肩负着培养适应大数据时代需求的高素质专业人才的重任。本文旨在探讨大数据背景下信息处理与分析技术的应用，为我国大数据产业的发展提供理论支持和实践指导。

一、大数据概述

1.大数据的定义与特征

(1)大数据，顾名思义，是指规模巨大、类型繁多的数据集合。在互联网、物联网、云计算等技术的推动下，大数据已经成为现代信息技术发展的重要标志。根据国际数据公司（IDC）的预测，到2020年，全球产生的数据量将达到40ZB，相当于每人产生约44.7GB的数据。以我国为例，根据中国信息通信研究院发布的《中国大数据发展报告（2020年）》，我国大数据产业规模已超过1.5万亿元，预计到2025年将达到5万亿元。大数据的特点主要体现在以下几个方面：首先是数据量巨大，其次是数据类型多样化，包括结构化数据、半结构化数据和非结构化数据，最后是数据价值密度低，即从大量数据中提取有价值信息需要较高的成本。

(2)在数据量方面，大数据的一个显著特征是数据规模庞大。例如，谷歌每天处理超过20PB的数据，而淘宝网每天产生的交易数据高达数百万条。这种海量数据为信息处理与分析带来了巨大的挑战。为了处理这些海量数据，研究者们提出了分布式计算、云存储等技术。以Hadoop为例，它是一个开源的分布式计算框架，能够处理PB级别的数据。此外，大数据的另一个重要特征是数据类型的多样性。传统的数据分析主要针对结构化数据，而大数据时代的数据类型更加丰富，包括文本、图片、音频、视频等多种类型。这种多样性使得数据分析和挖掘技术需要不断发展和创新。

(3)数据价值密度低是大数据的另一个显著特征。在传统数据库中，数据往往是经过清洗和过滤的，因此价值密度较高。而在大数据时代，由于数据来源广泛、类型多样，数据中包含的噪声和冗余信息较多，提取有价值信息需要付出更高的成本。以社交媒体数据为例，虽然其中包含大量的用户行为数据，但其中大部分是无用的。为了解决这个问题，研究者们提出了多种数据挖掘和机器学习算法，以提高数据的价值密度。例如，聚类分析、关联规则挖掘等技术可以帮助从海量数据中找到有价值的信息。同时，大数据可视化技术的应用也为数据分析和挖掘提供了新的手段，使得人们可以更加直观地理解数据背后的规律和趋势。

2.大数据的发展历程

(1)大数据的发展历程可以追溯到20世纪50年代，随着计算机技术的兴起，人们开始关注数据管理和处理的问题。在那个时期，数据库技术的诞生标志着数据管理的开始。随后，随着互联网的普及，数据量开始迅速增长，人们开始意识到大数据的重要性。20世纪90年代，数据仓库技术的出现使得企业能够存储和分析大量数据，这一阶段被看作是大数据发展的一个重要转折点。到了21世纪初，随着电子商务、社交网络和物联网的兴起，数据量呈爆炸式增长，大数据的概念逐渐被提出并开始受到广泛关注。

(2)2008年，全球金融危机的爆发加速了大数据技术的发展。金融机构开始利用大数据技术来预测市场走势和风险管理。同年，谷歌发布了大数据处理框架MapReduce，这标志着大数据处理技术的成熟。此后，大数据技术在各个领域得到广泛应用，如互联网、金融、医疗、教育等。2010年，数据科学成为一个独立的学科领域，数据科学家开始致力于研究和开发大数据处理与分析技术。同时，大数据产业开始形成，众多创业公司和传统企业纷纷投入到大数据技术的研发和商业应用中。

(3)进入21世纪第二个十年，大数据技术进一步发展，云计算、物联网和移动计算的融合使得数据来源更加多样化。2012年，大数据被正式写入美国国防部战略报告，成为国家安全战略的重要组成部分。同年，联合国教科文组织发布《大数据宣言》，强调了大数据对社会经济发展的重要作用。我