大数据时代的统计学.docVIP

　　大数据时代的统计学 　　摘要：本文主要围绕“大数据”展开话题，结合“统计学”专业，论述了什么是大数据，什么是统计学，在对概念的了解基础上掌握大数据的发展历程以及统计学的发展历程。从中找出大数据与统计学的联系，然后进一步了解在大数据时代下统计学所处的地位以及大数据时代下统计学的变化和发展。在前人的研究基础上，我们进一步的发现问题并探讨问题，运用统计学方法去解决大数据时代下的一些问题，并提出自己的看法。 　　关键词：大数据；统计学；数据挖掘；数据分析引言 　　本文写作的目的在于阐述大数据的定义、历史发展及趋势、运用领域等有关大数据的问题，以及阐述统计学的定义、发展趋势、运用领域等有关统计方面的问题。在此基础上探析大数据时代下的统计学发生的变化，带来的影响，以及所导致的统计学的发展趋势。 　　有关大数据的文献很多，涉及的领域也相当广泛，如互联网、天文学、大气科学、基因组学、大规模电子商务等等，都离不开计算机作为载体，它们都成为了大数据的来源。本文写作主要基于运用统计学知识去处理大数据所涉及问题，而运用统计方法分析问题所涉及的范围也相当广泛。对于大数据的到来，对于统计学来说是福音，因为它为大数据时代处理大数据问题带来了有效的解决方法。 　　本文所引用文献主要来自于2011年到2015年的国内外有关大数据的期刊文献，从不同角度描述了大数据对当今时代的影响，尤其是对本文的另一位主角--统计学的影响。而对于一个统计学专业出身的人，对于大数据时代下统计学的发展有喜有忧，大数据时代的到来在一定程度上促进了统计学的发展，同样的也带来了巨大的挑战。这些都需要我们一步步的解决并完善。 　　正文 　　1大数据的来源与发展历程 　　“大数据”这个术语最早期的引用可追溯到apacheorg的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFileSystem（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度 　　[1-5]。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。就这样，“大数据”在不知不觉中进入了我们的生活，无论哪里都有着它的影子，这说明“大数据时代”已经到来。 　　我们可以这样来定义“大数据时代”，大数据时代是建立在通过互联网、物联网等现代网络渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和展示的信息时代。 　　在这个时代，人们几乎能够从任何数据中获得可转换为推动人们生活方式变化的有价值的知识 　　[22]。“大数据时代”的到来引起了业界和学界的广泛关注，大量研究成果不断涌现。那么什么是大数据呢？大数据（bigdata），或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是一种大规模数据的管理和利用的商业模式和技术平台的泛指，它与传统的海量数据不同的是，它除了数据规模呈现几何级数增长的特征之外，还包括所有数据类型的采集、分类、处理、分析和展现等多个方面，从而最终实现从大数据挖掘潜在巨大价值的目的 　　[18]。到目前为止对于大数据还没有统一的定义。 　　对于大数据，其特点 　　[18]在于：（1）数据体量大。普遍认为PB级的数据为大数据的起点。 　　（2）数据类型繁多。既可以是传统的有因果关系的结构化数据如关系数据库数据，但更多的是诸如网络日志、视频、图片、地理位置信息等等的半结构化和非结构化数据。（3）价值密度低。大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而产生价值。以视频为例，连续不间断监控过程中，可能有用的数据仅有一两秒。（4）处理速度快。大数据时代更强调实时分析，而不是批量分析，奉行1秒定律。即一般要在秒级时间范围内给出分析结果，时间太长就失去价值。 　　基于统计学的角度，我们应该如何理解“大数据”呢？李金昌认为，大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据 　　[20]。 　　2统计学的发展历程 　　由于人类的统计实践是随着计数活动而产生的，因此，统计发展史可