大数据时代统计学专业教学改革初步探索.docVIP

大数据时代统计学专业教学改革初步探索 　　 摘要：大数据涵盖多学科领域的、海量的、各种复杂结构的数据。各学科之间数据互相融合和贯通，学科之间的边界已经重叠和模糊。大数据涉及各种数据类型，包括文本和语言、视频和图像、时空数据、网络和图形等。对于传统的统计学专业来说，大数据时代带来的不仅是机遇还有挑战。本文初步探索了以下几个方面：《数据挖掘》中引入大数据分析方法;《非参数统计》中引入多元非参数方法、半参数回归;《回归分析》中引入随机森林回归等用来处理大数据的回归方法、高维回归变量选择方法（其中以LASSO回归为典型代表）;《多元统计》中引入高维统计方法;以上引入的大数据分析方法均用R语言来实现。 　　关键词：大数据;统计学;数据挖掘;非参数统计;回归分析;多元统计 　　中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2015）35-0105-02 　　 从狭义上来讲，大数据的构成包括两方面，一方面是大样本，在统计学上要达到需要的精度就必须采取抽样的办法降低样本数量;另一方面是高维度变量，对于这一问题则需要采取压缩、分解以及降维等方法。 　　一、大数据及其意义 　　大部分传统的统计方法只适合分析单个计算机存储的数据。而目前大数据的环境包括以下要素。 　　1.流数据：数据快速地不断涌来，现有存储设备和计算能力难以应付这种数据流（比如欧洲高能粒子对撞机所产生的数据，每秒钟可以达到500TB）。 　　2.磁盘存储限制：数据已不能完全存储在内存中，需要硬盘存储。 　　3.分布存储状态：数据分布存储在多个计算机中。 　　4.多线条状态：数据存储在一个计算机中，多个处理器共享内存。 　　大数据的发展就是对数据产生的机制进行探索，将所产生的数据转变为人们所需要的知识，进而对相关政策的制定产生影响。这个过程是一个漫长的过程。一个小孩子随着年龄的增长可能会掌握更多的单词，但是根据一个孩子的年龄确定他掌握的单词多少则并不科学。 　　进一步来说，大数据有记录保存自然与社会现状的功能。现在大家收集着海量数据，尽管他们还不清楚如何分析大量的数据，但是他们相信需要保存现今社会经济高速发展的过程，期待着今后能够分析和解释这段历史。还有些人将百岁老人的血液和其他各种生物的标本等存放在冰箱里，他们认为当今的技术还不足以测试和分析这些资源，期待今后更先进的测试技术能够做到。大数据就如同自然和社会的血液那样记录着社会的现状和发展过程。 　　17世纪望远镜以及显微镜的发明使人类看到了以前从来没有看到过的宇宙空间和微生物，扩大了人类对自然的基本认识。大数据就像“望眼镜”和“显微镜”那样，使得人们能够通过数据来观察和分析自然、经济、社会的现象。借助于互联网数据，可以及时了解疾病的疫情、科学的动态、社会的动态。谷歌借助频繁检索的词条能及时判断流感从哪传播，哪些人可能已经感染了流感。大数据将形成自然和人文社会的历史长河，不但能用于探索当代的科学问题，将来也可以用于研究人们食用转基因食品对子孙后代的影响等追踪研究问题，为未来留下当前的历史资料。 　　二、大数据带来的变革 　　时代的进步有赖于大数据的发展，大数据的发展给时代变革增加了更多的不确定性。就当前研究来看，数据的搜集很大程度上依靠所研究问题的出现来推动其向前发展。不过在不久的将来，随着大数据时代的到来，人们对于问题的研究将会由“数据”来驱动。例如，如果我们想去某地旅行或出差，会首先查询目的地的交通情况、天气情况以及住宿情况等信息，但是将来我们可以根据所查询的数据信息来决定所要去的目的地。在古希腊时代，当时的哲学家无所不知，号称百科全书，到了文艺复兴时代，随着学科的不断细化，不同学科出现了各自的专家。随着大数据时代的到来，大百科全书式的人物将有可能再次出现，而不同领域的专家的权威性将被逐步消弱，随着大数据的不断发展，很有可能会逐渐将学科专家消亡掉。例如，随着计算机专家和统计学家对数据的搜集越来越多并且处理能力不断增强，他们将逐步成为生命科学方面的专家。再比如，如果我们掌握了足够数量的相关专业书籍和日文译本，就算我们对日文一无所知，我们也可以采取有效的方法将所需要的中文翻译成为日文，因为我们有很多非常可靠的翻译软件，如谷歌翻译软件等。大数据已经在各个领域和学科得到了应用，例如医疗领域，大数据可以指导人们健康饮食，适时进行身体检查，并且确定检查项目，帮助医生对患者进行疾病诊断等。 　　三、大数据时代统计学专业教学现状 　　随着科技的不断发展和进步，人们获取信息和数据的途径也发生了很大的变化，电子商务的发展和各种多媒体信息技术的飞速发展和应用，给传统的统计学应用和教学带来了机遇的同时也带来了非常大的挑战。一方面，由于各种信息和数据的不断涌入，人们在被动搜集着