刍议大数据时代下的数据分析理念.docVIP

刍议大数据时代下的数据分析理念 　　摘要：近年来，在科学技术不断发展的同时，推动了互联网与物联网的进步，这也同样意味着海量数据时代的到来，并处于迅速发展的阶段。在此背景下，电子商务与互联网等多种领域中已经出现了大量的数据积累，因此“大数据”产生。文章以统计学的角度来对“大数据时代”的概念进行了界定，同时渗入研究了“大数据时代”的定义，结合其具体的特点，对目前阶段统计研究工作以及统计理念中的挑战进行了探讨，最终积极的明确了统计工作与研究合理变动的具体想法。 　　关键词：大数据时代；大数据；统计学；数据分析 　　引言： 　　目前阶段，在计算机处理技术不断发展的背景下，在对规模较大并且较为复杂的数据进行处理过程中，人们已经逐渐掌握了方法与技能，并且能够在大规模的数据中找出具有一定价值的信息，所以，大数据时代已经来临。在数据时代中，在人文社科与人类自然科学技术等方面都会有较大的发展，同时也会一定程度上改变人们的生活与工作方式。除此之外，大数据时代也同样为统计学提供了良好的发展机会，但也存在一定的挑战。 　　一、大数据时代的概念 　　大数据时代的提出者是麦肯锡，他认为数据已经逐渐进入到各个行业与各业务职能的领域中，并且逐渐成为了主要的生产因素[1]。因此，人们在对大规模数据进行挖掘与应用的过程，也就意味着新的生产率增长的来临。虽然“大数据”在众多行业被广泛应用，但是，特别是在信息与互联网的领域中应用突出。 　　二、怎样理解大数据 　　（一）大数据概念界定与构成 　　大数据，即由于日常产生的数据量快速增长，使得数据库无法利用相应的管理工具对其进行管理与收集，最终导致在进行搜索、分析、存取、共享数据时具有较大的困难。 　　大数据的构成包括四部分，并将其总结为4V，即Volume，Variety，Value，Velocity[2]。第一部分是价值密度低，将视频作为具体实例来说，实现连续并且不间断的监控，其中有价值的数据信息只有一两秒。第二部分是数据体量极大，已经从TB实现了PB的跃升。第三部分是数据类型众多，主要包括视频、图片、网络日志以及地理信息等。第四部分是处理的速度超快，可以用一秒定律来解释。 　　（二）海量数据带来哪些挑战 　　第一，数据存储。由于大数据的数据规模是PB级别，所以，存储的系统也需要进行等级的拓展，并且可以通过磁盘柜或者是增加模块实现容量的增加。然而，目前阶段，数据的增长速度惊人，所以系统资源的消耗也不断增加，导致系统的运行效率有所下降[3]。因为对海量数据始终停留在分布式的存储阶段，所以，对于爆炸式的数据增长，原有的存储方案已经无法满足现有的数据变化需求。 　　第二，处理技术。由于海量数据的分布性与数据量与以往存在较大的差异，所以，原有的数据管理技术已经处于落后状态。 　　第三，数据安全。在互联网规模逐渐扩大的情况下，数据的应用已经出现指数级别的增长，所以，对于数据安全的保护与监控来说具有一定的难度。 　　（三）大数据相关应用与实践 　　第一，体育赛事应用。以2014年的世界杯为例，在充分发挥记者与编辑敏锐度的基础上，腾讯也利用对大数据的分析以及云计算等方式来为为其提供移动与社交的数据。与此同时，腾讯与IBM进行合作，并通过文化、赛事与球迷三方面来对世界杯球迷的关注重点进行信息的挖掘，进而实现新栏目的创作，并且在短时间内赢得了广大球迷的认可与关注。 　　第二，产品推荐应用。产品推荐的应用比较广泛，可以对客户信息、交易历史、购买过程等数据进行全面的分析，并进行有价值信息的挖掘。同时，针对同一产品的不同客户访问信息也可以进行挖掘。最终，通过对客户行为的分析，来确定消费者的共性行为，这样就可以更好的为客户推荐产品。 　　除此之外，在产品推荐中，可以在对客户社交行为进行信息挖掘与分析的基础上来进行社区的营销。对客户微信微博以及社区活动中的偏好数据进行分析，并为其提供符合客户兴趣爱好的产品。 　　图一 　　三、如何分析大数据 　　（一）如何挖掘数据中价值 　　以匹配广告为具体事例进行分析，主要有两种数据。第一种是广告库，其中包括广告库以及广告的客户信息[4]。但是这种数据信息比较适合在传统数据库中应用。第二种是用户在观看广告后的行为。可以把以上两种数据进行有效的结合，并通过相应的算法来体现价值。在实践应用过程中，可以充分体会到第二种信息的重要作用。可以为用户提供其所需的信息，并通过群体智能以及群体行为对之前用户使用的效果进行分析，最终通过具体的反馈机制，将最优质的信息提供给用户，还可以进行搜索或者是查询信息。 　　（二）如何做处理与分析 　　第一，更新抽样调查的工作理念。由于大数据时代的数据样本是以往资料综合，所以，可以对相关事务的数据信息进行分析，进一步对总体进行了解，还