大数据技术在电商行业应用.docVIP

大数据技术在电商行业应用 　　摘 要 随着互联网和计算机技术的迅速发展，我们生活中的许多行为和言语都会以数据的形式被存储，而这些数据的背后则蕴含着巨大的价值。大数据时代的到来，使社会各行各业都发生了很大的变化。我国电子商务行业发展迅速，如何牢牢抓住“大数据”这一机会，是摆在众多电子商务企业面前的挑战。本文主要通过分析大数据在电商行业中的应用实例，反映出大数据对电商行业的发展影响以及对社会发展的推动作用。 　　【关键词】大数据 电子商务 京东 　　1 电商行业的发展过程 　　电子商务行业在我国没有很长的发展历史，因为互联网在我国也是近些年才迅速发展的。电子商务在发展初期，仅仅是做到将线下的交易过程转移到线上，人们虽然能够通过互联网进行购物等行为，但是没有体验到线上交易的便捷性和优越性。所以电子商务行业一开始发展迟缓。 　　随着计算机技术和网络技术的进步，用户可以通过电脑或者手机方便的进行线上交易。这个阶段，电子商务行业遇到了另一个问题，那就是订单量过多，物流速度无法适配，导致物品要过一段时间才能够到达目的地。这令用户和商家都非常苦恼。 　　大数据时代到来后，电商行业遇到了转机，通过大数据技术，可以为用户推送用户感兴趣的商品以及距离用户更近的商品，这样既提高了用户使用的舒适度，也尽可能的减少了在运送过程中消耗的时间。 　　2 大数据及大数据技术简介 　　2.1 大数据简介 　　大数据是目前非常火热的一个词汇，本文将大数据定义为产生于信息爆炸的时代背景下，数量庞大，种类丰富的数据的集合，并且该数据集合蕴含着很大的开发和使用价值。大数据具有“4V”特征，分别是Volume（数据量庞大），Variety（数据类型多元化），Velocity（数据产生速度快）以及Value（数据价值高）。同时具备这4个特征，则可以称之为大数据。 　　大数据的计量单位已经不是GB能够满足的了，要用TB甚至PB或更大。并且在未来的几年内，还会有几十ZB的数据源源不断地产生。这体现了大数据数据量的庞大。 　　大数据的数据类型非常丰富，包括大量结构化以及非结构化数据，比如音频，图片以及视频等等，还包括传感器的数据，互联网搜索的数据等。所以大数据不仅仅是数据量大，并且数据类型也很繁多。 　　如果没有快速处理数据的能力，仅仅拥有庞大的数据是远远不够的。通过云计算的存储和计算，大量的数据可以被较快的处理，这样可以使大数据被较快地使用。 　　在海量的数据中，蕴藏着无限的价值，许多行业和企业已经嗅到了其中的价值，本文介绍的就是电商行业是如何利用大数据进行变革和发展的。 　　2.2 大数据技术简介 　　大数据的总量每两年就会翻一倍，呈现出爆炸式的增长趋势。如果只存储大数据，而不处理和分析大数据，那么大数据是没有价值的，所以大数据的出现促进了大数据技术的发展。本文对大数据技术的定义如下：大数据技术是能够在海量的各类数据中，有效地进行筛选并且快速找到具有利用价值的数据的技术。 　　大数据技术中，使用较广泛的是Hadoop技术。Hadoop可以简单的理解为是HDFS（Hadoop Distributed File System）和MapReduce技术的集合。 　　HDFS是一种分布式文件系统，与普通文件系统有所差??。每个磁盘上有一个默认的数据块的大小，一般为512字节，是磁盘对数据进行读写时要求的最小单位。文件系统也有块的概念，大小一般是磁盘块大小的整数倍。HDFS块的大小一般默认为64MB，要比普通文件系统的块大很多（普通文件系统块大小一般为几千个字节）。这样使得HDFS减小了很多磁盘寻址的开销，提高了读写速度。HDFS最大的优势是可以存储超大文件。原理是HDFS不是将所有文件的块存储在一个磁盘上，它可以利用磁盘系统上的任意一个磁盘进行数据的存储。因此HDFS通常可以存储TB级别，PB级别甚至更大级别的数据。 　　HDFS读写原理： 　　在了解HDFS读写原理之前必须要了解两个分布式节点概念，一个是NameNode，另一个是DataNode。NameNode在HDFS中扮演者“调度员”的角色，其中存储了HDFS的元数据，比如集群中的节点信息，每个数据有几分副本数据等。DataNode就是集群中数据的存储节点。每个文件会有多个副本存储在不同的DataNode中以保证数据不会丢失。 　　HDFS写原理： 　　（1）客户端将消息发送至NameNode，如图1①。 　　（2）NameNode给客户端发送消息，指引客户端将文件写入Data A，B，D中。并且先向B节点发送请求，如图1②。 　　（3）客户端给B节点发送消息，希望它保存一份副本，并且希望B向A，D发送消息，让A，D都保存一份副本，如图1③。 　　（4）B节点发送消息给A节点