(完整)大数据技术在电子商务中的研究 .pdf

(完整word版)大数据技术在电子商务中的研究

大数据技术在电子商务中的研究

随着云计算、物联网、社交网络、移动互联网等新兴技术的层出不穷和持续发展,

人类全面进入了大数据时代。各种数据正在迅速膨胀、变大，逐步表现出爆炸性

增长的趋势，数据的影响已经渗入到了产业、科研、教育、家庭和社会的各个层

面。随着时间的推移，人们将越来越多的意识到对数据的需求和掌握已不再局限

于以往的数据挖掘和数据分析，而是为人们获得更为深刻、全面的洞察水平提供

前所未有的支持。《纽约时报》2012年2月的一篇专栏中称，“大数据”时代已

经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而做出，而并

非基于经验和直觉1。2012年3月，美国总统奥巴马公布了美国《大数据研究和

发展计划》,标志着大数据已经成为美国的国家战略，上升为国家意志。那么什么

是大数据呢?大数据指的是在“多样的或者大量的数据中快速获取信息的水平”。

IT业界通常将大数据的特征概括为四个“V”：数据量（volume）巨大，数据类型

（variety）多，数据价值(Value）大，发掘出价值的速度（Velocity）快2。大

数据和传统所说的数据库有所不同。诞生在二十世纪七十年代的传统数据库是小

型的、单一的、孤立的,基于小范围的抽样样本统计。而大数据则要求穷尽一切相

关样本,搜集尽可能全面的数据,大数据的数据集拥有的不是支离破碎的割裂数

据，不是数据片段,而是完整的数据。数据的海量与数据的完整性使大数据有着传

统的数据库无法比拟的信息优势。

1大数据的重要性

信息科技经过多年的发展，数据已经渗透到国家治理、国民经济、企业发展的方

方面面.这些数据中隐藏着有价值的模式和信息，需要相当的时间和成本才能提取

这些信息。一些新兴的互联网公司,利用新技术大规模地收集数据，分析和预判客

户行为,然后在不同的行业纵横捭阖。而缺少数据资产、缺少强大数据分析水平的

公司，则无疑将处于被颠覆的边缘。所以大数据技术虽然发源于信息科技，但其

影响力已经远远超出信息行业，正在“吞噬”和重构很多传统行业,广泛使用数据

分析手段管理和优化运营的公司其实质都是一个数据公司.能够毫无疑问地说,大

数据事关国计民生、产业兴衰、公司存亡。麦当劳、肯德基以及苹果公司等旗舰

专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分

析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优

化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分

析，为用户提供更加专业化和个性化的服务。著名的信用卡国际组织万事达通过

(完整word版)大数据技术在电子商务中的研究

度析来自210个国家的15亿信用卡用户的650亿条交易记录，分析得出商业发展

和客户消费趋势,取得了极大的营销价值3。

2大数据技术介绍

2.1Hadoop简介虽然数据量巨大是大数据时代的特点,但这并不意味着数据的含金

量高和对数据的理解要求低。事实上，庞大的数据中往往掺杂着太多的无效数

据，简单粗放式的数据统计和分析往往不能得到真正有价值的内容,所以对大数据

技术提出了更高层次的挑战，使用传统的数据工具是远远无法满足大数据需要

的，由此产生了大数据技术.Hadoop是当前最为流行的大数据技术,从诞生之日

起，Hadoop便与大数据有着千丝万缕的联系。Hadoop是一个用java语言实现的

软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它能够让

应用程序支持上千个节点和PB级别的数据.Hadoop是项目的总称，主要是由分布

式存储（HDFS）、分布式计算(MapReduce）等组成。Hadoop的设计原理来自于谷

歌的GFS和MapReduce模型,能够看作是后者的开源实现.因为其能够运行在对硬

件配置要求低、扩展性好、容错水平强及具有强大的并行处理水平等特点的设备

上,在多个行业得到广泛的应用，成为当下大数据领域的热门技术。谷歌、雅虎、

亚马逊和Facebook都开发了以Hadoop为基础的大数据应用程序。Hadoop是由多

个技术模块组成的，其体系架构如图1所示.各模块的主要功能如下.⑴Pig是一个

基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据并行计算