大数据技术在电子商务中的研究和应用.docVIP

大数据技术在电子商务中的研究和应用 摘 要： 云计算、物联网、社交网络、移动互联网等新兴技术层出不穷并不断发展，促使各种数据逐步呈现出爆炸性增长的趋势。数据的影响已经渗入到了产业、科研、教育、家庭和社会的各个层面，人类全面进入了大数据时代。大数据事关国计民生、产业兴衰、公司存亡。文章重点研究了当前主流的大数据技术Hadoop，分析了其体系架构和工作原理，对Hadoop技术在电子商务领域的应用场景进行了分析和探索。 关键词： 大数据技术； 电子商务； Hadoop； HDFS； MapReduce 中图分类号：TP311 文献标志码：A 文章编号：1006-8228（2015）11-32-04 Abstract： With the rapid development of emerging technologies such as cloud computing， the Internet of Things， social networks and Mobile Internet， all data is gradually showing a trend of explosive growth. The impact of data has penetrated into all aspects of industry， scientific research， education， family and society. Mankind has entered the era of Big data. Big data is beneficial to the peoples livelihood， industry development， the survival of the company. This paper focuses on the research of the current mainstream Big data technology Hadoop， analyzes the system structure and working principle， explores the application of Hadoop technology in the field of electronic commerce. Key words： Big data technology； electronic commerce； Hadoop； HDFS； MapReduce 0 引言 随着云计算、物联网、社交网络、移动互联网等新兴技术的层出不穷和不断发展，人类全面进入了大数据时代。各种数据正在迅速膨胀、变大，逐步呈现出爆炸性增长的趋势，数据的影响已经渗入到了产业、科研、教育、家庭和社会的各个层面。随着时间的推移，人们将越来越多的意识到对数据的需求和掌握已不再局限于以往的数据挖掘和数据分析，而是为人们获得更为深刻、全面的洞察能力提供前所未有的支持。《纽约时报》2012年2月的一篇专栏中称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而做出，而并非基于经验和直觉[1]。2012年3月，美国总统奥巴马公布了美国《大数据研究和发展计划》，标志着大数据已经成为美国的国家战略，上升为国家意志。 那么什么是大数据呢？ 大数据指的是在“多样的或者大量的数据中快速获取信息的能力”。IT业界通常将大数据的特征概括为四个“V”：数据量（volume）巨大，数据类型（variety）多，数据价值（Value）大，发掘出价值的速度（Velocity）快[2]。大数据和传统所说的数据库有所不同。诞生在二十世纪七十年代的传统数据库是小型的、单一的、孤立的，基于小范围的抽样样本统计。而大数据则要求穷尽一切相关样本，搜集尽可能全面的数据，大数据的数据集拥有的不是支离破碎的割裂数据，不是数据片段，而是完整的数据。数据的海量与数据的完整性使大数据有着传统的数据库无法比拟的信息优势。 1 大数据的重要性 信息科技经过多年的发展，数据已经渗透到国家治理、国民经济、企业发展的方方面面。这些数据中隐藏着有价值的模式和信息，需要相当的时间和成本才能提取这些信息。一些新兴的互联网公司，利用新技术大规模地收集数据，分析和预判客户行为，然后在不同的行业纵横捭阖。而缺少数据资产、缺少强大数据分析能力的公司，则无疑将处于被颠覆的边缘。因此大数据技术虽然发源于信息科技，但其影响力已经远远超出信息行业，正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。可以毫无疑问地说，大数据事关国计民生、产业兴衰、公司存亡。 麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。