基于hadoop技术的电商大数据分析.docxVIP

?

?

基于hadoop技术的电商大数据分析

?

?

王曦

摘要：为解决传统数据分析方法存在分析准确率较低的不足，提出了基于hadoop技术的电商大数据分析，基于hadoop电商大数据分析模型的搭建，依托关联规则分析、分类与聚类分析、变化与偏差分析，实现了基于hadoop技术的电商大数据分析，试验数据表明，提出的数据分析方法较传统数据分析方法，分析准确率提高29.55%，适合电商大数据的分析。

关键词：hadoop技术;分析模型;大数据;电子商务

：TP311???：A

：1009-3044（2019）15-0297-02

近年来，众多企业都开始认识到数据资产规模化会给企业带来无限的可能性与潜在的价值，但这些不断在增长的数据资产大概可以分为两种类型即非结构化与半结构化。如何去利用最低成本并使用最快的效率来对这些大量的数据去进行处理和应用，成为人们目前需要解决的很大的难题[1]。Google公司第一个提出了Mapreduce的编程框架（Hadoop框架的基本构成单元），而GFS的文件系统与BigTable的存储系统同时开始成为大数据处理技术的核心领导者，并且这三种技术也成了此项目的实施标准，用最快的速度普及到各个互联网企业当中。大数据处理模式是一种新兴起的新技术模式，并依托于信息技术和互联网技术的不断发展而不断进步，不但能够有效地处理大批量的数据信息，还能保证信息的安全性与可靠性[2]。基于hadoop技术的大数据分析，以大数据处理模式，突破了以往的信息搜索和信息存储形式，无论是从决策力还是洞察力都有了很大提升，从而效率越来越高，信息变得更加多样化。

1搭建hadoop的电商大数据分析模型

Hadoop属于开源框架，其本质为一种能够应用于缩写于运行的分布式处理的大规模数据。Hadoop与其他框架进行对比，自身具有便捷、扩展性强、操作方便等特点，特别是Hadoop的便捷性使其在编写程序过程中占有绝大部分的优势。从而使更多的用户借助Hadoop能够在分布式计算法则中带来最大程度的优势[3]。其利用分布式存储与迁移代码等技术、在数据处理过程中能够更好地解决耗费时间数据的传输问题[4]。为了对电商大数据进行分析，搭建基于hadoop技术的电商大数据分析模型。

基于hadoop技术的电商大数据分析模型主要分为四个部分，即数据的收集部分、数据的预处理部分、数据的分析（数据挖掘分析）、应用部分，你设计的基于hadoop技术电商大数据分析模型整体框架如图1所示：

数据的收集是依托电商数据平台、移动端数据平台、社交网络数据平台获取的大数据信息，基于此的大数据信息，对数据进行预预处理，分析模型数据的预处理共分为三个阶段，即数据的准备、数据的转化、数据的抽取。基于电商数据平台获得交易數据，同理，基于移动数据平台获取观测数据（浏览该电商网页、商品等信息），基于社交数据平台获取互动数据（电商商品评价、潜在购买欲望等）。利用准备的数据，进行数据转化，利用hadoop框架，将数据转化为结构化数据和半/非结构化数据，通过数据结构化的转变，利用数据关联融合机制，根据数据的过滤和映射对数据进行提取，将提取的数据进行挖掘分析，最后显示分析结果。

2实现电商大数据分析

Hadoop框架的构成涵盖了分布式文件HDFS以及Mapreduce。Hadoop的主要作用是进行对文件系统的名字的管理，并负责文件的访问。并同时处理客户端发来的文件读写请求，并能够在数据模块下进行创建和复制。此外，Hadoop还能够同时完成分布式计算，将总任务划分为众多子任务，并且每个子任务都能够在集群节点进行处理的完成，从而确保各个子任务的节点计算的准确性。由于选择性的分布式文件以及Mapreduce的模型，可以让Hadoop具有更高的容错率和读写吞吐率，从而对失败的节点进行处理[5]。

针对电商大数据的分析，主要包括关联规则分析、分类与聚类分析、变化与偏差分析三部分。关联规则分析是指根据电商数据平台、移动端数据平台、社交网络数据平台获取的数据，求出参数变化对消费者与电商平台的影响，电商可将此数据作为经营的有效参考，其电商关联规则分析函数可用公式（1）表示：

式中，I代表消费者消费意愿;P代表消费者浏览该电商平台的时长;U代表消费者浏览所有电商平台的时长。

分类与聚类分析是指，对电商的主要消费人群进行分类和聚类分析，其分析过程是根据数据的提取再拟合实现的，针对用户的分类信息，电商可有针对地进行广告的推送、消费习惯的分析以及消费的预判，锁定消费人群进行电子商务营销。

与分类与聚类分析相类似，变化和偏差分析是根据电子商务主要消费对象，最近的浏览记录、历史记录、消费行为进行客户的变化分析，以及偏差分析，其变化和偏差分析函数可用公式（2）表示：

式中，PD代表消费者的行为能力;R代表消费者的浏