- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
?
?
基于hadoop技术的电商大数据分析
?
?
王曦
摘要:为解决传统数据分析方法存在分析准确率较低的不足,提出了基于hadoop技术的电商大数据分析,基于hadoop电商大数据分析模型的搭建,依托关联规则分析、分类与聚类分析、变化与偏差分析,实现了基于hadoop技术的电商大数据分析,试验数据表明,提出的数据分析方法较传统数据分析方法,分析准确率提高29.55%,适合电商大数据的分析。
关键词:hadoop技术;分析模型;大数据;电子商务
:TP311???:A
:1009-3044(2019)15-0297-02
近年来,众多企业都开始认识到数据资产规模化会给企业带来无限的可能性与潜在的价值,但这些不断在增长的数据资产大概可以分为两种类型即非结构化与半结构化。如何去利用最低成本并使用最快的效率来对这些大量的数据去进行处理和应用,成为人们目前需要解决的很大的难题[1]。Google公司第一个提出了Mapreduce的编程框架(Hadoop框架的基本构成单元),而GFS的文件系统与BigTable的存储系统同时开始成为大数据处理技术的核心领导者,并且这三种技术也成了此项目的实施标准,用最快的速度普及到各个互联网企业当中。大数据处理模式是一种新兴起的新技术模式,并依托于信息技术和互联网技术的不断发展而不断进步,不但能够有效地处理大批量的数据信息,还能保证信息的安全性与可靠性[2]。基于hadoop技术的大数据分析,以大数据处理模式,突破了以往的信息搜索和信息存储形式,无论是从决策力还是洞察力都有了很大提升,从而效率越来越高,信息变得更加多样化。
1搭建hadoop的电商大数据分析模型
Hadoop属于开源框架,其本质为一种能够应用于缩写于运行的分布式处理的大规模数据。Hadoop与其他框架进行对比,自身具有便捷、扩展性强、操作方便等特点,特别是Hadoop的便捷性使其在编写程序过程中占有绝大部分的优势。从而使更多的用户借助Hadoop能够在分布式计算法则中带来最大程度的优势[3]。其利用分布式存储与迁移代码等技术、在数据处理过程中能够更好地解决耗费时间数据的传输问题[4]。为了对电商大数据进行分析,搭建基于hadoop技术的电商大数据分析模型。
基于hadoop技术的电商大数据分析模型主要分为四个部分,即数据的收集部分、数据的预处理部分、数据的分析(数据挖掘分析)、应用部分,你设计的基于hadoop技术电商大数据分析模型整体框架如图1所示:
数据的收集是依托电商数据平台、移动端数据平台、社交网络数据平台获取的大数据信息,基于此的大数据信息,对数据进行预预处理,分析模型数据的预处理共分为三个阶段,即数据的准备、数据的转化、数据的抽取。基于电商数据平台获得交易數据,同理,基于移动数据平台获取观测数据(浏览该电商网页、商品等信息),基于社交数据平台获取互动数据(电商商品评价、潜在购买欲望等)。利用准备的数据,进行数据转化,利用hadoop框架,将数据转化为结构化数据和半/非结构化数据,通过数据结构化的转变,利用数据关联融合机制,根据数据的过滤和映射对数据进行提取,将提取的数据进行挖掘分析,最后显示分析结果。
2实现电商大数据分析
Hadoop框架的构成涵盖了分布式文件HDFS以及Mapreduce。Hadoop的主要作用是进行对文件系统的名字的管理,并负责文件的访问。并同时处理客户端发来的文件读写请求,并能够在数据模块下进行创建和复制。此外,Hadoop还能够同时完成分布式计算,将总任务划分为众多子任务,并且每个子任务都能够在集群节点进行处理的完成,从而确保各个子任务的节点计算的准确性。由于选择性的分布式文件以及Mapreduce的模型,可以让Hadoop具有更高的容错率和读写吞吐率,从而对失败的节点进行处理[5]。
针对电商大数据的分析,主要包括关联规则分析、分类与聚类分析、变化与偏差分析三部分。关联规则分析是指根据电商数据平台、移动端数据平台、社交网络数据平台获取的数据,求出参数变化对消费者与电商平台的影响,电商可将此数据作为经营的有效参考,其电商关联规则分析函数可用公式(1)表示:
式中,I代表消费者消费意愿;P代表消费者浏览该电商平台的时长;U代表消费者浏览所有电商平台的时长。
分类与聚类分析是指,对电商的主要消费人群进行分类和聚类分析,其分析过程是根据数据的提取再拟合实现的,针对用户的分类信息,电商可有针对地进行广告的推送、消费习惯的分析以及消费的预判,锁定消费人群进行电子商务营销。
与分类与聚类分析相类似,变化和偏差分析是根据电子商务主要消费对象,最近的浏览记录、历史记录、消费行为进行客户的变化分析,以及偏差分析,其变化和偏差分析函数可用公式(2)表示:
式中,PD代表消费者的行为能力;R代表消费者的浏
文档评论(0)