原创力文档- 1、本文档共2页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
计算机与软件科学移动信息
基于Hadoop的电商数据分析系统的设计与实现
李胜华
湖南外贸职业学院，湖南长沙410000
摘要：随着计算机技术的发展，“互联网+”已经被应用于各行业中，带动了行业的创新发展。在此技术环境
下，“互联网+”行业所产生的数据呈现爆炸式增长，这些数据是推动企业发展的重要因素。对于电商行业而
言，数据已经成为电商行业获得市场竞争优势的核心，提高电商数据的信息化水平是电商企业可持续发展的重
中之重。基于Hadoop平台，展开电商数据分析系统设计，旨在为电商行业的发展提供更加精准的数据。
关键词：Hadoop平台；电商数据；系统分析
中图分类号：TP311.13
0引言1.2Hadoop的电商数据系统的设计
在信息技术的支持下，我国电子商务经济发展（1）系统架构设计。本系统主要由数据展示层、
迅猛，电商平台已然成为国民经济的重要支柱。而随数据分析层、数据层以及基础设施层四个部分组成。
着各大电商平台的崛起，其面临着的内部竞争越发激Hadoop平台作为基础设施，需要完成对数据层的各
［3］
烈，所产生的业务数据以及日志文件也越来越多，如项作业。
何存储并利用这些数据成为制约电商平台未来发展的（2）系统功能模块设计。根据上述电商数据分
［1］析系统的功能需求可知，数据收集模块是按照电商平
瓶颈。如何搭建起一个强有力的大数据分析平台
是当务之急。台的营销或是管理目标所提出的收集相关数据标准的
一个过程。随着数据量的增大，数据收集模块所面临
1基于Hadoop的电商数据分析系统设计的数据集增多，在该模块中需要确保海量数据的质量。
因此设计该模块时，需要尽可能地收集更多的数据，
1.1Hadoop的电商数据系统功能
降低数据的丢失率；减少数据收集活动对于电商平台
（1）功能需求。电商数据分析系统的根本作用其他功能的影响。收集的数据要通过PC端、移动端
［2］
就是展开对电商平台数据的分析、管理和应用。口传输到服务器中，对监控日志进行总结归纳，最终
首先，该数据分析系统面向的是各大电商部门，需要完成数据收集任务。
设置系统登录功能，进入主操作页面中。其次是要具（3）数据处理设计。数据处理是对收集到的数
有数据存储的功能，数据存储作为数据分析系统的基据进行加工、整理和归纳，采用的数据处理技术和标
础，面对结构复杂的数据，要具有对这些结构化数据、准直接会影响到数据的质量。在数据处理模块中，需
非结构化数据以及半结构化数据的统一存储和查询的要借助Hadoop平台中的ETL操作技术，将数据结果
功能。存储到Hbase数据库中，然后借助MapReduce以及
（2）非功能需求。非功能需求主要是指对系统Hive技术展开不同标准的数据处理，基于Hadoop平
的功能性的需求。基于Hadoop的电商数据分析系统，台下的数据处理分析，
文档评论（0）