2025【基于电商大数据的数据仓库的设计与实现16000字】.doc

第

第PAGExxxviii页共NUMPAGES42页

基于电商大数据的数据仓库的设计与实现

摘要：近年来随着国内外电子商务的飞速发展，电商用户迎来了井喷式的增长。海量用户所带来的是海量数据。无论是是用户在电商系统中点击和浏览等事件埋点数据，还是用户进行加入购物、收藏、下单和支付等实际业务数据都达到了PB乃至ZB级。面对海量数据，各电商企业难以避免的要进行数据挖掘、分析和实时计算，从而使数据产生更大的价值。但是面对数量如此庞大的历史数据，如若在传统的关系型数据库上进行存储、分析和计算并非明智之举，关系型数据库由于其低冗余和纷繁复杂的关系映射在面对海量数据时将大幅度降低数据查询的效率。因此，建立数据仓库已成为了大数据业务的基础。在数据仓库中可以进行数据分层，在不同层级中可以进行数据清洗、数据整合，将数据整合汇总成分析某一个主题域的服务数据宽表，为数据挖掘、分析和可视化打下基础。当然，如何保质保量的将数据从业务数据服务器和日志服务器导入数据仓库也是仓库搭建前需要解决的重要问题，对于不同类型和不同来源的数据，都需要提供最为高效和安全的解决方案。数据仓库搭建完成之后，对数据进行可视化和分析也就有了便捷和高质量的数据来源。综上所述，本文将详述如何将海量数据采集至数据仓库，并且进行数据仓分层开发。

关键词：电子商务；大数据；数据仓库；数据可视化

目录

TOC\o1-2\h\u67761、绪论 1

254181.1、研究背景与意义 1

60251.2、国内外研究现状 2

38671.3、主要研究内容 2

271721.4、本文的组织结构 3

224582、相关技术分析 4

18182.1、Hadoop框架及其组件 4

297002.2、数据采集技术 6

209532.3、Hive 8

188313、电商数据生成与采集 9

291783.1、环境搭建 9

165203.2、数据生成脚本编写 13

230703.3、数据采集 20

101194、数据仓库设计 25

130534.1、环境搭建 25

120284.2、数据仓建模方法介绍及选择 26

131954.3、数据分层 27

2985、压力测试 34

306205.1、HDFS测试 35

252855.2、Kafka测试 36

124126、期待与展望 36

27053参考文献 37

随着电子商务的飞速发展，随着大数据和云计算相关技术的诞生，随着微服务和SaaS等新兴架构的出现，电商大数据已成为了一个炙手可热的话题。由于庞大的用户量以至于各大电商系统中每天都能产生海量数据。对于这些数据进行采集、存储、加工和分析并为企业决策提供支撑已经成为了至关重要的问题。然而在这一系列过程中如何高效的采集数据，清洗数据并为可视化提供支撑等一系列问题，亟需改善!

1、绪论

1.1、研究背景与意义

随着电子商务的飞速发展，电商用户不断增长，电商业务不断拓宽，近年来其产生的数据以指数级增长。截至2020年6月，中国网络购物用户高达7.49亿，占网民整体的79.7%。数据显示，截至2020年10月，我国在业/存续的电商主体265.1万，其中企业196.0万，个体户69.1万，电商个体户占比26.1%，超过总量的1/4。显而易见的是新冠疫情大流行对实体店的冲击巨大，大量实体销售份额流入电商。企查查数据显示，2020年一季度电商市场主体注册量12.6万，同比下降31.8%，二、三季度电商市场主体注册量26.6万、24.4万，同比增长26.2%、17.4%。而“新零售”给众多电商巨头公司带来了前所未有的机遇，究其本质是电商巨头在数据密集型应用上具有传统行业和企业无法比拟的数据优势，他们拥有着全方位、宽领域和多层次的用户数据，特是这其中还包括了用户身份信息、用户网络状态、用户使用的终端信息、用户业务、用户地理位置信息、用户社交关系和用户信用等具有极高商业价值的数据。[1]贾翼.基于Hive的电商多维分析系统的设计与实现[D].浙江工业大学,2020.这些数据真实反映了当今世界和全社会的运行演化进程，但常常在冗杂的数据海洋之中被忽视。

[1]贾翼.基于Hive的电商多维分析系统的设计与实现[D].浙江工业大学,2020.

[2]崔迪,郭小燕,陈为.大数据可视化的挑战与最新进展[J].计算机应用,2017,37(07):2044-2049+2056.

由此可见电商大数据时代，或者说DT时代已然到来。海量的商品和海量用户必然导致电商系统每日产生TB级别的数据，这些数据具有数据量大、增长快速、非结构化等特点，可能隐藏着大量的潜在信息[3]侯晓芳,王欢,李瑛