基于大数据技术的线上线下电商用户数据挖掘流程分析.docVIP

基于大数据技术的线上线下电商用户数据挖掘流程分析 　　摘要：电子商务的迅猛发展给电商企业带来了海量数据，而这种海量数据能否转化为商业价值取决于电子商务企业是否采用合适的数据挖掘方式和基于海量数据的管理经营方式。文章针对线上线下（Online-to-Offline，O2O）商业模式的用户数据特点，提出了基于大数据技术的O2O用户数据挖掘框架，并描述了其数据挖掘流程。 　　关键词：大数据；O2O电商；数据挖掘；挖掘流程 　　一、引言 　　21世纪，电子商务进入了数据爆炸的时代。从电子商务公司的企业内部管理与运营数据，到社交网络产生的海量信息数据等，电子商务产生的数据量呈爆发式发展。用户数据的暴增与数据的社会化在很大程度上模糊了企业数据的边界，这些由用户创造的海量数据远远超越了目前人力所能处理的范畴。IDC研究表明，数字领域存在着1.8万亿GB的数据，企业数据正在以55%的速度逐年增长。“大数据”已成为重要的时代特征。电子商务企业正在经历规模化、多样化、高速化的数据挑战，其数据容量通常以数百TB或者数百PB来计量。庞大的数据量使得数据过载、数据冗余、数据捕获成本快速增长、数据价值不易获得成为电子商务面临的新问题。 　　O2O电子商务模式，即Online-to-Offline，是一个连接线上用户和线下商家的多边平台商业模式。O2O商业模式将实体经济与线上资源融合一起，使网络成为实体经济延伸到虚拟世界的渠道――线下商业可以到线上挖掘和吸引客源，而消费者可以在线上筛选商品和服务并完成支付，再到实体店完成余下消费。电子商务中用户数据呈每年约60%的增长，企业平均捕获其中25%-30%，但数据的利用一般不足其5%，O2O电商用户数据作为O2O模式下的核心资源的数据价值远未被挖掘。基于此，本文对O2O电商用户数据特征进行了分析，并在此基础上构建基于大数据技术的数据挖掘框架，提出了其数据挖掘流程，以期对O2O电商用户数据挖掘的深度应用做进一步的探讨。 　　二、 O2O电商用户数据特征分析 　　相比传统的电子商务数据，O2O用户数据并不仅仅局限于平台数据，即用户在O2O的交易数据，还包括了社交网络、用户移动终端的地理位置等数据。也就是说，O2O电子商务用户数据为在O2O电商日常经营中产生和积累的与用户相关的交易、互动、观测数据。O2O用户数据具有大数据的特征： 　　1.体量大（Volume）：不少的O2O电商企业每日所产生的用户数据已经达到TB级。在融入了社交网络和移动互联网的O2O电子商务中，O2O用户数据已不仅仅是用户交易数据，它拥有更加广泛的数据源，其数据规模会从TB级跃升到PB甚至是EB级。未来企业会将更多的TB级数据应用于商务智能和商务分析。 　　2.类型多（Variable）：O2O用户数据类型复杂。它并不仅限于O2O用户基本资料、用户消费记录、电商企业内部业务等海量的结构化和半结构化数据，还包括用户评论等反馈数据、用户O2O平台行为记录、移动终端数据和社交媒体等非结构数据。 　　3.速率快（Velocity）：O2O模式对用户数据实时处理有着极高的要求：用户数据伴随用户行为产生，这些数据往往是高速实时数据流，例如用户在线下商家的消费情况、用户的地理位置和移动方向等，而且O2O业务周期短，这需要实时的分析用户数据并根据分析结果对用户进行个性化服务，通过传统的数据库查询方式得到的“当前结果”很可能已经没有价值。 　　4.价值高（Value）：O2O用户数据有着巨大的商业价值。用户是O2O业务的核心，对用户进行预测分析与深度复杂分析，对O2O电商企业无疑有着重大的价值，但庞大而繁杂的不相关用户数据，这也决定了其价值密度低的特性。 　　三、大数据环境下O2O电商用户数据挖掘框架 　　由于O2O电商用户数据的4V大数据特征，电商企业并不能运用传统数据分析技术对其进行很好的利用。如何从大数据量、类型复杂的O2O电商用户数据中及时洞察其中价值，将成为O2O电商企业竞争的利器。大数据挖掘成为O2O电商用户数据转化为具有价值知识的重要手段，是通过分析海量数据，从数据海洋中寻找其规律的技术。针对O2O电商用户数据特点，数据挖掘为O2O电商提供更有用的知识，更精确的信息及更及时的响应。基于此，我们提出了一种O2O电商用户数据挖掘框架，如图1所示。 　　O2O电商用户数据挖掘框架包括数据来源层、数据收集层、数据组织层、数据存储层、数据分析层、数据应用层。其中数据收集、数据组织、数据存储层属于数据挖掘中数据预处理过程（数据准备、数据转化、数据抽取），数据分析层为数据挖掘模型应用。数据应用层采用面向对象方式的数据应用，包括面向O2O平台应用、面向O2O用户应用和面向O2O商家的应用。 　　四、O2O电商用户数据挖掘流程 　　O2O