大数据时代下的电子商务数据管理.docVIP

大数据时代下的电子商务数据管理 　　【摘要】大数据时代的到来，给电子商务数据管理的发展带来了机遇与挑战。本文通过分析现阶段电子商务数据管理方法，将数据与管理策略相结合从而构建新时代下，电子商务大数据新型服务模式。 　　【关键词】电子商务 数据管理 　　大数据时代的到来改变了人们对数据的认识和态度，电子商务作为大数据产生的主要来源之一，其发展状态及趋势越来越被人们所关注。电子商务数据每年增长约60%，但数据利用却不足5%，人们迫切希望通过数据的力量来解决一些发展道路上遇到的瓶颈问题。数据的价值逐渐被人们所重视，数据的客观性、真实性、可靠性为电子商务的数据服务提供了坚实的“物质基础”，继而发展成为一种产业。那么大数据时代进行数据存储方式、读取方式、分析方式的创新以及增加数据服务模式已经成为大势所趋，本文正是对上述问题进行初步研究。 　　一、数据存储方式 　　随着Web2.0时代的到来，传统的数据存储模式已经不能够应付规模庞大的数据流。存储设备的成本增加，数据洪期的不预定型，结构化数据与非结构化数据混杂等因素让存储不得不做出彻底的变革。 　　为了减少存储成本，提高存储容量和存储空间利用率，人们利用虚拟化技术对存储设备进行改造，将所有存储空间作为一个资源池，可以自由的配置存储设备空间。虚拟化技术主要利用软件实现对存储资源的控制，根据实际需要可以将软件安装在相应的硬件设备之上。为提高一些性能较为低下的设备利用率，可以通过网络将这些设备连接起来，作为数据存储的载体。例如San系统，集群系统。San系统与集群系统都可以实现数据共享和访问，并可以对存储空间进行自由的扩展，但是San系统可以支持不同客户端的操作系统，扩展范围更加广泛，运用更加灵活。 　　San网络存储由服务器、存储、互连组成，利用光纤通道实现对存储设备的管理，既可以实现服务器到存储的数据传输，也可以实现服务器到服务器的数据通信。San网络采用双环方式及数据远程备份，增加了数据安全性。San对于磁盘进行虚拟化，可以让磁盘同步存储数据，加速了磁盘读/写操作的效率。 　　二、数据读取方式 　　现阶段，电子商务的数据存储方式大多依靠广泛使用的关系型数据库。关系型数据库采用关系模型，在结构上更容易理解，而其使用的数据库操作语言SQL也广泛被人们所接受。由于其对数据类型等多方面的严谨性，减少了使得数据库的维护量，提高了数据管理效率。 　　然而，随着电子商务的飞速发展，数据量的巨增，给关系数据库的I/O端口造成了很大的压力。其次，在对数据的查询操作上，尤其是一些大表的嵌套查询，效率非常低。由于庞大的数据量，对数据库的维护造成了一定影响，数据库无法动态扩展其存储空间及提高其负载能力。数据库升级和往往要进行停机维护，导致业务的中断。 　　近年来，非关系型数据库及分布式存储的出现可以解决传统关系型数据库存在的问题。NoSQL数据库是为了解决大规模数据集的管理，包括对数据的存储及并发控制。而数据的多样化，非结构化等难题，给大数据处理及分析带来了挑战。现在NoSQL类型有很多，且各自拥有各自的技术优势，数据管理者要结合自己的需求选择好合适的NoSQL数据库，才能体现非关系型数据库具备的优势。NoSQL数据库主要分为：键值存储数据库，列存储数据库，文档型数据库，图形数据库等。NoSQL数据库并没有一个统一的架构，两种NoSQL数据库之间的不同，甚至远远超过两种关系型数据库的不同。NoSQL没有高低之分，只能合理地使用NoSQL到适合的场合，才能充分发挥NoSQL的优势。 　　现在比较常用的NoSQL数据库主要是Redis，Leveldb， Mongodb，HBase。HBase作为Hadoop的子项目，适合于非结构化的数据存储。HBase的一大特点是基于列的模式，这样可以增强数据库的扩展性，提高数据库的存储效率。而且，HBase作为分布式数据库可以在廉价服务器上搭建起规模庞大且结构化的存储集群。 　　三、数据分析方式 　　大数据时代下，人们对数据的态度有了很大改变，对数据的研究由追寻因果向数据相关性转变。然而，对于电子商务来说，需求关系的分析是电商市场一个重要因素，仍然不可或缺。电子商务数据包含了客户的基本信息、消费信息、商家的产品信息、金融交易信息等结构化或非结构化数据。对电子商务数据的分析可分为几个方面： 　　（1）流量数据分析，包含了对电子商务网站的流量，点击率等数据的分析。流量的大小可以反映商品的推广程度，但是，为检测一些为提高点击率的恶意、虚假行为，需要对流量来源等数据进行分析，确保点击率能真实反映产品推广程度。网站到达率，二跳率，pv/ip值等数据都可反映商品宣传的效果。 　　（2）网站数据分析，网站数据最能直接反映商品推广效率，商品质量及商品销售情况