Ｗｅｂ日志挖掘与电子商务.docVIP

Ｗｅｂ日志挖掘与电子商务 [摘要] 在电子商务中，根据客户的访问数据挖掘出有价值的信息，进而划分客户群体和发现潜在的客户，从而提升业绩，对电子商务网站有重要的意义。Web日志挖掘是数据挖掘在Web页面上的应用，文章对Web日志挖掘进行了介绍，给出了Web日志挖掘的步骤和方法，对Web日子挖掘工具进行了分析，并介绍了其在电子商务网站中的应用。 　　[关键词] 电子商务 数据挖掘 Web日志挖掘 　　 　　一、引言 　　 　　随着计算机技术、通信技术和网络技术的飞速发展，电子商务的发展也有了越来越好的技术平台，许多公司都建立了自己的网站，这是公司的门户和电子商务进行的所在。Web数据挖掘是当前最前沿的研究领域，是把Internet和数据挖掘结合起来的一种新兴技术。Web数据挖掘是知识发现的特定步骤,也是最核心的部分。Web日志挖掘是Web挖掘的重要内容，其技术和方法在电子商务中有着巨大的应用空间和应用价值。如发现有价值的信息、寻找潜在客户和提供个性化服务等。 　　 　　二、Web挖掘及Web日志挖掘 　　 　　Web挖掘是将数据挖掘的思想和方法应用到Web页面内容、页面之间的结构、用户访问信息等各种Web数据中，从中抽取隐含的、以前未知的、具有潜在应用价值的信息。根据挖掘的对象不同，Web挖掘可分为Web内容挖掘、Web结构挖掘和Web日志挖掘。 　　1.Web内容挖掘 　　Web内容挖掘主要从Web文档的内容中抽取出有用的知识。由于Web文档的绝大部分内容是以文本的形式存在，所以Web内容挖掘主要针对的是Web文档的文本部分，文本挖掘主要包括对Web文档文本的总结、分类、聚类、关联分析等。除了文本挖掘以外，Web内容挖掘还包括Web上的声音、图形、图像信息的挖掘、数据库中的数据挖掘和信息获取等。 　　2.Web结构挖掘 　　Web结构挖掘主要通过Web页的组织结构和超链接关系以及Web文档自身的结构信息（如Title, Heading, Anchor标记等）推导出Web内容以外的知识，可分为超链挖掘、内部结构挖掘和URL挖掘。 　　3.Web日志挖掘 　　Web日志挖掘即Web使用记录挖掘，是从用户的访问记录中抽取具有意义的模式。其数据源有服务器的日志、用户注册数据、跟踪文件的数据记录、用户访问期间的事务、用户查询、书签数据和鼠标移动点击的信息。Web日志记录挖掘应用的技术主要有路径分析、关联规则分析、序列模式分析、聚类分析、统计分析等。Web使用记录挖掘可以发现潜在的用户、改进电子商务网站的建设、增加个性化服务等。 　　 　　三、Web日志挖掘的步骤 　　 　　Web日志挖掘步骤主要分为源数据收集、数据预处理、模式发现、模式分析４个阶段。 　　1.源数据收集 　　源数据收集主要是Web日志文件的收集。对于一个电子商务网站来说，经过一段时间后，用户会在网站上积累大量有用的信息（如访问日志、注册信息、需求信息、定单信息、交流信息等），采用Web 日志挖掘技术就可以充分利用这些有用信息，帮助电子商务网站的建设和发展。 　　Web日志文件主要包括以下3种类型：服务器日志文件、错误日志文件和Cookies。 　　2.数据预处理 　　Web日志挖掘首先要对日志中的原始数据进行预处理，因为从用户的访问日志中得到的原始日志记录并不适于挖掘，必须进行适当的处理。因此，需要通过日志清理，去除无用的记录。预处理过程是保证Web日志挖掘质量的关键步骤，下面我们来阐述数据预处理的过程。 　　（1）数据净化。指删除 Web服务器日志中与挖掘算法无关的数据。大多数情况，只有日志中 HTML文件与用户会话相关，所以通过检查URL 的后缀删除认为不相关的数据。 　　（2）识别用户。由于本地缓存、代理服务器和防火墙的存在，使得识别用户的任务变得很复杂，可以使用一些启发式规则帮助识别用户。 　　（3）识别用户会话。用户会话是指用户对服务器的一次有效访问，通过其连续请求的页面，我们可以获得他在网站中的访问行为和浏览兴趣。 　　（4）识别片段。在识别用户会话过程中的另一个问题是确定访问日志中是否有重要的请求没有被记录。如果当前请求页与用户上一次请求页之间没有超文本链接，那么用户很可能使用了浏览器上的“BACK”按钮调用缓存在本机中的页面。检查引用日志确定当前请求来自哪一页，如果在用户的历史访问记录上有多个页面都包含与当前请求页的链接，则将请求时间最接近当前请求页的页面作为当前请求的来源。 　　3.模式发现 　　模式发现是运用各种算法和技术对预处理后的数据进行挖掘，生成模式。这些技术包括人工智能、数据挖掘、统计理论、信息论等多领域的成熟技术。可以运用数据挖掘中的常用技术如路径分析，关联规则、序列模式以及