Web访问对象轨迹聚类方法分析-计算机软件与理论专业论文.docxVIP

Web Web 访问对象轨迹聚类方法研究 哈尔 哈尔滨工程大学硕士学位论文 摘 要 自互联网诞生 20 多年以来，基于 Web 的信息系统、电子商务、Web 服务等领域得 到迅速发展和壮大，同时数据收集和数据存储技术的快速进步使得互联网上囤积了海量 的点击流数据和用户数据，从这数以万亿计的数据中提取有价值模式已成为巨大挑战。 阶段的研究分成三大主要方向：基于 Web 结构挖掘技术、基于 Web 内容挖掘技术和基 于 Web 使用挖掘技术，其中基于 Web 使用挖掘技术就是本文重点研究的内容。 本文主要以 Web 用户访问数据预处理过程、访问轨迹聚类使用技术以及在 Web 用 户访问个性化推荐等方向为主线着手开展研究，主要研究成果从以下几个方面阐述。 首先在深入研究了使用 Web 使用挖掘领域的相关理论和技术之后，给出了挖掘实 施过程整体框架，包括 Web 用户访问数据预处理工作、Web 访问轨迹聚类、应用个性 化推荐等核心模块。在预处理阶段详细阐述了预处理的数据格式化、访问数据元识别、 数据完整性、访问事务识别等个子过程的方法步骤，并附以文字图示详细阐述。用已经 公开的远程服务器日志作为数据集，实验验证了提出的方案的正确性并得到聚类粒度小 的用户访问记录，这对后期的工作打下坚实的基础。 其次针对 Web 使用数据量庞大、聚类过程的效率不高并占用大量系统资源、聚类 结果准确性的评估等问题，提出了用户兴趣特征的形式化表示方法和用户之间的相似度 计算方法。另外，在 KPC 聚类算法的基础上引入投票选举策略思想，加速改进算法的 收敛速度，提升聚类结果的精准度，并且验证实验显示出期望的结果并且具有很高的现 实指导意义。 最后一部分是依据前两方面的成果，针对互联网造成的信息泛滥、信息迷航问题， 提出一个基于改进聚类算法的用户访问个性化推荐模型，给出了其中详细的形式化定义 并列出判定当前用户隶属聚类中心的算法步骤。针对上述给出的方法进行了仿真实验验 证模型可行性。 关键字：Web 访问；数据预处理；轨迹聚类；投票选举策略；个性化推荐 Abstract Since the birth of the Internet more than 20 years, Web-based information systems, E-commerce and Web Services have gotten the rapid development. At the same time, the Internet has hoarded vast amounts of the click-stream data and user data because of the hops advances in data collection and data storage technology. That’s a huge challenge to extract valuable patterns from tens of trillions Web data. The present study is divided into three main directions: the Web-based structure mining technology, contents mining technology and Web usage mining technology. And we focus on the last one. To initiate the study, the main clue to the paper lies on the Web user access data preprocessing, access trajectory clustering technology and access personalized recommendation. The main research results are elaborated from the following aspects. Firstly, after in-depth study to the theory and technology of the web usage mining, we designed the overall framework of the mining implementation process, including data preprocessing, trajectory clustering process, and personalized recommendation core module. During the fi