Web访问模式发现与应用研究软件工程专业论文.docxVIP

山东科技大学硕士学位论文摘要 山东科技大学硕士学位论文 摘要 I I PAGE PAGE II 摘 要 今天，Web 正以惊人的速度发展着，它已成为人们进行信息发布、交互及获取的主 要工具，人们上网主要目的也是为了获取信息。根据预测，在未来十几年内，人类的所 有信息都能在互联网上得到。网上如此丰富的数据也带来了巨大的挑战：怎样使 Web 变 得让人们更容易获取信息。 当前，人们从网上获取信息的主要工具还是搜索引擎。今天的搜索引擎存在低精确 度、低检索率、不能充分表达用户的需求、没有用户定制功能等诸多问题。网上大部分 信息是以 HTML 文档的形式存在的，除了超链外没有明显的结构信息，对文档内容的抽取 和分析是相当困难的，因而，完全消除搜索引擎存在的问题是不容易的。 本文研究 Web 访问行为的主要目的是获取用户访问 Web 的目标、兴趣和偏爱等行为 模式，以此来改进 Web 站点的结构和 Web 提供服务的方式，实现站点的自动化管理和信 息个性化服务，从而帮助用户更容易地获取所需信息。 本文所做的研究工作主要有： (1) 讨论了 Web 访问行为分析中，数据源预处理时遇到的各种问题及相应的解决办 法，给出了用户和事务的识别方法。 (2) 给出了基于后缀树用户浏览频繁路径、页面可达集和可达概率的快速计算方 法；基于发现的频繁路径，给出了用户访问事务的聚类算法，该算法解决了向量模型忽 略用户浏览 Web 有序、连续、重复的特性及聚类维数过高的缺点；讨论了 Web 页面的模 糊聚类。 (3) 建立了把 Weblog 日志数据、Marketing 数据和 Web 元数据集成于数据仓库的 逻辑设计模型,不仅可以为站点管理者提供站点的访问信息，还可以为企业管理者提供决 策支持信息。 (4) 基于访问行为分析发现的聚类信息和频繁路径，讨论了在个性化服务和站点管 理两方面的应用问题。给出了利用页面聚类信息的在线个性化服务方法和利用频繁路径 对 Web 站点进行自动组织和彻底重构的方法。 关键词: 浏览模式; Web 访问数据; 个性化; 站点管理 山东科技大学硕士学位论文 摘要 ABSTRACT Today, the World Wide Web is rapidly emerging as an important medium for the dissemination, exchange, and getting of information. According to most predictions, the majority of human information will be available on the Web in ten years. These huge amounts of data raise a grand challenge, namely, how to turn the Web into more useful information utility. At present, the main tools of getting information are still search engines. Todays search engines, however, are plagued by the low precision problem, the low recall problem, A limited query interface that is only based on keyword-oriented search, and have no function of customization to individual users. These problems, in turn, can be attributed to the following characteristics of the Web. First and foremost, the Web is a huge, diverse and dynamic collection of interlinked hypertext documents. Second, except for hyperlinks, the Web is largely unstructured. Finally, most information on the Web is in the form of HTML documents for which analysis and extraction of content is very difficult. Therefore, it is not easy to ov