互联网中的海量用户行为挖掘算法分析-控制科学与工程专业论文.docxVIP

摘 摘 要 摘 要 随着计算机技术以及互联网的飞速发展，在 Web 中产生了越来越多的基于用 户的应用，这些应用数年来收集了海量的用户行为数据，且数据还正以指数级增 长，这些海量数据中包含了大量和用户相关的信息。及时、精确地从这些海量用 户信息中发现有用的知识，挖掘出这些数据背后隐藏的用户行为模式，能够帮助 互联网应用提供更好的用户体验，并提高企业的市场竞争力。本文采用数据挖掘 的方法对互联网中的用户行为进行分析挖掘，找出其中隐藏的规律与模式。并从 基于 Web2.0 的社会化标记系统中的用户标记行为分析和互联网搜索引擎中的用 户检索行为分析两个方面进行说明。 (1) 在社会化标记系统中，用户可以自主采用不同的标签标记资源，并利用这些 用户标签实现信息资源的组织、分类和检索，但是这种自由的用户标记行为 存在着信息描述不精确、标签组织混乱和标签语意模糊等问题。现有研究常 采用聚类等数据挖掘技术来解决这些问题，现有标签聚类算法大多根据不同 标签在对象中共同出现的次数来计算它们之间的相似度，但是这种方法聚类 的精确度与召回率并不高。针对此问题，本文提出了一种新的标签聚类算法， 充分考虑标签的标记信息，采用基于对象的特征向量来精确地表征一个标签， 根据余弦相似度公式得到较为准确的标签相似度，然后采用 K-Means 算法将 用户标签进行聚类。实验结果表明该算法能够得到更加精确的聚类结果。最 后将该算法应用于中国科学技术大学《图书馆交互式科研管理平台》证明该 算法的实用性。 (2) 另一方面，在搜索引擎中，后台日志会记录用户输入的查询词和点击的 URL， 作为用户与搜索引擎的交互信息。通过挖掘搜索引擎日志中的用户行为，可 以发现用户的行为规律，收集统计信息，进而用来改善搜索引擎返回结果的 排序。但是由于搜索引擎中日志记录数据海量的特性，传统的聚类算法无法 适用在搜索引擎用户行为分析中。针对此问题，本文对搜索引擎中的用户行 为采用三部图模型建模，利用特征向量来表征用户输入的查询词，并提出一 种基于倒排表查询和 MapReduce 的分布式 K-Means 聚类算法，实验证明该 算法能够应对海量用户查询词聚类的问题，并且在大规模数据集下表现出高 效的性能。最后再根据实验得到的聚类结果分析当前互联网搜索引擎中用户 行为的特点。 关键词：特征向量 数据挖掘 用户行为分析 K-Means 分布式 MapReduce Ⅰ Ab Abstract ABSTRACT With the fast development of the computer technology and Internet, more and more applications based on users are generated in the Web. These applications have collected massive user behavior data for several years, and the data is growing exponentially. This massive data contains large amounts of information about users. It can help Internet applications provide betted user experience, and improve company’s market competitiveness, if we could find useful knowledge from the massive user information, and get the user behavior patterns behind these data. In this paper, we analyze and study the user behaviors in Internet using the data mining method, and find the hidden regular patterns and models. We carry out our researches in two aspects: the analysis of user tagging behavior in the social tagging system based on Web 2.0; and the analysis of user querying behavior in the search engine in Internet. In the social tagging systems, user can mark res