垂直检索中的关键问题研究模式识别与智能系统专业论文.docxVIP

垂直检索中的关键问题研究摘要 垂直检索中的关键问题研究 摘要 本文针对垂直搜索引擎“专的特点，主要研究了产品层次信息 抽取和用户产品查询扩展两个问题，主要创新工作和成果如下： 第一，提出了基于网页分析的产品层次抽取算法。 该算法挖掘网页上已标注的产品链接附近区域的标签重复规律， 根据DOM叶子结点的DOM Path进行编码，并找出编码序列的最优 重复子串，统计重复子串连续覆盖的区域，将己知网页上的产品链接 (product-urls)进行深层次聚类，并找到该类别的名字。 该方法在安全类产品领域网站构成的测试集中，产品链接聚类正 确率达到71．O％，(类别)命名正确率(在聚类正确的基础上)达到 77．3％。 第二，提出了基于概念格的产品优先的查询扩展算法。 信息检索中的“文档—特征词关系能够很自然的被看作形式概 念分析中的形式背景。因此，在文本处理中，文本作为实例，描述文 本的关键词作为属性，就构成了形式背景，从而建立概念格。考虑概 念格中的不同“概念结点的距离，获取查询扩展词汇，并结合产品 层次，就给出了基于概念格的产品优先的查询扩展。 该方法在测试中展现出了良好的查询扩展性能，辅助用户精确定 位所需信息。 第三，本文给出一种小型检索系统的设计方案及实现。 该系统适用于各种信息检索领域的相关研究，使得个人能够在有 限的硬件资源下，最大限度地模拟信息检索平台。 其中，第一部分属于预处理，第二部分是本文的核心，第三部分 从工程上实现系统。 关键词： 垂直搜索引擎概念格网页分析产品层次查询扩展 RESEARCH RESEARCH ON SEⅦRAL KEY ISSUES IN ⅦRTICAL SEARCH ABSTRACT For the specialty of vertical search engine,this paper deals 1)l，iⅡl problems of product hierarchy extraction and product-oriented query expansion．The main innovation contributions of this paper are listed below： 1．This paper proposes an algorithm of Product Hierarchy Extraction based on Page Analysis．This algorithm is aimed at detecting repeating patterns from encoded pattern string according to the node’S DOM path from leaf to root．And then we classify product-urls into several categories．Finally we pick a name in the page for each category．We got an accuracy of 71％in clustering and all accuracy of 77．3％in naming． 2．This paper presents a novel method based on Concept Lattice which Call give USer query expansion．In information retrieval，the term of doe-keywords relation Can be regarded as the context in Formal Concept Analysis．Thus，a document represents all object and its keywords represent attributes，and a concept lattice Call be constructed．According to the distance between concept nodes in a concept lattice and the product hierarchies，we can get product-oriented query expansions．The result shows that users find a piece of information became more concisely and quickly． 3．This paper presents a smart information retrieval system．Based on this s