《西南交大信息检索》课件.pptVIP

*************************************同义词词典定义同义词词典（Thesaurus）是一种记录词语及其同义词的词典，用于查询扩展和语义理解。例子“电脑”的同义词包括“计算机”、“PC”等。构建方法人工构建、基于语料库自动构建等。语义词典1定义语义词典是一种记录词语及其语义关系的词典，如上下位关系、整体部分关系等。2例子“鸟”是“麻雀”的上位词，“车轮”是“汽车”的整体部分。3WordNet一种著名的英语语义词典，包含了丰富的语义关系。本体定义本体（Ontology）是对某个领域知识的formal表示，包括概念、关系、属性等。作用用于知识管理、语义搜索、智能问答等领域。构建方法人工构建、基于机器学习自动构建等。例子医疗领域的本体可以描述疾病、症状、药物等概念及其关系。文本分类定义文本分类（TextClassification）是指将文本划分到预定义的类别中的任务。应用垃圾邮件过滤、新闻分类、情感分析等。常用算法朴素贝叶斯、支持向量机、决策树等。文本分类概述定义文本分类是根据文本的内容将其划分到预定义的类别中的任务，是自然语言处理领域的重要应用。步骤文本预处理、特征提取、模型训练、模型评估。评估指标准确率、召回率、F值等。朴素贝叶斯分类器1原理基于贝叶斯定理和特征条件独立性假设，计算文本属于每个类别的概率，选择概率最大的类别作为文本的类别。2优点简单易懂、计算效率高。3缺点特征条件独立性假设在实际应用中很难满足。支持向量机（SVM）原理通过寻找一个最优超平面，将不同类别的样本分隔开，并使分隔间隔最大化。优点泛化能力强、适用于高维数据。缺点计算复杂度高、对参数调节要求较高。核函数常用的核函数包括线性核、多项式核、高斯核等。决策树原理通过构建一个树形结构，根据特征对样本进行划分，最终将样本划分到不同的类别中。算法常用的决策树算法包括ID3、C4.5、CART等。优点易于理解和解释、可处理离散型和连续型特征。文本聚类定义文本聚类（TextClustering）是指将文本划分到不同的簇中，使得同一簇内的文本相似度较高，不同簇之间的文本相似度较低。1应用新闻主题发现、用户兴趣分析、文档组织等。2常用算法K-means、层次聚类等。3文本聚类概述定义文本聚类是一种无监督学习方法，旨在将文本集合划分为若干个簇，使得簇内文本相似度高，簇间相似度低。步骤文本预处理、特征提取、相似度计算、聚类算法、结果评估。评估指标轮廓系数、Calinski-Harabasz指数等。K-means算法1原理将文本集合划分为K个簇，每个簇有一个中心点（centroid），文本被分配到距离其中心点最近的簇中。2步骤初始化K个中心点、将文本分配到最近的簇中、更新中心点、重复迭代直到收敛。3优点简单易懂、计算效率高。层次聚类原理通过构建一个层次结构，将文本集合逐步合并或分裂成簇。类型凝聚式层次聚类（自底向上）、分裂式层次聚类（自顶向下）。优点可视化效果好、无需预先指定簇的数量。缺点计算复杂度高。链接分析定义链接分析（LinkAnalysis）是指通过分析网页之间的链接关系，挖掘网页的重要性、主题等信息的技术。应用搜索引擎排序、社会网络分析、推荐系统等。常用算法PageRank、HITS等。PageRank算法原理基于随机游走模型，模拟用户在网页之间随机跳转的行为，网页的PageRank值越高，表示该网页越重要。公式PR(A)=(1-d)+d*(PR(T1)/C(T1)+...+PR(Tn)/C(Tn))，其中PR(A)为网页A的PageRank值，T1到Tn为指向网页A的网页，C(Ti)为网页Ti的出链数量，d为阻尼系数。HITS算法1原理将网页分为Hub页面和Authority页面，Hub页面指向多个Authority页面，Authority页面被多个Hub页面指向。Hub页面和Authority页面的值相互迭代更新。2优点能够发现某个领域内的权威页面和枢纽页面。3缺点容易受到主题漂移的影响。Topic-SensitivePageRank原理对PageRank算法进行改进，考虑了网页的主题信息，使得PageRank值对主题更加敏感。优点能够提高搜索结果的相关性。方法根据用户查询的主题，调整PageRank值的计算公式。应用个性化搜索、推荐系统等。社会网络分析定义社会网