内容文本分类中的语义特征提取算法分析.pdfVIP

摘要 内容文本分类是根据给定文本的特征进行匹配，将其判别为事先确 定的若干个文本类别中的某一类或某几类的过程。如何提取待分类数据 中的语义特征是实现文本分类的关键技术。特征提取对于降低文本数据 的处理维度，滤除数据噪声，提高分类准确率有着重要的意义。论文研 究在不牺牲算法效率和精确度的前提下，如何对传统特征提取算法进行 改进。 在深入分析无监督特征提取主成分分析算法和监督的Fisher判别分 析算法的特点的基础上，提出了从数据重构和数据识别的角度建立了特 征提取中描述特征和判别特征两个优化思想；结合谱图理论，研究了黎 曼流形上的拉普拉斯．贝尔特拉米算子的线性近似，构造了一个类似 Fisher判别函数的非监督判别准则；在深入分析非监督判别判别准则的基 础上，提出了在特征提取时着重考虑文本类别特征的稀疏性和文本数据 特征间具有的相关性、同义性以及多义性的特点对分类语义信息的影响， 采用数据降维后保留类别语义信息的原则，避免仅考虑文本语义信息重 构造成的分类准确度降低的缺点；通过分析潜在语义索引特征提取算法 的优点和不足，确定了从代数角度通过矩阵奇异值分解和广义特征值分 解获取特征变换矩阵的方法，达到在不影响精准度的基础上减少特征提 取的时间；通过深入研究经典线性-N另,J算法在语义特征提取运用，结合 文本分类自身的特点，明确了文本分类不同于线性判别算法的监督聚类， 从而构造基于文本向量间的相似矩阵和密度矩阵以提供类别语义信息。 基于以上工作原理和关键技术，本文设计了一种判别语义特征提取 算法DSFE。采用国际通用语料数据集和web网页数据作为实验语料，对 于所设计的算法进行了实验并对实验结果比较，使用准确率和归一化互 信息评价算法，验证了DSFE算法在时间复杂度、分类准确性、抗噪声 能力等方面都有较好的性能。 关键词Fisher判别分析，潜在语义索引，特征变换，判别语义特征提取 ABSTRACT Contenttextclassificationis tothecharacteristicsof givenaccording text， forseveralmonthstothedeterminationofthetext thediscrimination prior thesemanticfeaturesfor ofcertainor toextract type process．How classificationofdataiSthe oftextclassification．Thesemantic keytechnology featureextractionfor thetextdata reducing processing noiseand dataclassificationhas improve accuracyimportantsignificance． Researchon and ofthe without the algorithmsacrificing precisionefficiency totraditionalsemanticsfeatureextraction was premise，how algorithm improved． Inthis feature dessertation，the