基于共现词卡方值的关键词提取算法-计算机工程.PDFVIP

第 卷 第 期 计 算 机 工 程 年 月 人工智能及识别技术 文章编号 文献标志码 中图分类号 基于共现词卡方值的关键词提取算法 时永宾余青松 华东师范大学 计算中心上海 摘 要 文本分词系统的词库未收录新词和组合词而这些词具有很强的主题表现力 为此基于共现词卡方值 提出一种关键词提取算法 使用语言技术平台的依存句法分词系统构建词语的关联关系并提取共现词 应用卡 方检验检测共现词的分布是否具有显著性差异 差异越大共现词作为关键词的概率也越大该算法同样适用于 单个词 把单个词和共现词作为候选关键词综合考虑候选关键词的卡方值词频词个数抽取全文关键词 实验 结果表明该算法提取关键词的效果优于 算法关键词提取的准确率达到 共现词的正确率达到 关键词 依存句法分析共现词卡方检验候选关键词显著性差异 中文引用格式时永宾余青松基于共现词卡方值的关键词提取算法计算机工程 英文引用格式 通过提取新闻报道的关键词读者在阅读全文之前 概述 可通过新闻标题和关键词大致了解新闻事件从而 关键词提取在文档检索文本分类文本挖掘等 提高阅读体验更适合于网络时代的阅读习惯 领域具有十分重要的意义 特别是随着 的 研究表明关键词的词性一般为名词或名词性 快速发展电子文档呈爆炸式增长如何更有效地提 短语 而名词一般作为句子的主语宾语或定语 取海量文档中的关键词是一个极具意义的课题 关 但是词性并不能很好地反映文章的主题特征而高 键词可以很好地反映文档的主旨人们可以通过文 频共现词具有很强的主题表现力词语及其相关关 档关键词了解文档的所属领域和主题思想 例如 系是文档的重要信息以此作为词语网络可以提取 作者简介时永宾 男硕士研究生主研方向为 语义余青松高级工程师 收稿日期 修回日期