基于维基百科的中文文本层次路径生成研究.PDFVIP

总第 268 期 2016 年 第 3 期 基于维基百科的中文文本层次路径生成 研究* 夏 天 (中国人民大学数据工程与知识工程教育部重点实验室 北京 100872) (中国人民大学信息资源管理学院 北京 100872) 摘要: 【目的】利用维基百科知识库生成自由文本的层次语义路径。【方法】针对维基百科的中文导出数据, 构 建层次结构的树状图; 进而通过显性语义分析将自由文本表示为文章概念向量, 通过文章–类别关联关系将文本 映射到树状图中构成种子类别节点, 再通过种子节点开始的信息扩散和自顶向下的路径选择与优化, 生成层次 路径。【结果】首条层次路径的平均相关度在测试集上达到 54.10%, 前 20 条路径整体上按相关度降序排序。【局 限】未分析显性概念向量在保留不同概念数量时对生成路径质量的影响。【结论】基于维基百科知识库所生成的 层次路径结果能够反映文本的主要语义信息。 关键词: 语义路径 显性语义分析 层次分类 维基百科 分类号: G353 技术所处理的类别集合数量固定, 各分类之间在语义 1 引 言 上处于相同等级, 不存在上下位层次关系, 无法深度 文本的语义描述是文本分析的常见任务, 根据描 刻画文本的语义信息, 如能引入多级分类, 通过带层 述粒度的不同可以分为三个层次: 以词袋法为主的细 次结构的语义路径对文本进行描述, 将有利于更好地 粒度表示, 将文本看作是由相互独立且具有不同权重 快速获取文本的主要语义。 的词语构成的集合, 权重计算有布尔逻辑、TF-IDF 等 因此, 本文围绕如何识别自由文本的层次语义路 方法; 以分类为代表的粗粒度表示, 通过构建朴素贝 径进行研究, 基于维基百科中文导出数据, 构建了带 叶斯、SVM、决策树等分类模型, 自动从预定义的类 有大规模层级结构的树状图, 借助显性语义分析将任 别集合中选择最相关的分类; 介于前二者之间的描述 意文本的语义信息映射到树状图中, 进而通过节点信 方式, 以图结构和主题模型最为常见, 前者把文本表 息扩散和路径求解与优化, 生成文本对应的层次分类 示为由概念节点及关联边构成的语义图[1], 后者以 路径。 LDA 为典型代表[2], 把文本看作是由若干个主题按照 2 相关工作 某种分布生成的结果, 主题本身又是由词语根据特定 分布生成。 文本的层次语义描述可以借助层次分类实现, 即 在三种不同粒度的处理方式中, 分类对于文本的 按照一个规模巨大的类别层次, 指定未知对象在层次 语义描述最为概括, 人工可读性最强。然而, 传统分类 中所隶属的类别[3]。层次分类需要良好的层次结构和 通讯作者: 夏天, ORCID: 0000-0001-7564-7368, E-mail: xiat@。 *本文系北京高等学校青年英