英、汉跨语言话题检测与跟踪技巧研究.pdf

摘要 当今世界已经逐步迈入信息化和数字化时代。根据CNNIC第30 次调查报告①显示，截止2012年6月底我国网络用户数量已达到5．38 亿，网站数达到250万，网络新闻的用户规模达到3．92亿，网民对 网络新闻的使用率高达73．O％。由于网络新闻发布简便快捷等特点， 互联网已成为新闻传播的“第四媒体”。普通民众希望从海量网络资 源中获取自己感兴趣的新闻话题，同时也希望了解其他国家的新闻话 题。因此，对网络新闻话题进行跨语言的检测与跟踪，已经逐渐成为 当今国内外学者研究的兴趣之所在。 目前的跨语言话题检测与跟踪研究中存在着多个具有挑战性的 难题。首先，网络新闻报道文本描述手段匮乏，涉及多语言环境的新 闻报道话题描述难度更大；其次，跨语言话题检测与跟踪需要实现多 语言环境下的新闻报道处理，怎样跨越语言鸿沟，是首先需要攻克的 技术难题之一。再次，如何更好地发展现有技术，并将其应用到话题 检测与跟踪研究中，这一问题值得进一步探讨。针对上述问题，希望 本文对英、汉跨语言话题检测与跟踪技术的研究能为语言处理相关技 术的发展做出微薄贡献，并能为我国多民族语言文本处理提供一定的 借鉴。 本文的研究主要包括跨语言新闻报道文本分析、跨语言话题模型 构建方法、语料库构建方法、跨语言话题检测和跨语言话题跟踪等五 。http：／／www．cnnic．cn／research／bgxz／ 个部分。 首先，笔者从新闻报道的本质因素研究入手，从新闻的认知理解 和本身特性这两个角度来分析新闻报道的核心要素。通过分析，笔者 认为词汇处理是对文本进行描述的有效途径之一；新闻要素也可作为 对报道文本加以区分的手段。 其次，本文从“报道．话题．事件的相互关系出发，阐述了CLTDT 研究中新闻报道模型构建的基本思路；分析了当前常用文本表示模型 的特点与不足；认为早期文本表示模型缺乏对“报道．话题．事件之 间关系的深入描写和刻画。为了揭示新闻文本中潜藏的话题，本文选 取了LSI模型和LDA模型进行文本建模实验，并通过实验对比和分 析了两种模型对新闻报道文本的描述能力。 在以上理论分析和实验验证的基础上，我们提出在英、汉可比语 料库的基础上进行跨语言话题检测与跟踪研究的思路。通过语料采集、 元数据处理、新闻事件分类、语料分词处理和标注、命名实体标注等 流程和步骤，本文尝试建立“英、汉跨语言新闻报道可比语料库”。 我们将以语料库中所包含的英、汉新闻报道文本语料为基础，对跨语 言环境中的新闻话题进行检测与跟踪研究。 在综合当前跨语言处理技术和LDA模型研究的基础上，结合本 型既可以对英、汉新闻报道进行事件回顾检测，又可以对新事件进行 发现。在跨语言话题跟踪中，通过使用先验的话题模型对新闻报道样 本话题进行推断，借助已有先验知识和可比语料库，我们不仅可以在 时间序列上描绘出新闻事件的话题发展状况，还可以对特定新闻报道 进行有效跟踪。 关键词： 跨语言话题检测；跨语言话题跟踪；可比语料库；LDA 模型 ABSTRACT Theworldhas enteredtheinformation gradually and era． digital totheCNNIC30m theendofJune201 According surveyreport，at 2，the numberof InternetusersinChinahas reached them， 538，000，000，among arenetworknews therateofinternetusersuse 392，000，000 user,and