基亏核心词汇评估的中文特征信息对比技术.pdfVIP

基亏核心词汇评估的中文特征信息对比技术 A Method forValuingandAssessingAttributiveInformation in ChineseBasedontheExtractionofCoreW ords 王永鑫 覃 正 李岱峰 王 琳 (西安交通大学管理学院 西安 710049) 摘 要 在现有的基于字面词语 的相似度计算方法和二元语法无词典分词的基础上 ，进行 了评估流程的改进 ，引入信 息量的统一计算 ，提 出了一种基于核心词汇抽取的中文特征信息评估对比方法，并提供相应的实验结果。 关键词 中文特征信息 核心词汇 相似度计算 信息熵 利用计算机实现大量中文文本特征信 息的提取与对 比是许 无直接联系的字词，例如：我、你、的，一般来说，常用的虚词、人称 多信息处理与挖掘方面研究人员所共同关心的课题。而作为汉 代词等均属此类情况，在特定领域的应用中也会出现类似的可删 语的基本语素单位，中文词语——尤其是大段文本中的核心词汇 除字词 ；依照不同的需求，将这类字词从 P。、P 中剔除，以免影响 — — 承载了所在文本的主要特征信息，基于核心词汇的信 息提取 后续的对比评估计算结果。 与处理方法有着广阔的发展前景。 步骤2 生成逻辑词组。设 P P：经过删减后成为P P：。， 但是，与此相关的两项重要研究：中文分词、中文相似度计 则： 算，长期以来处于独立发展，互不连通的境况之中，造成了面向实 a，初始断词。另设 w w：分别为P P：。对应的所有可能分 用的完整而又高效的中文特征信息对比技术迟迟不能出现。所 割的两个字符的集合： 以，需要将整个对比过程通盘考虑 ，改进信息量的评估方法 ，提高 W = {l，2，…， }(i=1，2) 对比技术的简洁性和可操作性。 · 其中， 为双字长的字符串，对应一个两元组 (wq，t )，uq 1 算法原理 表示该字符串的出现次数，up表示该字符串的首字符的出现位 置。例如：。西安交通大学 对应 的字符串集合为。西安 、安交、交 1．1 算法要点 首先 ，针对汉语中大多数常用词汇是双字词 通、通大、大学 。 的特点，借鉴现有的二元语法模型的分词思路 ，建立逻辑词组的 b，逻辑词生成规则。经过实际观察，大多数只出现一次的逻 概念： 辑词并不包含文段的核心信息或所含有的信息不足以对评估结 二元语法模型：设在连续文本中，第 w 个词出现的概率由前 果产生足够大的影响，故可予以剔除。接着进行如下逻辑词合并。 W 一1个词决定，当w取2时，这样的语言模型便是二元语法模 设 和 为w 中的两个字符串，则： 型。目前，二元语法模型是汉语分词研究中较为常用的无词典切 令 训 =mlm2，训 =竹l竹2，若 竹l=m2或 ml= 竹2，便进 分方案，其实用性已得到广泛的认可。 行逻辑词判别 ，过程如下 ： 逻辑词组：根据二元语法模型的原理 ，经过双字截词后按照 当 1 p— pI= 1时 ，判断 Ⅲ与 w的关系—— 出现次数所合并产生的词组，但并不考虑词组中各