一种非受限中文文档自动抽词方法 - csVirginia.PDF

《中文信息学报》,编号1074 ：金翔宇、孙正兴、张福炎：一种非受限中文文档自动抽词 一种非受限中文文档自动抽词方法•• 一种非受限中文文档自动抽词方法 金翔宇，孙正兴，张福炎 （南京大学软件新技术国家重点实验室，南京 210093 ） （南京大学计算机科学与技术系，南京 210093 ） 摘要：本文提出了一种非受限无词典抽词模型，该模型通过自增长算法获取中文文档中的汉字结合 模式，并引入支持度、置信度等概念来筛选词条。实验表明：无需词典和语料库学习的前提下，该 算法能够快速、准确地抽取中文文档中的中、高频词条。适于仅对词条频度敏感，同时对计算速度 要求很高的中文信息处理应用，例如实时自动分类系统。 关键词：中文信息处理，自动分词，非受限无词典抽词，汉字结合模式 中图分类号：TP391 A Domain-independent Lexical-acquisition Model to Chinese Document JIN Xiangyu ，SUN Zhengxing，Zhang Fuyan (State Key Laboratory for Novell Software Technology, Nanjing 210093) Abstract： A domain-independent dictionary-free lexical acquisition model is proposed. A self-increasing algorism is introduced to acquire the co-occurrence patterns of Chinese characters, and several criteria such as support and confidence is introduced to filter these co-occurrence patterns so that lexical items can be gotten. Experiment results show that the proposed model can acquire high frequency lexical items effectively and efficiently without the help of the dictionary and corpus as well. This model particularly suits for lexical-frequency-sensitive but time-critical Chinese information processing applications, such as real time automatic classification systems. Keywords ：Chinese Information Processing, Automatic Word-Segmentation, Domain-Independent Dictionary-Free Lexical-Acquisition ，Co-Occurrence Patterns of Chinese Characters 1、引言 词语是文档语义表达的基本单位。在文档的分类、摘要等工作中，以字符作为处理对象难以进入真正 意义上的信息处理。但是，汉语不同于西方语言，句子中的词语之间没有明显的形态间隔，因此需要根据 信息处理的需要并按照一定的规范进行词语切分，即分词。分词不但是分类、摘要等工作的前提，而且在 很大程度上影响了这些工作的最终性能。自动分词一直是中文信息处理研究的一个热点和难点，目前在理 论上和实用技术上仍存在很多问题有待进一步探索。同时，文档自身所具有的多领域和非规范化等特点， 又使得这项工作的难度大大增加。 国内外学者们对中文文档的自动分词工作开展了大量研究，提出了许多自动分词方法[揭春雨 1989][王 永成 1991][吴立德 1997]。