人工智能与机器翻译 自动分词.pdfVIP

人工智能与机器翻译 自动分词 人工智能与机器翻译- 自动分词2010-10-21 16：48 部著作中的词语逐个逐个的切 分出来。汉语不象拼音文字那样有自然切分标志,而且词语长短不一,词语的定义也 不统一,语言学中对词的定义多种多样,造成切分的多样性,这也自然给自动分词的 同一性带来很大困难。汉语中词语本身的词素、词、词组无明显的区分界限,没有 一个统一的标准,许多东西都是凭经验和语感来划分。.这项工作如果全部交给计算 机来作,就没有那么简单了。 尽管计算机自动分词在诸多方面存在着许多困难,但是由于自动分词是许多应用工 作的第一步 (也是自动翻译的第一步),这就促进了研究的持续不断,提出了不少方法, 它们各有优缺点,也可能是基于特定环境的。 5.2.1 典型的自动分词方法 正向最大匹配法和逆向最大匹配法 正向最大匹配法是最早提出的自动分词方法,它的基本思想是先取一句话的前六个 字查字库,若不是一个词,则删除六个字的最后一个字再查,这样一直查下去,至找到 一个词为止。句子剩余部分重复此工作,直到把所有的词都分出为止。逆向最大匹 配法也一样,每次匹配不成功时去掉汉字串中最前面的一个字。 两法思路清晰,易于计算机实现,但由于试图用相对稳定的词表来代替灵活多变,充 满活力的词汇,把词库搜索作为判词的唯一标准,因而具有很大的主观性和局限性。 另外,这两种