基于古汉语语料数据库词的划分方法研究与探索.pdfVIP

其中，P(z)、P(，)分别为汉字z，Y在语料库中出现3．2‘结合强度’的提出 的概率；P(鲫)是汉字z，，在语料库中的邻接同现 ‘词’的直观意义常被解释为‘使用频繁，结合紧 概率。需要说明的是，在原始的‘互信息’公式中，随 密’。在考察唐诗语料时注意到这样的一个现象：如 机变量z，，是无序的，而用于词汇提取时则必须考 果两个字能构成一个词的话，这两个字在一句诗里 虑其顺序关系。在具体应用时这个公式可以转化为 同现时，一般会以紧密相邻的方式出现。对每一个 以下形式： 二字组求出其总的出现次数Ⅳ以及相邻出现次数 M。 l(xy)=ln黼 ^J 二字组的‘插入率’S=1一嚣 其中，N为一个与语料库大小有关的常数，，(z)，f rr (，)则表示汉字z，，在语料库中出现的次数；f(zy) ^f 成词的‘结合强度’D=(嚣)2*ln(M) 表示汉字串xy在语料库中出现的次数。 ，r 互信息反映了汉字对间结合关系的紧密程度： 统计分析表明，‘结合强度’的引入能有效地排 2 除那些结合松散的字组；而作为一个考察标准，在唐 (1)l(x y)?0，则p(x，y)?声(z)户(y)，此时 宋诗语料库中，当字串的出现频度大于20且其结合 。，Y之间具有可信的结合关系，并且I(x·y)值越 大，结合程度越强； 强度大于1时，在超过90％的概率的意义上可以确 定该字串是一个词。当词频高于14时，如果以结合 (2)I(z。，)≈O，则p(z，y)≈声(z)p(y)，此时 强度作为选词标准，得到的抽词效果远优于互信息 z，Y之问的结合关系不明确； 统计的结果。由于这一标准与语料库大小基本上没 (3)I(x；y)==O，则p(x，y)=声(z)p(y)，此时 有关系，语料库的规模越大，利用这一标准的效益就 z，Y之间基本没有结合关系，并且I(x：y)值越小， 越高一些。 结合程度越弱。 在l(x；y)一。附近相当宽的区域内，结合能4未登录词统计划分的提取方法 否实现仅依靠互信息有时难以裁定，必须参照一定 以下为方法的要点： 的上下文，通过上下文字对之间的比较进一步寻找 第一，先用最大概率法进行第一次提取词，识别 判据。直观地来讲，如果两个字在一起出现的频度 巳登录的多字词； 越高，这两个字组成的二字组是一个词的可能性就 第二，在“分词碎片”中寻找未登录词：分词碎片 越大。 中任意字串皆为候选未登录词，利用局部统计和单 在中文里，有许多字使用时都是在合成词中出 字概率来计算其概率；但碎片中任意单字亦为候选