重复子串识别与新词发现.pptVIP

重复子串识别与新词发现 刘群 liuqun@ict.ac.cn 重复子串的识别 重复子串： 在一篇文档中出现两次以上的字符串 以词为单位：只考虑词典中没有的串 --------------------------------------------------------------- 据香港《文汇报》报道，北京的台湾问题专家李家泉受访时指出，台北、高雄两市市长选举，尽管蓝、绿两政治势力进行了激烈的斗争，但“北蓝南绿”的政治格局未被打破，由此可以预见，未来一段时间内两岸关系的改善很难有突破。李家泉指出，此次北高两市选举在两个大背景下进行，一是民进党执政两年来政绩相当差，自身危机感非常强；二是距离2004年“大选”只有一年多时间，两派都格外重视此次交锋，对泛绿阵营来说是政权保卫战，而对泛蓝阵营来说则是夺权演习战。因此可以看到斗争形势相当严峻而激烈。 重复子串识别算法1 多遍扫描 每一遍扫描 发现重复出现的二元接续组合 把发现的二元接续组合合并成一个单位，进入下一遍扫描 特点 算法简单直观 时间开销大：O(N2) 重复子串识别算法2 类LZW算法 一遍扫描 在扫描的同时构造动态词典 扫描结束时输出动态词典，得到重复子串表 特点：高效：O(n) 重复子串识别算法3 Craig G. Nevill-Manning, Ian H. Witten, Identifying Hierarchical Structure in Sequences: A linear-time algorithm, Journal of Artificial Intelligence Research 7 (1997) 67–82 给出文本的自然层次结构 从文本的自然层次结构可以导出重复子串表 线性时间复杂度 重复子串识别的作用 辅助汉语命名实体识别 汉语分词的常见错误：同一篇文本中的同一个命名实体的多次出现被处理成不同结果 处理办法：对于作为重复子串的命名实体加以强化 文本自然结构的发现 乐谱旋律的发现 语音识别中的韵律标注 文本倾向性识别：演示 关键词提取 新词发现 重复子串与新词 重复子串未必是合法的语言结构 我是 的一种 了 中国 的 白皮书 从 即使是合法的语言结构，也未必是新词 一个 世界和平 白皮书 说 什么是新词？ 亢世勇的定义： 1、新造词语：打假、扶贫、股盲 2、旧词新用：下课、上课、气候、跳槽 3、方言词汇进入普通话词汇：发烧友、埋单 4、外来词：丁克、克隆、基因、托福 5、简略词：博导、澳网、超市、严打 6、修辞用法稳定下来构成的新词语：豆腐渣工程、枕头风 7、专用术语意义泛化、转移，扩大使用范围：软件、硬件、启动、热处理 8、字母词：CT、IBM、CIA、TOFEL 新词发现策略 在重复子串基础上筛选 将已有单词和重复子串合并 建立统一的串频表 建立背景语料库 用往年的文本建立历史串频表 计算当前文本串频表 将频率差异较大的串（词或短语）作为新词 结合语法结构合理性进行判别 排除非新词串：如数量结构、的字结构及非结构串 谢谢！ 2002-12-10 北京大学计算语言所讨论班 2002-12-10 2002-12-10