Research on Chinese Lexical Analysis -BIT教学精品.ppt

面向互联网应用的中文浅层语言分析技术;问题背景;分词的必要性：词语信息熵大，计算速度更快;主要困难;主要困难2：汉语的切分歧义;主要困难2续：歧义问题;主要困难3：未登录词问题;汉语切分的数据结构－词图;汉语切分算法综述;全切分方法;最大匹配方法 1;最大匹配方法 II;最短路径方法;最短路径方法 II;N元语法分词方法;互信息与双字耦合度方法;其他方法;相关切分算法的对比测试实验[召回率/结果数];Web搜索的串划分的简化方法;纲要;需求背景-Web内容现状(CNNIC第19次报告);需求背景-内容形式;需求背景;需求背景;需求背景;浅层语言分析;浅层语言分析四大科学问题;浅层语言分析四大科学问题;潜在的应用方向;纲要;ICTCLAS：HHMM Architecture;ICTCLAS: Word Segmentation;ICTCLAS: Unknown word recognition;ICTCLAS : Unknown word recognition(Cont.);ICTCLAS: Unknown word recognition;ICTCLAS Solution Sample;ICTCLAS Evaluation: Result;ICTCLAS Evaluation: National Evaluation;ICTCLAS Evaluation: International Bakeoff;ICTCLAS Evaluation: International Bakeoff(Cont.);ICTCLAS2010(LJWS):完美双数组TRIE树词典管理算法;The entry query time is O(word_length). The performance will not decrease as the dictionary size grow. On PIV/256M PC, it can query over 800,000 entries per second. Making maximum word segmentation with such lexicons, the speed is 23.5MB/s.;ICTCLAS2010(LJWS)最新进展;ICTCLAS2010(LJWS)最新进展;ICTCLAS2010(LJWS)综合测试结果-真正适合Web的浅层语言分析利器;;ICTCLAS汉语分词系统;灵玖新特征词识别结果示例;LJWS版本结果示例;纲要;互联网新的语言分析需求;分词算法与粒度问题;分词算法与粒度问题II;分词算法与粒度问题III;分词算法与粒度问题IV;有意义串挖掘问题;有意义串挖掘问题-算法;有意义串对搜索应用的价值;有意义串分析结果;纲要;总结与展望;展望：Next Generation Web;展望：Next Generation Web II;展望：Next Generation Web III;Toward Next Generation Web Computing …;Thanks!