中科院计算所汉语词法分析系统ICTCLAS2008.docVIP

中科院计算所汉语词法分析系统ICTCLAS2008 ICTCLAS.ORG 2008.08  目录 中科院计算所汉语词法分析系统ICTCLAS2008 1 1、背景 3 2、ICTCLAS介绍 4 3、ICTCLAS的性能评估 5 3.1 ICTCLAS在973评测中的测试结果 5 3.2 第一届国际分词大赛的评测结果 6 3.3 ICTCLAS2008的评测结果 6 4、ICTCLAS大事记 8 5、部分重点客户名录 9 6、作者简介 11 7、联系方式 12 1、背景 词是最小的能够独立活动的有意义的语言成分,但汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词法分析是中文信息处理的基础与关键。所有涉及中文内容处理的系统，如果没有一个好的中文词法分析系统支持，正确率都会受很大影响。汉语自动智能分词是中文信息处理的基础与关键。所有涉及中文内容处理的系统，如果没有一个好的中文词法分析系统支持，正确率都会受很大影响。具体来说，汉语自动智能分词的主要应用领域包括：中文输入输出技术：连续语音识别、小键盘智能拼音输入、高自然度语音合成、视频文字识别、OCR；自动校对；高性能的汉字编码识别、简繁体智能转换语言学分析：重复串分析、新词识别、句法分析、篇章分析、语义理解与歧义消解文本挖掘：自动文摘、命名实体识别与信息抽取、文本分类、文本聚类、信息过滤、自动问答Web挖掘：信息检索（搜索引擎、问答式搜索引擎、面向行业的专业搜索引擎）、查询扩展智能应用：机器翻译、外语辅助写作、用户兴趣发现、情报分析、垃圾邮件与垃圾短信过滤、有害（垃圾、诈骗、色情、反动）信息监控等信息增值服务：商情信息自动抽取与统计分析，如房地产信息、产品采购与销售信息中文词法分析又是一个非常困难的问题，其难点主要体现在以下几方面：词语切分：由于汉语词语之间没有空格分开，需要从连续的汉字串中正确辨认汉语的词语，常见的歧义现象如：“的确切”可能是“的确／切”或者“的／确切”，“马上”可能是一个词表示很快，也可能是两个词“马／上”表示位置；这些类型的歧义现象在汉语中非常常见，会对汉语词语切分造成极大的干扰未定义词识别：词典中不可能收录所有的词语，大量的人名、地名、机构名、外来语译名、新词语等等，如“王小山、十里堡、北京计算机研究所、瓦杰帕依、非典”等等，都需要通过软件来自动识别，而在汉语中这些未定义词没有空格作为边界，其组成成分又是有意义的普通汉字，因此识别难度很大词性标注：汉语中词语兼类情况非常常见，比如说“领导”可以是动词、也可以是名词，要正确标注出每个词的词性，也有很多困难虽然汉语词法分析的研究已经有了很长的历史，但在很多应用系统中，速度快的系统分词准确性不能达到实用化要求，准确率高的系统往往使用了大量的知识库，速度不能达到大规模应用的要求。ICTCLAS介绍中国科学院计算技术研究所在多年研究工作积累的基础上，研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。我们先后精心打造五年，内核升级6次，目前已经升级到了ICTCLAS。选择ICTCLAS的五大理由： 1.综合性能最优 　　分词系统能否达到实用性要求主要取决于两个因素：分词精度与分析速度，这两者相互制约，难以平衡。大多数系统往往陷入“快而不准，准而不快”的窘境。我们研制出了完美PDAT大规模知识库管理技术（200510130690.3），在高速度与高精度之间取得了重大突破，该技术可以管理百万级别的词典知识库，单机每秒可以查询100万词条，而内存消耗不到知识库大小的1.5倍。基于该技术，ICTCLAS分词速度单机996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到3M，是当前世界上最好的汉语词法分析器。 2.统一的语言计算理论框架　　汉语分词牵涉到汉语分词、未定义词识别、词性标注以及语言特例等多个因素，大多数系统缺乏统一的处理方法，往往采用松散耦合的模块组合方式，最终模型并不能准确有效地表达千差万别的语言现象，而ICTCLAS采用了层叠隐马尔可夫模型（Hierarchical Hidden Markov Model），将汉语词法分析的所有环节都统一到了一个完整的理论框架中，获得最好的总体效果，相关理论研究发表在顶级国际会议和杂志上，从理论上和实践上都证实了该模型的先进性。 3.全方位支持各种环境下的应用开发　　ICTCLAS全部采用C/C++编写，支持Linux、FreeBSD及Windows系列操作系统，支持C/C++/C#/Delphi/Java等主流的开发语言； 4