计算机是如何进行文本分析的技术报告Ver2.0.pdfVIP

安徽中科大讯飞信息科技有限公司 Anhui USTC iFly InfoTek CO.,LTD. 计算机是如何进行文本分析的 技术报告 版本 2.0 计算机是如何进行文本分析的 版本: 2.0 技术报告 日期: 2003/01/09 iFly-Research-TextSyntax-Routine-Ver2.0 版本历史 日期 版本 描叙 作者 2001/8/14 1.0 将计算机进行文本分析的程序代码用自 胡国平 然语言给予描述 2003/1/9 2.0 新增了基于分词结果的语音树生成算法 胡国平 模块的说明文档 机密 USTC iFly InfoTek, 1999-2000 Page 2 of 20 计算机是如何进行文本分析的 版本: 2.0 技术报告 日期: 2003/01/09 iFly-Research-TextSyntax-Routine-Ver2.0 计算机是如何进行文本分析的 技术报告 1. 简介 本文档旨在向不懂程序的人员介绍计算机是如何进行文本分析的，包括较多的处理细节，而不是给 予一个泛泛而谈的描述。对于懂程序的人员，亦可快速从此文档中得到计算机进行文本分析的总体思路 和细节。努力使读了该文档的人可以对计算机给出的结果进行解释，而无需跟踪代码。 本文档的写作方式是将现有计算机的处理代码用自然语言给予一个描述，尽量不遗漏需要特别注意 的细节。 2. 鸟瞰 计算机进行文本分析，经过下面逐个环节的处理，本文以“司马光still 在21 世纪的第3.00%天。” （下称例句）为例，给出每个模块的处理内容和处理结果。 3. 分句 对于一大段文本，计算机首先需要进行分句处理，将要合成的文本切分成一句一句。主要的方法就 是看标点符号，一般是看前全角的句号逗号问号叹号分号 ！？，。；，半角的问号叹号分号!?;时， 该文本就被断开。同时有 128 个字节的限制。半角的逗号和句号不作为分句标记。全角的冒号：作为 分句标记当且仅当后面接的内容不是数字串。 对于例句，分句的结果就是一个句子。如下图所示： 4. UniformMBChar 全角化处理，将原始文本中半角的部分全部转成全角，某些繁体的汉字转成简体，如“國”-“国”、 “馬”- “马”等。同时把不认识的字都替换为“□”，以便统一处理，如“恴蔮”等。全角化处理是 为了后面两个模块的处理方便。例句全角化恴结果如下： 5. SplitWordNT 5.1 分词处理 基于主分词词典Lemma.lex，进行前后向分词处理，并根据词频进行选择最佳分词路径。这个完全 是计算机的事，对分词路径的修改不在需要手工来调节词频，而只需加入分词路径手工修正规则，参见 《分词歧义库知识制作指导手册.doc》。 5.2 分词路径手工修正 根据分词路径手工修正规则库SWRule.lex 进行分词路径的修正工作。 5.3 某些固定汉语格式识别 1．各种形式的数字词。例如：九千七百零九亿四千二百一十六万四千二百点四 2 ． “AABB ”的这种重叠词的形式 。例如：开开心心// 开开心心，漂漂亮亮 3 ． “ABAB ”这种形式的派生词