李井毕业论文答辩.ppt

毕业论文答辩 中英文分词系统 姓 名：李 井 学 号：0910421061 班 级：09普本非师班 指导老师：谢 飞 答辩提纲 一、技术背景 二、相关技术 三、系统实现 四、功能测试 五、内容总结 一、技术背景 技术背景 ● 需要高效、快速、准确的处理海量文字信息 ● 需要让计算机来理解和生成自然语言 ● 最小的且能够独立活动的有意义的语言成分 是词 ● 很多技术离不开文本分词技术 二、相关技术 中文文本处理方法 机械类的分词方法 基于理解的分词方法 基于统计的分词方法 二、相关技术 英文分词处理方法 对于英文文本，由于英文本身的特点可以利用单词之间的空格和其它的分隔符将其直接分成单词序列。 二、相关技术 文本分词存在的难题： ● 歧义切分的问题： 如“学生会”既可能是一个名词，指一种 学生组织，根据不同的语境信息可以切分为“学生会”和“学生/会”。 ● 未登录词的识别问题： 如人名、地名、企业字号、商标号及某些术语、缩略词、新词等等； 三、系统实现 中英文分词系统流程图 三、系统实现 机械类的最大匹配算法简单流程图： 　　　 获取最长词条 判断该词是否在词典中 是 否 去除最后一个字继续匹配 直到成功 匹配成功 三、系统实现 机械类的最大匹配算法 正向最大匹配算法 逆向最大匹配算法 双向最大匹配算法 四、功能测试结果 功能界面截图 四、功能测试 正向与逆向匹配算法的分词效果比较图 四、功能测试 双向与逆向匹配算法的分词效果比较图 五、内容总结 ● 能够对汉语和英语两种语言同时存在的文本进行分词 ● 分别实现基于最大匹配和基于规则的中英文分词算法 ● 通过计算机自动完成对中文句子的切分，识别出独立的词 总结： 14 衷心感谢各位评委老师， 请给予宝贵的指导意见！