76 - hadoop综合实战-文本挖掘项目2.ppt

Hadoop大数据解决方案进阶应用 Hadoop 讲师：迪伦（北风网版权所有） Hadoop综合实战-文本挖掘项目 (2) 项目流程 中文分词方法 课程目标 项目流程 构建文本分类器 步骤 分类体系 两层分类体系 积累样本 从门户网站爬取指定类别下的文章 文本预处理 中文分词方法 基于字符串匹配的分词方法 原理是将文档中的字符串与词典中的词条进行逐一匹配, 如果词典中找到某个字符串, 则匹配成功, 可以切分, 否则不予切分 匹配的原则：最大匹配、最小匹配等 词典 顺序 基于语法和规则的分词法 基本思想就是在分词的同时进行句法、语义分析, 利用句法信息和语义信息来进行词性标注, 以解决分词歧义现象 基于统计的分词方法 基于统计的分词法的基本原理是根据字符串在语料库中出现的统计频率来决定其是否构成词 中文分词 两大难题 歧义识别 新词识别 应用 搜索引擎倒排索引 自然语言处理机器学习、机器翻译、文本挖掘等 Lucene的中文分词器 基于字符串匹配的分词 Paoding： Lucene中文分词“庖丁解牛” Paoding Analysis Mmseg4j：Mmseg算法 IK：正向迭代最细粒度切分算法 基于统计的分词 Imdict：imdict智能词典所采用的智能中文分词程序 采用隐马尔科夫模型 分词器 用户自定义词库 速度 paoding 支持不限制个数的用户自定义词库，纯文本格式，一行一词 在PIII 1G内存个人机器上，1秒 可准确分词 100万 汉字 mmseg4j 自带sogou词库，支持名为 wordsxxx.dic， utf8文本格式的用户自定义词库，一行一词；不支持自动检测 complex 1200kb/s左右, simple 1900kb/s左右 ik 支持api级的用户词库加载，和配置级的词库文件指定，无 BOM 的 UTF-8 编码，\r\n 分割；不支持自动检测 具有50万字/秒的高速处理能力 imdict 暂时不支持用户自定义词库，支持用户自定义 stop words 483.64 (字节/秒)，259517(汉字/秒) 庖丁分词 Paoding’s Knives 中文分词具有高效率和高扩展性 采用完全的面向对象设计，构思先进 优点 自定义词库 能够对未知的词汇进行合理解析 分词效率高 主页 /p/paoding/ 欢迎访问我们的官方网站 * * * * * * * * * * * * * * * * * *