第1讲统计中文分词技术-orsci--或科学.pptVIP

8、假设自己设计一个词网格分词，并实现Bigram分词，请阐述设计方案、模块构成、系统工作流程图和关键技术。 9、简述领域专业词典构造的作用。 10、简述一种领域专业词典构造的方法。 姜维.《文本分析与文本挖掘》.科学出版社.2018 End 姜维.《文本分析与文本挖掘》.科学出版社.2018 Bigram、Trigram 姜维.《文本分析与文本挖掘》.科学出版社.2018 局部环境优缺点 全局环境优缺点 长距离特征 姜维.《文本分析与文本挖掘》.科学出版社.2018 基于词网格的分词技术 框架构成 姜维.《文本分析与文本挖掘》.科学出版社.2018 姜维.《文本分析与文本挖掘》.科学出版社.2018 Bigram的决策过程 姜维.《文本分析与文本挖掘》.科学出版社.2018 虚拟头节点 姜维.《文本分析与文本挖掘》.科学出版社.2018 候选路径 姜维.《文本分析与文本挖掘》.科学出版社.2018 问题转化：路径有效性评价 怎样评价？ 姜维.《文本分析与文本挖掘》.科学出版社.2018 以第13号，为例：他们/是/社会党/党员 姜维.《文本分析与文本挖掘》.科学出版社.2018 Trigram与N-gram模型 N是大好还是小好？ 姜维.《文本分析与文本挖掘》.科学出版社.2018 Trigram中的决策 姜维.《文本分析与文本挖掘》.科学出版社.2018 Tri-gram比Bigram的特点 显著特点： （1）受前两个词的约束影响，丰富； （2）数据稀疏。严重； （3）参数空间大； （4）计算量和存储空间更大。 姜维.《文本分析与文本挖掘》.科学出版社.2018 带Factoid词 姜维.《文本分析与文本挖掘》.科学出版社.2018 如何求解： 全局寻优 Viterbi算法 姜维.《文本分析与文本挖掘》.科学出版社.2018 Viterbi算法是一种典型的近似求解算法，属于动态优化算法 姜维.《文本分析与文本挖掘》.科学出版社.2018 内容索引 1.1 词法分析问题 1.2 词典与基于规则分词 1.3 仿词识别与最少分词技术 1.4 基于词网格的N-gram统计分词技术 1.5 数据平滑与专业词抽取 1.6 本章小结 练习与思考 姜维.《文本分析与文本挖掘》.科学出版社.2018 数据集的选择 数据样本尽量贴近实际应用场合的数据分布 代表性原则 i.i.d. 姜维.《文本分析与文本挖掘》.科学出版社.2018 数据稀疏问题 参数不准 零概率、低频概率问题 姜维.《文本分析与文本挖掘》.科学出版社.2018 三方面克服： （1）扩大数据集 （2）平滑 （3）模型 姜维.《文本分析与文本挖掘》.科学出版社.2018 专业词典抽取问题 专业词往往在某一个领域或几个领域内经常出现。 领域的划分可根据行业或参照“中图分类法”进行 金融，计算机，网络，电子工程，生物化学，医学等。 这里的领域还可以是用户自定义的范围。 姜维.《文本分析与文本挖掘》.科学出版社.2018 专业词典抽取框架 姜维.《文本分析与文本挖掘》.科学出版社.2018 在9000个常用词中，单字词占26.7%，双字词占69.8%，三字词占2.7%。 词的结合特点 姜维.《文本分析与文本挖掘》.科学出版社.2018 根据结合特点，构建评价方法 姜维.《文本分析与文本挖掘》.科学出版社.2018 姜维.《文本分析与文本挖掘》.科学出版社.2018 姜维.《文本分析与文本挖掘》.科学出版社.2018 人民日报6个月数据 姜维.《文本分析与文本挖掘》.科学出版社.2018 姜维.《文本分析与文本挖掘》.科学出版社.2018 姜维.《文本分析与文本挖掘》.科学出版社.2018 内容索引 1.1 词法分析问题 1.2 词典与基于规则分词 1.3 仿词识别与最少分词技术 1.4 基于词网格的N-gram统计分词技术 1.5 数据平滑与专业词抽取 1.6 本章小结 练习与思考 姜维.《文本分析与文本挖掘》.科学出版社.2018 快速词典 自动Factoid识别 分词分类 N-Gram 领域专业词典构造 姜维.《文本分析与文本挖掘》.科学出版社.2018 内容索引 1.1 词法分析问题 1.2 词典与基于规则分词 1.3 仿词识别与最少分词技术 1.4 基于词网格的N-gram统计分词技术 1.5 数据平滑与专业词抽取 1.6 本章小结 练习与思考 姜维.《文本分析与文本挖掘》.科学出版社.2018 练习与思考 1、简述快速词典的作用？ 2、简述最大正向匹配分词的工作过程。 3、简述最少分词的工作过程。 4、词网格分词与N-gram的关系。 5、为什么N-gram中大多使用Bigram和Trigram模型 6、简述Bigram分