自然语言处理与应用.pdfVIP

自然语言处理及其应用 Applications of Natural Language Processing 自 然 语 言 生 成 自动分词 自然语言处理 文本分类 问 答 系 统 CONTENTS 01 自 动 分 词 05 文 本 分 类 02 词 性 标 注 06 信 息 抽 取 03 句 法 分 析 07 问 答 系 统 04 语义角色标注 08 NLP 工 具 01 自 动 分 词 Word Segmentation 1 自 动 分 词 歧义切分 未登陆词识别 结婚/的/和/尚未/结婚/的/人 新通用词或专业名词 结婚/的/和尚/未/结婚/的/人 专有名词 中文分词 基于词典的方法 基于统计的方法 基于深度学习的方法  基于序列标注的方法  词向量预训练  基于匹配判断的方法  BMS表示法  CRF + BiLSTM网络  最大匹配法 达观数据位是企业大数据服务商 （正向、逆向、双向） B M M E S B E B M E B M E 达观数据/是/企业/大数据/服务商  全切分路径选择  HMM、CRF模型 02 词 性 标 注 Part-of-Speech Tagging 2 词 性 标 注 将句子中的各个词汇标注上在该句中的正确词性 判定词在一定的上下文环境中所体现的语法范畴的过程 它作为自然语言理解能力的初步体现，在其基础上可以为后面更高层次的语言处理 提供数据资料 01 基 于 规 则 的 方 法