自然语言处理基本技术.pptx

物流人工智能技术技能培训;任务一 自然语言处理基本技术;;【教学目标】;;机器翻译基于统计的机器翻译方法突破了之前基于规则和实例翻译方法的局限性，翻译性能取得巨大提升。;;问答系统技术是指让计算机像人类一样用自然语言与人交流的技术。人们可以向问答系统提交用自然语言表达的问题，系统会返回关联性较高的答案。;;一、词法分析;;;（1）基于词典的分词法;南京市长江大桥 ①先从句子中拿出前5个字符“南京市长江”，把这5个字符到词典中匹配，发现没有这个词，那就缩短取字个数，取前四个“南京市长”，发现词库有这个词，就把该词切下来； ②对剩余三个字“江大桥”再次进行正向最大匹配，会切成“江”、“大桥”； ③整个句子切分完成为：南京市长、江、大桥；;;;（2）基于统计的分词法;;2.词性标注;;自动标注流程;3.命名实体识别;;;4.新词发现;;句法结构分析是指通过语法树或其他算法，分析主语、谓语、宾语、定语、状语、补语等句子元素。 语法树把句子分成主语+谓语+句号，然后对每一部分进行进一步分析。;2.依存关系分析;依存语法的结构没有非终结点，词与词之间直接发生依存关系，构成一个依存对。其中一个是核心词（支配词），另一个叫修饰词（从属词）。 依存关系用一个有向弧表示，叫做依存弧。其方向为由从属词指向支配词，反过来也可以。;;1.一阶逻辑表示;2.语义网络表示;3.基于框架的表示;框架名：教师 类