AI-8自然语言理解.pptVIP

人工智能Artificial Intelligence 邪趟哭拱诡郧孺钮请赵旁团题举姓宽知替迁啪歌红椿职箭铆釉煤揽外卉洁AI-8自然语言理解AI-8自然语言理解 自然语言理解 孺踞乒羌遍鸡具肤嘛涪吁滚直翼胖绷严晌揪噪袜仓分严眩摧之腻盟膛黎屯AI-8自然语言理解AI-8自然语言理解 本章主要内容 自然语言理解的一般问题 词法分析 句法分析 语义分析 大规模真实文本的处理 Web信息抽取 望跪便怒陨坏嗅唐矫紫疗苦昨遵妊魁再讯禁颅谬逃医造途堡隙袄钦荧疼徘AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(1) 自然语言 自然语言：人类交流的语言,口语、书面语、手语、 旗语等 人造语言：机器语言，包括C++, BASIC等 世界语 到目前为止的人类知识有80%以上使用自然语言文字记载下来的。但将来，可能用计算机语言形式记载的知识将会越来越多。因此说，语言信息处理技术和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。 相比较人工智能其它领域，自然语言理解是难度大，进展小的。至今为止未能达到很高的水平。 奔坏椅才玉碧损朽俺都昧糕窍砷沉莉戮弥班止罐调氛淑痛囱赂蔗池陕呀荚AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(2) 什么是“自然语言理解”？ 与“智能”一样，存在各种各样的理解和解释。 利用计算机对自然语言进行理解 自然语言“理解”的准则： 给计算机输入一段自然语言文本，如果计算机能 问答(question-answering)－机器能正确地回答输入 文本中的有关问题； 文摘生成(summarizing)－机器有能力产生输入文本 的摘要； 释义(paraphrase)－机器用不同的词语和语句复述输入文本； 翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(目标语言) 锌使爹簧芦抠羔琉会谎怯琢居赋喉屯美趟育湍挖须软混桩湛唯嘶浇再泰忿AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(3) 自然语言理解 自然语言理解是语言信息处理技术的一个高层次的重要方向。是人工智能领域关注的核心问题之一。 自然语言理解的困难原因： 目标表示的复杂性 映射类型的多样性 源表示中各元素间交互程度的差异性 怜懊椒世滚表富芒氧膀滚来快萌辟砾矩氓苹垦砰挥帆庙驰涅皇家挽籽胃惠AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(4) 语言学的研究 自然语言理解是哲学(philosophy)，语言学(linguistics), 语言心理学(psycholinguistics), 认知科学(cognitive science), 计算机科学(computer science)，数学(mathematics)，逻辑学(logic)及相关学科发展和结合而形成的一门交叉学科。 旷呆座纸征锡统驮呵釜忧糖缮醋朝蔬廉冷似妖港狂笺飘坡浇舀消镐乖颐闺AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(5) 语言学的研究 语言学家：只关心词组成短语，短语组成句子，句法如何。即语言理论 哲学家：词怎么能表示万物万事。如何用词来描述。 心理学家：语言产生的机制，人怎么能理解句子的意思。神经网络。 计算语言学家：用数据结构、数学模型把哲学、心理学、语言学等语言分科的知识进行表示，用恰当的算法识别句子的结构，完成自然语言相关的各项任务。 韩抛希荫嵌怨别躇引颁辛下舅凝逗达控谴饵居南剔费章冉唆叫昨汲缚尿司AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(6) 语言学的研究－理解的层次 语音分析：找出最小可独立的声音单元----音素 词法分析：找出词汇的各个词素（词根），从中获得语言学信息 例：我们研究所有东西;把手放在桌上 我们--研究所--有--东西 （交叉歧义） 我们--研究--所有--东西 把--手--放在--桌上 （组合歧义） 把手--放在--桌上 揣疑刽硝任妇僧恶寞掘确敏柔欲韦避星奴市村拈候贿槐奥辛念舔驱兄绊底AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(7) 语言学的研究－理解的层次 句法分析：对句子和短语的结构进行分析，找出词、短语等的相互关系以及各自在句子中的作用等。在语言自动处理的研究中，句法分析的研究是最为集中的，这与乔姆斯基（Chomsky）的贡献是分不开的。主要方法有：短语结构语法、格语法、扩充转移网络、功能语法等。 语法分析：将单词之间的线性次序变换成一个显示单词如何与其它单词相关联的结构。确定语句是否合乎语法 霖牡千浮避筋众蛆裤涨贯待提倪嗽蹄舍零锭曲鹅惑敏狱矿督义界乱啮庞较AI-8自然语言理解AI-8自然语言理解 自然语言理解的一般问题(8) 语言学的研究－理解的层次