自然语言理解NLP分解.ppt

自然语言理解 1.自然语言理解概述 2.自然语言的特点 3.自然语言理解过程 4.自然语言理解的研究层次 5.相关技术与应用 6.NLP主要难点——歧义问题 1.自然语言理解概述 自然语言理解NLP（NLP，Nature Language Processing）：（或者更一般地称为自然语言处理）俗称“人机对话”，是一种使机器能理解人类语言（像中文、英文等人类语言称为自然语言）的技术。 是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。 包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。 例如，如果有一台机器既能理解中文又能理解英文，那么，这台机器就可以为人类充当翻译；如果电视能理解中文，那么，用户就可以不用按钮，而是通过说话来遥控电视 语言究竟是怎样组织起来传输信息的？人又是怎样从一连串的语言符号中获取信息的？ 2.自然语言的特点 由词构成，中文构词以两个为主。 有一定结构，如：主谓宾，特殊句型。 由“名词块”与“动词块”组成。 有复杂性：本身复杂、缺省、习惯用语 允许歧义，上下文排除 非歧义的句子含义也较多（有多个结果，有些在某领域有用）。 3.自然语言理解过程 1． 拆分过程： 词法分析。 2． 合并过程： 句法及语义分析，每一次语义分析，涉及若干个词，一般是（动词－名词）对，符合语义（一个简单句算分析成功），若干词生成一个事件，事件转换为名词，参与新的合并。 例句： 2加3等于5。 2加3是简单句；生成2＋3 2＋3是新名词， 2＋3等于5又是简单句； 生成 2＋3 ＝ 5 3． 程序结束(理解完)： 所有词，经过句法和语义分析，最终生成一个词，即：生成一个事件。 4． 理解的意义： 在合并过程中，根据词义搭配，生成相应的内容，数学中主要是运算关系。 例如：延长线段AB至D； 给出关系命令：AB+BD=AD 给出绘图命令：沿AB方向，延长线段AB至点D。 4.自然语言理解的研究层次 语用学： 语法学： 语义学： 形态学： 5.相关技术与应用 1.信息抽取（Information Extraction，IE）：其目的是将非结构化或半结构化的自然语言描述文本转化结构化的数据。 例如：自动根据邮件内容生成Calendar； 2.自动问答（Question Answering，QA）：它是一套可以理解复杂问题，并以充分的准确度、可信度和速度给出答案的计算系统，以IBM‘s Waston为代表； 3.情感分析（Sentiment Analysis，SA）：又称倾向性分析和意见挖掘，它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程，如从大量网页文本中分析用户对“数码相机”的“变焦、价格、大小、重量、闪光、易用性”等属性的情感倾向； 4.机器翻译（Machine Translation，MT）：将文本从一种语言转成另一种语言，如中英机器翻译。 NLP技术有非常广泛的应用。但是针对一定应用，具有相当自然语言处理能力的实用系统已经出现，有些已商品化，甚至开始产业化。 例如： 各种数据库和专家系统的自然语言接口 各种机器翻译系统 全文信息检索系统 自动文摘系统等 Coreference resolution Question answering (QA) Part-of-speech (POS) tagging Word sense disambiguation (WSD) Paraphrase Named entity recognition (NER) Parsing Summarization Information extraction (IE) Machine translation (MT) Dialog Sentiment analysis mostly solved making good progress still really hard Spam detection Let’s go to Agra! Buy V1AGRA … ? ? Colorless green ideas sleep furiously. ADJ ADJ NOUN VERB ADV Einstein met with UN officials in Princeton PERSON ORG LOC You’re invited to our dinner party, Friday May 27 at 8:30