自然语言处理(Natural language processing)计算语言学（自然语言处理（自然语言处理）计算语言学）.docVIP

自然语言处理(Natural language processing)计算语言学（自然语言处理（自然语言处理）计算语言学） http: / / / blog / static / 121957390200971741340307 / 自然语言处理 (natural language processing) 计算语言学 2009 - 08 - 17: 43: 17 阅读208 评论0 字号: 大中小 订阅 原文来自wikipedia自由的百科全书 (from wikipedia, the free encyclopedia) 自然语言处理 (natural language processing (nlp) 是关于计算机与人类 (自然语言) 交互的计算机科学与语言学一个领域.自然语言生成 (natural language generation) 系统把计算机数据库信息转换成人类可读的语言.自然语言理解系统 (natural language understanding) 把人类语言的样本转换为计算机容易处理的更加形式化的表示, 诸如分析树或者一阶逻辑.nlp 范围内的很多难题适用于生成和理解, 例如, 为了理解句子, 计算机必须能够为形态 (morphology, 词的构造) 建模, 为了生产语法上正确的英语句子也必须有形态的模型. nlp有与计算语言学的领域的重大交叉, 通常被认为是人工智能 (artificial intelligence) 的分支领域. 自然语言这个术语用来区分人类语言 (诸如西班牙语、史瓦希里语或瑞典语) 与形式化 (formal) 的或计算机语言 (computer language) (诸如, c + + 、java 或 lisp). [1].虽然nlp也许包含文本和话语, 但是话语处理 (speech processing) 的工作已经变成了另一个分开的领域. 任务与局限 (tasks and limitations) 理论上, 自然语言处理是人机交互 (human computer interaction) 一个非常有吸引力的方法.早期的系统, 如shrdlu, 运行在有限的 块世界 与有限的词汇量上, 运行的很好, 结果研究人员过份乐观, 当系统延伸到与真实世界的二义性和复杂性有关的更加现实的情形时很快地迷失了. 自然语言理解, 有时被称为ai完全性 (ai - complete) 的问题, 因为自然语言识别似乎要求有关外部世界广泛的知识, 才能够进行处理. 理解 的定义在自然语言处理中就是个重大问题. 子问题 (subproblems) 话语切分 (speech segmentation) 在多数的口语中, 语音表示连续的字母互相结合在一起, 因此模拟的符号转换为分别的字符可能就是很困难的过程.还有, 在自然的话语中, 连续的词之间几乎没有什么停顿; 而这些界限通常是语法 (grammatical) 及语义 (semantic) 以及上下文 (context) 必须考虑到的. 文本切分 (text segmentation) 某些书面语言, 如汉语、日语和泰语就没有词之间的界限, 因此, 任何重要的分析要求词边界的识别, 通常是一项重要的任务. 词性标注 (part - of - speech tagging) 词义消歧 (word sense disambiguation) 很多词不止一个意思; 我们不得不选择在上下文中那个是最合适的意义. 句法歧义 (syntactic ambiguity) 自然语言的语法也是有歧义的, 即, 一个特定句子经常可能有多个可能的分析树.选择最合适的分析树通常需要语义及上下文信息.语法二义性具体问题包括句子界限消歧. 不完善或不规则的输入 (imperfect or irregular input) 外国人或地方口音在话语中的声音障碍; 键入或语法错误; 文本中的ocr错误. Speech act (Speech, acts) and plan A sentence is often thought of as the speakers behavior. The information contained in a single sentence structure may not be sufficient to define such behavior. For example, an interrogative sentence is actually the speakers request for a response from the listener. The expected response may be verbal, action,