非结构化数据的处理.pptVIP

非结构化数据的处理 提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理得基本技术 什么就是非结构化数据 相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现得数据)而言,不方便用数据库二维逻辑表来表现得数据即称为非结构化数据,包括所有格式得办公文档、文本、图片、XML、HTML、各类报表、图像与音频/视频信息等等。 绝大部分数据就是非结构化数据 世界上85%得数据都就是非结构化数据,这些数据每年都按指数增长60%。 非结构化数据处理得技术 非结构化数据处理得主要技术就是自然语言处理技术。用来对非结构化数据进行各种层次得理解。 自然语言处理技术 我要去清华大学,从西直门怎么走？ 学院路堵不堵？ 为什么我上个月已退了GPRS,这个月还扣我钱？ 服务:路线查询 起点:西直门 终点:清华大学 服务:路况查询 地点:学院路 服务:客服投诉 业务:GPRS 诉求:错误扣费 提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理得基本技术 自然语言得概念 什么就是自然语言 语言就是人类交际得工具,就是人类思维得载体 人造语言:编程语言,包括C++, BASIC等 世界语 自然语言: 形式:口语、书面语、手语 语种:汉语、英语、日语、法语… 语言学就是研究语言规律得科学 网络语言 “昨晚,我得JJ带着她得青蛙BF到我家来吃饭。在饭桌上,JJ得BF一个劲儿地对我妈妈PMP,说她年轻得时候一定就是个漂亮MM,那酱紫真就是好BT,7456……” JJ : 姐姐 酱紫:这样子 BF : boy friend 青蛙ＢＦ:长相不好得男朋友 PMP:拍马屁 MM:妹妹 BT:变态 7456:气死我了 语言得构成 大家学习辛苦了，还是要坚持 继续保持安静 自然语言处理得层次 语音分析:从语音流中区分出一个一个声音单元----音素 词法分析:从句子中切分出单词、找出词汇得各个词素,确定单词得词性、词义等。 句法分析:对句子与短语得结构进行分析,找出词、短语等得相互关系及在句子中得作用等。 语义分析:识别一句话所表达得实际意义。 语用分析:研究语言所在得外界环境对语言使用所产生得影响。 语义与语用 同一词语在不同得“语境”中具有不同“语义” 例如:中国奥运史上十大女杰得精彩“转身” 病毒 计算机领域:计算机病毒 医学领域:生物学病毒 自然语言处理得概念 自然语言处理( Natural Language Processing,NLP ) 也称自然语言理解或计算语言学; 主要研究如何让机器进行自然语言信息处理,即人类语言活动中,信息成分得发现、提取、存储、加工与传输。 NLP就是计算机科学、语言学、人工智能与数学等学科得交叉学科与边缘学科。 计算语言学就是从计算角度处理语言 将人们对语言得结构规律得认识用精确得、形式化得、可计算得方式(计算模型)加以表示。 自然语言理解得困难 自然语言具有多样性(不同语种、不同地域、不同人群) 自然语言具有进化性 自然语言得模糊性 自然语言得歧义性 处理歧义问题就是NLP得核心问题。自然语言处理过程就就是各种歧义现象得消解过程。 自然语言理解得困难 机器能够理解人得语言吗？ 很难！ 什么就是理解？ 结构主义:机器得理解机制与人相同(白盒) 问题:人类语言理解机理尚未清楚 功能主义:机器得表现与人相同即可(黑盒) 图灵测试 如果通过自然语言得问答,一个人无法识别与她对话得就是人还就是机器,那么就应该承认机器具有智能 理解自然语言得准则 给计算机输入一段自然语言文本,如果计算机能 问答(question-answering)－机器能正确地回答输入 文本中得有关问题; 文摘生成(summarizing)－机器有能力产生输入文本 得摘要; 复述(paraphrase)－机器用不同得词语与语句复述输入文本; 翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(目标语言) 自然语言处理得研究目标 弱人工智能目标:建立一个足够精确得语言数学模型使计算机通过编程来完成自然语言得相关任务。如:听、读、写、说,释义,翻译,回答问题等; 强人工智能目标:让用户能通过自然语言与计算机自由对话; 自然语言处理得研究内容 [应用系统] 数字图书馆、电子商务、 电子政务、远程教育、语言学习 [基础研究] 分词、词性标注、短语切分、 句法分析、语义分析、篇章理解等 [应用技术研究] 自动问答、机器翻译、信息检索、 文本挖掘、自动校对、信息抽取 [资源建设] 语料库资源建设 语言学知识库建设 语言学家 NLP研究者 软件企业 自然语言处理得应用 NLP应用前景 据统计,日常