非结构化数据的处理学习.pptxVIP

会计学1非结构化数据的处理 提纲非结构化数据处理概述自然语言处理技术概述自然语言处理的基本技术第1页/共31页 什么是非结构化数据相对于结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。第2页/共31页 绝大部分数据是非结构化数据世界上85%的数据都是非结构化数据，这些数据每年都按指数增长60%。第3页/共31页 非结构化数据处理的技术非结构化数据处理的主要技术是自然语言处理技术。用来对非结构化数据进行各种层次的理解。自然语言处理技术我要去清华大学，从西直门怎么走？学院路堵不堵？为什么我上个月已退了GPRS,这个月还扣我钱？服务：路线查询起点：西直门终点：清华大学服务：路况查询地点：学院路服务：客服投诉业务：GPRS诉求：错误扣费第4页/共31页 提纲非结构化数据处理概述自然语言处理技术概述自然语言处理的基本技术第5页/共31页 自然语言的概念什么是自然语言语言是人类交际的工具，是人类思维的载体人造语言：编程语言，包括C++, BASIC等 世界语自然语言：形式：口语、书面语、手语语种：汉语、英语、日语、法语…语言学是研究语言规律的科学第6页/共31页 网络语言“昨晚，我的JJ带着他的青蛙BF到我家来吃饭。在饭桌上，JJ的BF一个劲儿地对我妈妈PMP，说她年轻的时候一定是个漂亮MM，那酱紫真是好BT，7456……” JJ : 姐姐 酱紫：这样子 BF : boy friend青蛙ＢＦ：长相不好的男朋友 PMP:拍马屁MM：妹妹BT：变态7456：气死我了第7页/共31页 语言的构成语言词汇语法词熟语词法句法词素构形法构词法词组构造法造句法语言词汇语法词熟语词法词素句法构形法构词法词组构造法语言词汇语法词熟语词法词素第8页/共31页 自然语言处理的层次语音分析：从语音流中区分出一个一个声音单元----音素词法分析：从句子中切分出单词、找出词汇的各个词素，确定单词的词性、词义等。句法分析：对句子和短语的结构进行分析，找出词、短语等的相互关系及在句子中的作用等。语义分析：识别一句话所表达的实际意义。语用分析：研究语言所在的外界环境对语言使用所产生的影响。第9页/共31页 语义与语用同一词语在不同的“语境”中具有不同“语义”例如：中国奥运史上十大女杰的精彩“转身” 病毒 计算机领域：计算机病毒医学领域：生物学病毒第10页/共31页 自然语言处理的概念自然语言处理（ Natural Language Processing,NLP ）也称自然语言理解或计算语言学；主要研究如何让机器进行自然语言信息处理，即人类语言活动中，信息成分的发现、提取、存储、加工与传输。NLP是计算机科学、语言学、人工智能与数学等学科的交叉学科和边缘学科。计算语言学是从计算角度处理语言将人们对语言的结构规律的认识用精确的、形式化的、可计算的方式（计算模型）加以表示。第11页/共31页 自然语言理解的困难自然语言具有多样性（不同语种、不同地域、不同人群）自然语言具有进化性自然语言的模糊性自然语言的歧义性 处理歧义问题是NLP的核心问题。自然语言处理过程就是各种歧义现象的消解过程。第12页/共31页 自然语言理解的困难第13页/共31页 机器能够理解人的语言吗？很难！什么是理解？结构主义：机器的理解机制与人相同（白盒）问题：人类语言理解机理尚未清楚功能主义：机器的表现与人相同即可（黑盒）图灵测试如果通过自然语言的问答，一个人无法识别和他对话的是人还是机器，那么就应该承认机器具有智能第14页/共31页 理解自然语言的准则给计算机输入一段自然语言文本，如果计算机能问答(question-answering)－机器能正确地回答输入 文本中的有关问题；文摘生成(summarizing)－机器有能力产生输入文本 的摘要；复述(paraphrase)－机器用不同的词语和语句复述输入文本；翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(目标语言)第15页/共31页 自然语言处理的研究目标弱人工智能目标：建立一个足够精确的语言数学模型使计算机通过编程来完成自然语言的相关任务。如：听、读、写、说，释义，翻译，回答问题等；强人工智能目标：让用户能通过自然语言与计算机自由对话；第16页/共31页 自然语言处理的研究内容[应用系统]数字图书馆、电子商务、电子政务、远程教育、语言学习[基础研究]分词、词性标注、短语切分、句法分析、语义分析、篇章理解等[应用技术研究]自动问答、机器