非结构化数据的处理.pptxVIP

非结构化数据的处理 提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理的基本技术 第1页/共31页 什么是非结构化数据 相对于结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 第2页/共31页 绝大部分数据是非结构化数据 世界上85%的数据都是非结构化数据，这些数据每年都按指数增长60%。 第3页/共31页 非结构化数据处理的技术 非结构化数据处理的主要技术是自然语言处理技术。用来对非结构化数据进行各种层次的理解。 自然语言处理技术 我要去清华大学，从西直门怎么走？ 学院路堵不堵？ 为什么我上个月已退了GPRS,这个月还扣我钱？ 服务：路线查询 起点：西直门 终点：清华大学 服务：路况查询 地点：学院路 服务：客服投诉 业务：GPRS 诉求：错误扣费 第4页/共31页 提纲 非结构化数据处理概述 自然语言处理技术概述 自然语言处理的基本技术 第5页/共31页 自然语言的概念 什么是自然语言 语言是人类交际的工具，是人类思维的载体 人造语言：编程语言，包括C++, BASIC等 世界语 自然语言： 形式：口语、书面语、手语 语种：汉语、英语、日语、法语… 语言学