第4讲-NLPIR大数据语义分析.pdfVIP

NLPIR大数据语义分析

NLPIRBigDataSemanticAnalysis

张华平博士副教授

大数据搜索与挖掘实验室

kevinzhang@

@ICTCLAS张华平博士

2016.11

大数据分析与应用/张华平

从搞笑微博开始...

大数据分析与应用/张华平

纲要

I文本挖掘基础知识综述

IINLPIR汉语分词与关键词提取

大数据

文本挖掘

III文本分类与聚类

IVNLPIR大数据挖掘平台与应用

大数据分析与应用/张华平

数据挖掘(DM：DataMining)

结构化(Structured)数据⇒统计与数据挖掘

技术，

矿山加工宝

研究对象数据收集获取信息

和加工和知识

大数据分析与应用/张华平

文本挖掘(TM:TextMining)

文本是非结构化(Unstructured)的数据

文章、记号·文字的集合体

如何结构化？

文本内的元素--转换为向量或矩阵

文本信息和知识

大数据分析与应用/张华平

文本挖掘(TM:TextMining)

信

息

处

理

系

统

文本挖掘

統計学

大数据分析与应用/张华平

文本挖掘的概念

是一个从非结构化的数据(文档)中获取用

户感兴趣或者有用的模式或知识的过程

是一个复合学科的领域：信息技术，文本

分析，模式识别，统计学，数据库技术，

机器学习以及数据挖掘等技术

基础技术和知识：自然语言处理，数据处

理(数理统计，数据挖掘，机器学习)

大数据分析与应用/张华平

TM的基础

数理统计

数据挖掘数据挖掘(DM)

机器学习

信息处理

自然语言处理自然语言处理（NLP）

计算语言

大数据分析与应用/张华平

主要内容以及应用领域

主要内容：文本信息抽取，文本自动文摘,文

本分类，文本聚类，文本数据压缩，关系抽取等

应用领域:企业的用户呼叫系统的内容管理

与分析，企业内的日报分析，问卷调查分析，