《大数据分析与挖掘》第6章4大数据挖掘-非结构化.pdfVIP

2022年-2023年最新

大数据技术在企业创新背景下高

校物流人才培养中的转化与应用

08非结构化数据挖掘

主讲：朱明

高级I：程帅、高级技帅、国家经济加

高级国家职业技能鉴定评员

高级技能专业教师

朱明一百度个火主页朱明工作室

知足常乐，历经:兵农

□历经：兵团开车，赤脚医生、教师、地方修车，

□企业管理：技术、运营、物流、安全、保卫,

□职任：客运站长、公司经理，集团技术总监，

总经理及法人代表。

□学历：本科、MBA,

□专业：汽车维修与使用、企业管理、经济管理。

职业资格与职称：高级工程师、高级技师、国家经济师、

高级技能专业教师、高级国家职业资格评员。

管理科学研究院特约讲师、

口管理顾问有限公司高级讲师。

□客座任教：大学、技师学院、国家职业资格培训与评及

企业内部职业培训。

2022年2023年最新

l^arti.

非结构化数据概要

2022年2023年最新

结构化、半结构化和非结构化数据

•定义

•结构化数据，即行数据，存储在数据库里，可以用二维表结构来逻辑表

达实现的数据；

非结构化数据，不方便用数据库二维逻辑表来表现的数据

•存储格式的区别

・关系数据库一结构定义不易改变，数据定长。

非结构化数据库一是指其字段长度可变，并且每个字段的记录又可以由

可重复或不可重复的子字段构成的数据库。

2022年2023年最新

・应用场景

・全球多达80%的大数据是非结构化的，如博客、微博等内容，其次人类

的自然语言语气、语调、隐喻、反语等非常复杂，简单的数据分析模型

无法应对。

•结构化数据的典型场景为：企业ERP、财务系统；医疗HIS数据库；教育

一卡通；政府行政审批；其他核心数据库等

•非结构化数据，包括视频、音频、图片、图像、文档、文本等形式。典

型案例如医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、

文件服务器（PDM/FTP）、媒体资源管理等。

•半结构化数据，包括邮件、HTML、报表、资源库等等，典型场景如邮件

系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。

2022年2023年最新

•非结构化数据处理技术包括：

•Web页面信息内容提取；

•结构化处理含（文文本的词汇切分、词性分析、歧义处理等）；

•语义处理含（实体提取、词汇相关度、句子相关度、篇章相关度、句法

分析等）

•文本建含（向量空间型、主题型等）

•隐私保护含（社交网络的连接型数据处理、位置轨迹型数据处理等）

.笺笺

2022年2023年最新

E^art

文本数据挖掘

2022年2023年最新

文本挖掘

•文本挖掘以文本型信息源作为分析的对象，利用定量计算和定性分析的方法,

从中寻找信息结构、模型、模式等各种隐含的新颖知识。

文本挖掘的主要目标是获得文本的主要内容特征，如文本涉及的主题、文本

主题