数据挖掘-厦门大学数据库试验室.PPT

数据挖掘与处理(Data Mining and Data Processing) 主讲人：张正军 E-mail:softwarenj@163.comMobile Phone18936030365 Office PhoneOffice Address:理学院718室 第一章 数据科学与数据挖掘 1 数据科学 2 数据挖掘 1 数据科学 1.0 概述 (1)信息化的本质:将现实世界中的事物以数据的形式存储到计算机主机中，即信息化是一个生产数据的过程。 (2)数据爆炸(data explosion):数据被快速大量地生产并存储在计算机系统中。 (3)数据自然界(data nature):数据爆炸在计算机系统中形成数据自然界(data nature)。 注:研究数据自然界是研究自然界(real nature)的一种有效方法。 (4)数据学(dataology)或数据科学(data science):研究数据自然界规律的理论、方法和技术。 1 数据科学 1.1 数据 能够输入到计算机中的任何内容。数据在物理上以字节(Byte)作为其大小的计量单位，一个字节为一个数据单位，数据物理存在于计算机系统中。对于数据自然界，计算机系统是它的载体，数据是它的唯一存在。 (1)数据原子(data atomic)：不可再分割的最小数据单位，即计算机系统所使用的基本字符集。 例：TXT数据 注：数据原子一般为单字节字符，也有双字节字符。 (2)数据对象(data object)：识别数据的基本单位，可命名，具有独立含义。 注：(a)数据对象:由有限个数据项组成，有一个对象标识，其他为对象内容。(b)数据项(data item):数据原子的有限集，用于描述数据对象的特性，可命名，可定义其数据类型但没有独立含义(即脱离数据对象单独讨论数据项是没有意义的)。 1 数据科学 (3)数据集(data set)：数据对象的集合。 例：MDB数据库 注：(a)数据集是一个数据对象的有限集合;(b)一些无限的数据集(如：流数据)的数据在任何时刻都是有限的；(c)数据学通常是处理有限数据集的。 (4)元数据(mata data)：描述数据的数据。 ASCII表结构、变量NAME、结构EMPLOYEE (ID，NAME，RANK)，数据库DATABASE {tablel (al. a2，…)， table2 (bl， b2，…)，….}。 (5)数据工具(data tool)：计算机系统中存储的能够运行的计算机程序或软件系统。 例：杀毒软件、病毒程序 注：(a)数据工具是一种特殊的数据对象;(b)数据工具通常用于处理数据但数据工具本身也是数据，可以被其他数据工具处理。 1 数据科学 1.2 数据自然界 (1)数据自然界：所有计算机系统中的数据构成了数据自然界。 注：计算机系统是数据的载体，不是数据自然界的组成部分。 (2)数据自然界特征:不为人控制；具有未知性、多样性和复杂性等自然界特征。 注：(a)从个体上看，数据是可控的；从总体上看，数据不为人控制; (b)数据的含义未知，规律未知，现实世界没有的未知; (c)数据类型：私人、企业、政府、公共等数据库； (d)组织形式：专用格式、通用格式、互联网等数据形式。 1 数据科学 1.3 数据学 (1)数据学：研究探索数据自然界奥秘的理论、方法和技术。 注：(a)研究对象：数据自然界; (b)研究内容：数据的各种类型、状态、属性及变化形式和变化规律； (c)目的：揭示自然界和人类行为的现象与规律。 注：(a)数据记录了宇宙和生命现象人文和社会。 (b)寻找数据所含的规律，就是探索宇宙、生命、人类行为、社会发展的规律。 1 数据科学 (2)数据学的框架 1 数据科学 注：(a)数据勘探：勘探数据集的结构(分析数据集的物理结构、逻辑结构)和总体特性(用抽样分析的方法发现数据集服从的分布、个体性或群体性、是否有簇或关联规则)。(b)数据实验(data experiment) ：验证自然界和数据自然界的假说和规律、模拟人文与社会行为、发现数据规律。数据实验通过实验的方式(实验对象、工具、方法和步骤、观察手段等)，对数据进行实验，获得实验结果，通过观察实验结果对假说和预的规律进行验证。 (c)数据伪装(data camouflage) ：将暴露在公众可及地方的自己的数据进行伪装，使得别人即使获得该数据也无法知道其数据含义。 (d)数据辨伪(data perception)：识别经过伪装的数据。 1 数据科学 注：(e)数据分类学(data taxonomy) ：将数据分门别类，形成数据谱系和发展历史图谱。 (f)数据感知(data